您當前位置: 首頁  >  新聞中心  >  伟德新聞  >  正文

伟德新聞

學院九篇論文入選人工智能領域頂級會議AAAI 2024

發布日期:2023-12-14 發布人: 點擊量:

(一)

伟德国际BETVlCTOR呂帥副教授等的論文“Low Category Uncertainty and High Training Potential Instance Learning for Unsupervised Domain Adaptation(通過關注低類别不确定性和高訓練潛力的實例學習的無監督領域自适應)被AAAI 2024錄用。論文的第一作者為2022級碩士生張鑫宇,通訊作者為呂帥副教授,其他作者為2020級碩士生康勐。

近年來,實例對比學習在無監督領域自适應中取得了良好的效果。通過減少正樣本與錨間的距離,增加負樣本與錨間的距離,學習目标樣本的判别特征表示。識别正樣本和負樣本通常基于樣本僞标簽和錨點僞标簽是否一緻。由于缺乏目标标簽,許多不确定的數據在訓練過程中被錯誤地标記。此外,許多低訓練潛力的數據也會被利用。

針對上述問題,本文提出了用于無監督領域自适應的低類别不确定性和高訓練潛力實例學習LUHP(Low Category Uncertainty and High Training Potential Instance Learning)。提出了類别不确定性權重,通過不同類别的類别不确定性阈值,過濾分布在決策邊界周圍的數據和噪聲數據。對于不确定性較低的樣本,設計了一種重用策略來提高模型的穩健性。設計了基于權重的多樣本三重損失,優化目标為減少錨與具有高訓練潛力的正樣本之間的距離,同時增加錨與具有較高訓練潛力的負樣本之間的間距。LUHP在4個數據集上達到了最優性能,尤其對于Office-Home實現了巨大的性能提升。


(二)

伟德国际BETVlCTOR呂帥副教授等的論文“Reviewing the Forgotten Classes for Domain Adaptation of Black-box Predictors(重新認識黑盒領域自适應中的遺忘類)”被AAAI 2024錄用。論文的第一作者為2022級碩士生張少傑,第二作者為申春副教授,通訊作者為呂帥副教授,其他作者為2022級碩士生張澤宇。

為了解決領域自适應的數據隐私性和可移植性問題,黑盒領域自适應旨在不訪問源域數據和源域模型細節的情況下,将黑盒源域模型适應到未标記的目标域。我們通過大量的實驗發現:目前表現最優的基于知識蒸餾的黑盒領域自适應方法雖然取得了很好的效果,但都存在少數類遺忘問題,即訓練好的目标模型完全遺忘了部分少數類。

針對上述問題,本文提出了一種重新認識遺忘類的RFC(Reviewing the Forgotten Classes)方法,主要包含兩個模塊:第一個模塊為選擇訓練,根據模型的學習狀态選擇模型容易遺忘的類,并利用小損失準則獲取所選類的幹淨樣本進行增強訓練。該模塊與現有的方法正交,可以有效地緩解少數類遺忘問題。第二個模塊為鄰域聚類,可以使模型學習比知識蒸餾更均衡,進一步緩解少數類遺忘問題。本文方法繼承了上述模塊的優點,在3個基準上達到了最優性能。


(三)

伟德国际BETVlCTOR呂帥副教授等的論文“Double buffers CEM-TD3: More efficient evolution and richer exploration(帶有雙緩沖區的CEM-TD3:更高效的進化和更充分的探索)”被AAAI 2024錄用。論文的第一作者為2020級碩士生朱盛,第二作者為申春副教授,通訊作者為呂帥副教授,其他作者為2022級碩士生吳珺泓、2022級碩士生安道龍。

CEM-TD3作為一種進化強化學習方法,将交叉熵方法CEM(Cross Entropy Method)和雙延時深度确定策略梯度TD3(Twin Delayed Deep Deterministic policy gradient)方法相結合,在采樣效率和性能之間取得了令人滿意的權衡。然而我們發現:在CEM-TD3中,CEM策略⚜⭐〰✝效率過低,基于TD3的策略梯度學習也會削弱種群的多樣性導緻探索能力下降。

針對上述問題,本文提出了帶有雙緩沖區的CEM-TD3(Double Buffers CEM-TD3,DBCEM-TD3)。首先,構建了行動者緩沖區以存放種群進化所需要的策略。在每次疊代中,使用少量新采樣的策略替換行動者緩沖區中适應度低的策略,基于替換後的行動者緩沖區進行策略⚜⭐〰✝,可以實現更高效的進化。其次,構建了評論家緩沖區以存放用于指導新采樣的策略學習的評論家。在每次疊代中,每個評論家從經驗回放緩沖區中獨立地采樣學習。該學習方式保證新采樣的策略具備更多樣性的行為,提供更充分的探索。最後,本文在MuJoCo的若幹連續控制任務上進行了系統評估,實驗表明DBCEM-TD3的性能優于CEM-TD3、SAC、TD3以及其它進化強化學習算法。


(四)

伟德国际BETVlCTOR歐陽繼紅教授等的論文“Aspect-Based Sentiment Analysis with Explicit Sentiment Augmentations”被AAAI 2024錄用。論文的第一作者為歐陽繼紅教授,第二作者為歐陽繼紅教授指導的2020級博士研究生楊智堯,通訊作者為李熙銘教授。其他作者包括2023級碩士研究生梁思龍,2023級博士研究生王兵和2023級博士研究生王藝蒙。

方面情感分析旨在識别句子中關于某個方面的情感表達,是一種細粒度的情感分析任務。判斷方面級情感的重要手段就是尋找到與方面詞相關的意見詞,如“好”、“壞”等。但是現實生活中,許多句子缺少意見詞,但是仍然可以表達情感,這樣的表達也可以被稱作“隐含情感”。為了解決上述問題,作者提出了一個整合了顯式情感增強的方面情感分析方法(ABSA-ESA)。具體來說,作者使用基于規則統計的顯式情感數據來對語言模型進行後訓練,以讓模型生成顯式的情感表達。在訓練過程中,作者設計了語法距離加權和非期望生成約束來引導模型正确的生成顯式情感。同時,作者利用約束集束⚜⭐〰✝來确保生成的句子中包含方面詞。作者在方面情感分析最常用數據集上對模型進行了測試,實驗結果表明ABSA-ESA在顯式和隐式情感分類準确率上都優于最新的模型。


(五)

伟德国际BETVlCTOR教師遲晉進等的論文“Generalized Variational Inference via Optimal Transport”被AAAI2024錄用。論文的第一作者為遲晉進,其他作者包括碩士生張智超,博士生楊智堯,歐陽繼紅教授和西安交通大學裴紅斌副教授。

傳統變分推理 (VI)方法使用 Kullback-Leibler (KL) 散度作為度量工具。 KL 散度具有趨零行為,并且忽略了底層數據分布的幾何結構,導緻近似效果較差。為了解決這個問題,論文使用最優傳輸(OT)距離來度量近似後驗分布和先驗分布之間的差異程度,從而提出一個新的變分目标。基于OT 距離的變分目标不僅能夠學習到更準确的近似值,同時對先驗分布的錯誤指定具有一定的魯棒性。為了解決過度參數化模型,我們在變分目标中引入參數 λ進一步強化目标函數。從而,論文提出一種基于OT的變分推理方法,該方法使用一種基于梯度的黑盒框架來求解貝葉斯模型。論文提供了近似後驗分布的一緻性分析證明,并給出了所提方法在貝葉斯神經網絡和變分自動編碼器模型下的實際有效性。


(六)

伟德国际BETVlCTOR周柚教授指導的學生2021級博士生肖钰彬的論文“Distilling Autoregressive Models to Obtain High-Performance Non-Autoregressive Solvers for Vehicle Routing Problems with Faster Inference Speed”被AAAI 2024錄用。論文的其他作者為南洋理工大學的王迪高級研究員、李博洋副教授,以及計算機學院的2022級碩士生汪明曌、2022級博士生吳翾等。通訊作者為周柚教授。

采用自回歸(AR)或非自回歸(NAR)學習方法的神經構建模型在車輛路徑問題(VRPs)中表現出了良好的性能。雖然AR模型産生高質量的解決方案,但由于其順序生成的性質,它們通常具有很高的推理延遲。相反,NAR模型以較低的推理延遲并行生成解決方案,但通常表現出較差的性能。我們提出了一種通用的引導式非自回歸知識蒸餾(GNARKD)方法來将AR模型轉換成其相應的NAR模型使其同時具備高效推理速度和良好性能。我們通過将GNARKD應用于三種經典的AR模型,并在VRP的合成實例和現實世界實例中驗證該方法性能。實驗結果表明,GNARKD顯著縮短推理時間(平均單個實例提升4倍以上,多個實例提升50倍以上),解質量近乎持平(平均下降2%),甚至要超過其教師AR模型(在全監督下)。據我們所知,GNARKD是第一個通過知識蒸餾将AR求解器轉換成NAR VRP求解器。


(七)

伟德国际BETVlCTOR管仁初教授、豐小月副教授和黃岚教授共同指導的2023級博士生劉永皓的論文“Improved Graph Contrastive Learning for Short Text Classification”被AAAI2024收錄。論文的其它作者包括Fausto Giunchiglia教授。通訊作者是管仁初教授和豐小月副教授。

文本分類在自然語言處理中占有重要地位,短文分類作為其中的子課題,因其語義稀疏和标注數據不足而更具挑戰性。論文提出了一種改進的圖對比學習模型來解決該問題。首先,論文通過挖掘内部語料庫并引入外部知識圖譜,構建了一個包含多個組件圖的異構圖。然後,使用奇異值分解生成用于圖對比學習的增強視圖。此外,論文還在标注文本上使用受限 k 均值來學習聚類友好特征,從而促進面向聚類的對比學習,并幫助獲得更好的類别邊界。廣泛的實驗結果表明,所提出的模型明顯優于以前的方法。


(八)

伟德国际BETVlCTOR王剛教授團隊的論文“Multi-constellation-inspired Single-shot Global LiDAR Localization”被CCF-A類會議AAAI 2024接收。論文的第一作者為王剛教授的博士研究生張同舟,通訊作者為王剛教授,第三作者為2021級碩士生陳雨,作者還包括哈爾濱工業大學的張海教授和胡珏副教授。

全局定位對于智能機器人來說是一項具有挑戰性的任務,其準确性将直接影響下遊導航任務和規劃任務的性能。然而,現有文獻更注重于地點檢索以及定位的成功率,對于定位精度度量的關注相對有限。本文受到多星定位系統的啟發,提出了一種基于單幀激光點雲的全局定位方法,旨在實現高精度的位置估計。首先,我們使用全局描述符進行粗定位,并根據粗定位結果來獲取觀測點以及該點對應的坐标信息。随後,設計了一種輕量級激光雷達裡程計,用于估計檢索點雲數據與觀測點數據之間的距離。最終,全局定位問題被轉化為解決多球體共點的優化問題。在KITTI數據集和自采集數據集上的實驗結果表明,所提出方法的平均定位誤差為0.89米(含z軸誤差)。此外,該方法在KITTI數據集上的定位效率為0.357秒每幀,在自采集數據集上為0.214秒每幀。


(九)


伟德国际BETVlCTOR秦貴和教授和陳海鵬教授共同指導的2022級博士生劉宇的論文“Causality-Inspired Invariant Representation Learning for Text-Based Person Retrieval”被AAAI 2024錄用。論文的其他作者包括中國科學技術大學的楊勳教授以及山東省人工智能研究院的程志勇研究員。

基于文本的行人檢索(TPR)旨在基于給定的文本查詢來檢索特定行人的相關圖像。現有方法主要關注跨模态數據的虛假相關性,而忽略了數據内在的因果相關性。我們創新性地觀察TPR任務中數據的因果相關性,提出了面向TPR任務的不變表示學習方法(IRLT),使學習到的表示具有以下兩個特性:1)獨立性:獨立于非因果因素(檢索無關,例如背景);2)充分性:在不同環境中對TPR具有因果充分性,從而獲得了更加穩定可靠的檢索結果。在三個公開數據集上進行的大量實驗表明,IRLT在準确性和泛化方面均優于現有領先的方法。


AAAI全稱為AAAI人工智能年會( Annual AAAI Conference on Artificial Intelligence),是人工智能領域頂級國際會議(CCF推薦A類國際會議)。AAAI 2024将于2024年2月20日到27日在加拿大溫哥華舉辦。


Baidu
sogou