(一)
王英教授團隊的論文“Prompt Tuning Pushes Farther, Contrastive Learning Pulls Closer: A Two-Stage Approach to Mitigate Social Biases”被CCF A類會議ACL 2023主會錄用。論文的第一作者為王英教授指導的2021級博士生李瑩姬,通訊作者為王英教授和人工智能學院王鑫副教授,其他作者還包括新澤西理工學院(NJIT)數據科學系杜夢楠助理教授。
随着預訓練語言模型(PLM)的表示能力的提高,人們越來越擔心它們會從未處理的語料庫中繼承社會偏見。以往的去偏技術大多使用反事實數據增強(CDA)來平衡訓練語料。然而,CDA稍微修改了原始語料庫,将不同人口統計學群體之間的表示距離限制在較窄的範圍内。因此,去偏模型容易拟合反事實對之間的差異,從而影響了其在有限文本資源下的去偏性能。本文提出一種對抗性訓練啟發的兩階段去偏模型(CCPA),使用對比學習和連續提示增強來減輕PLM編碼中的社會偏見。大量實驗表明,CCPA在去偏性能方面優于基線。同時,在GLUE基準上的實驗結果表明,CCPA保留了PLM的語言建模能力。
(二)
李熙銘副教授研究小組的論文“Just Like a Human Would, Direct Access to Sarcasm Augmented with Potential Result and Reaction”被人工智能領域、自然語言處理領域國際頂級會議國際計算語言學年會(ACL)(CCF-A)接收。論文的第一作者為大連理工大學2019級博士生闵昶榮,通訊作者為李熙銘副教授,作者還包括大連理工大學林鴻飛教授、楊亮副教授、徐博副教授,以及本院2021級本科生王志霖。
受啟發于人類對于諷刺的認知過程,本文提出一種潛在結果與心理反應增強的諷刺檢測方法(SD-APRR)。受認知語言學中The Direct Access 理論的啟發,本文将每個諷刺樣本視為一個不完整的版本,缺少與隐式負面情景相關的信息,這些信息包括諷刺樣本可能引起的可能結果以及聽衆的心理反應。為此,本文利用預訓練外部常識推理工具COMET,在[xEffect]和 [xReact]關系的引導下,進一步推斷每個反諷樣本的可能結果以及心理反應。并在原始反諷樣本的基礎上,進一步構建增強樣本。最後,利用降噪圖編碼器進一步學習增強樣本的語義表示并得到樣本預測結果。本文在四個不同規模的公開反諷識别數據集上進行實驗,結果表明SD-APRR相比于最新基線模型有明顯提升。本工作同時說明在深度學習時代,傳統語言學、心理學相關理論仍具有重要作用。
ACL會議(Annual Meeting of the Association for Computational Linguistics)是自然語言處理與計算語言學領域最高級别的學術會議,與NeurIPS、CVPR、ICML等是中國計算機學會(CCF)推薦的人工智能領域的7個A類會議之一。