您當前位置: 首頁  >  新聞中心  >  伟德新聞  >  正文

伟德新聞

學院兩篇論文入選人工智能領域頂級會議CVPR 2023

發布日期:2023-03-02 發布人: 點擊量:

(一)

計算機科學與技術學院王生生教授團隊的論文“Beyond Attentive Tokens: Incorporating Token Importance and Diversity for Efficient Vision Transformers”被CVPR 2023錄用。論文的第一作者為王生生教授的博士研究生龍思凡,王生生教授為通訊作者。

視覺轉換器已在各種視覺任務上取得了顯著的改進,但其令牌之間的二次交互顯著降低了計算效率。最近提出了許多修剪方法來去除冗餘的令牌以實現高效的視覺轉換器。然而,現有的研究主要集中于保留局部重要令牌,完全忽略了令牌全局多樣性。在本文中,我們強調了全局令牌多樣的重要意義,并提出了一種有效的令牌解耦和合并方法,可以同時考慮令牌重要性和多樣性進行令牌修剪。根據類令牌注意力得分,我們解耦重要和不重要的令牌。除了保留最具有鑒别力的局部令牌之外,我們還将相似的不重要令牌合并,并将同質的重要令牌匹配以最大化令牌多樣性。據我們所知,我們是第一個強調在剪枝視覺轉換器時需要考慮令牌多樣性的工作,并通過數值和實證分析證明了它的要性。我們的方法在準确性和FLOPs 之間的權衡下實現了SOTA 性能。 它還可以部署到其他令牌剪枝方法中,實現出色的性能提升。

 

(二)

伟德国际BETVlCTOR徐昊教授指導的2020級博士研究生李健的論文“FCC: Feature Clusters Compression for Long-Tailed Visual Recognition”被CVPR 2023錄用。本篇論文的第一作者為李健,通訊作者為徐昊教授,其他作者包括葡萄牙米尼奧大學博士生孟子堯、意大利特倫托大學博士生史大千、刁小蕾、伟德国际BETVlCTOR人工智能學院博士生宋瑞和我院碩士生王靜文。

深度神經網絡(Deep Neural Networks, DNNs)能夠将樣本映射為密集的特征簇。然而,訓練于長尾數據集上的DNNs往往将少數類樣本映射為稀疏簇,這種稀疏性使得在測試階段樣本被映射得更加離散,甚至越過決策邊界而導緻錯誤分類。本文提出了一種簡單且通用的特征簇壓縮方法FCCFeature Clusters Compression),能夠有效地提升特征類内聚合度,進而提升模型在長尾數據集上的性能。FCC在訓練過程中将骨幹特征乘以特定的縮放因子,以此在原始特征和被乘特征之間建立線性壓縮關系。随着DNNs的訓練,被乘特征被映射成稠密的特征簇,而這種壓縮關系迫使原始特征被映射成更緊密的簇。測試階段,原始特征被直接輸入至後續全連接網絡,此時測試樣本能夠被映射得更加緊密,而不易越過決策邊界。此外,FCC僅關注骨幹特征,與模型其他組件不發生沖突,使得FCC能夠友好地與現有長尾方法結合并增強它們。該工作在三個長尾基準數據集上進行了100餘組實驗,結果充分證明了FCC的有效性和優越性。

CVPR全稱為計算機視覺和模式識别會議(IEEE/CVF Computer Vision and Pattern Recognition Conference),是人工智能領域頂級國際會議,也是計算機學會收錄的人工智能領域A類會議。CVPR 2023将于2023618日至22日在加拿大溫哥華舉辦。

Baidu
sogou