我院殷亞鳳老師課題組近期在手語動作識别領域取得新進展：提出了一種基于圖的手語視頻處理架構，将手語序列表示為圖，并通過圖動态捕捉幀内及幀間的跨區域手語特征，提升手語識别的性能，旨在為聾人提供更好的溝通和交流服務。

SignGraph: A Sign Sequence is Worth Graphs of Nodes. 近年來，手語方面的研究逐漸取得了成功。但是，現如今在手語領域廣泛采用的基于卷積神經網絡的骨幹網絡通常是從其他計算機視覺任務中遷移而來的，往往難以有效地捕捉手語特征。這是因為這些計算機視覺任務（如物體識别），通常關注物體的輪廓和紋理，因而采用卷積神經網絡将視頻視為網格進行處理。而在手語任務中，為了識别手語序列，需要關注一個幀内不同區域之間的相關性以及相鄰幀之間不同區域之間的交互，但基于卷積神經網絡的骨幹網絡難以有效捕捉跨區域的特征。為此，該研究工作提出将手語序列表示為圖，并設計了一個簡單而有效的基于圖的手語處理架構SignGraph，以在圖級别提取跨區域特征。SignGraph包括兩個基本模塊：局部手語圖模塊用于學習幀内跨區域特征的相關性，時間手語圖模塊用于跟蹤相鄰幀之間跨區域特征之間的交互。此外，基于局部手語圖和時間手語圖，該工作通過多尺度方式構建模型，以确保節點的表示能夠捕捉不同粒度的跨區域特征。最後，該工作在當前公開的手語數據集上進行了大量的實驗，證明了SignGraph的優越性：與SOTA模型相比，SignGraph具有非常有競争力的性能，并且不需要使用任何額外的線索。

該項研究工作已被The IEEE/CVF Conference on Computer Vision and Pattern Recognition（CVPR 2024）（CCF-A類會議）錄用。歡迎對該研究工作感興趣的學術同行來信交流：yafeng@nju.edu.cn.