Fugu-MT 論文翻訳(概要): A Two-stream Neural Network for Pose-based Hand Gesture Recognition

論文の概要: A Two-stream Neural Network for Pose-based Hand Gesture Recognition

arxiv url: http://arxiv.org/abs/2101.08926v1
Date: Fri, 22 Jan 2021 03:22:26 GMT
ステータス: 処理完了
システム内更新日: 2021-03-21 05:10:34.222872
Title: A Two-stream Neural Network for Pose-based Hand Gesture Recognition
Title（参考訳）: Pose-based Hand Gesture Recognitionのための2ストリームニューラルネットワーク
Authors: Chuankun Li, Shuai Li, Yanbo Gao, Xiang Zhang, Wanqing Li
Abstract要約: 近年,ポーズに基づくジェスチャー認識が広く研究されている。本稿では,グラフ畳み込みネットワーク(sagcn)を1ストリームとする2ストリームニューラルネットワークを提案する。残差接続強化Bi-IndRNNは、時間モデリングのための双方向処理機能を備えたIndRNNを拡張する。
参考スコア（独自算出の注目度）: 23.50938160992517
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Pose based hand gesture recognition has been widely studied in the recent years. Compared with full body action recognition, hand gesture involves joints that are more spatially closely distributed with stronger collaboration. This nature requires a different approach from action recognition to capturing the complex spatial features. Many gesture categories, such as "Grab" and "Pinch", have very similar motion or temporal patterns posing a challenge on temporal processing. To address these challenges, this paper proposes a two-stream neural network with one stream being a self-attention based graph convolutional network (SAGCN) extracting the short-term temporal information and hierarchical spatial information, and the other being a residual-connection enhanced bidirectional Independently Recurrent Neural Network (RBi-IndRNN) for extracting long-term temporal information. The self-attention based graph convolutional network has a dynamic self-attention mechanism to adaptively exploit the relationships of all hand joints in addition to the fixed topology and local feature extraction in the GCN. On the other hand, the residual-connection enhanced Bi-IndRNN extends an IndRNN with the capability of bidirectional processing for temporal modelling. The two streams are fused together for recognition. The Dynamic Hand Gesture dataset and First-Person Hand Action dataset are used to validate its effectiveness, and our method achieves state-of-the-art performance.
Abstract（参考訳）: 近年,ポーズに基づくジェスチャー認識が広く研究されている。全身動作認識と比較すると、手の動きはより空間的に密に分布し、より強い協調を伴う関節を伴う。この性質は、複雑な空間的特徴を捉えるための行動認識とは異なるアプローチを必要とする。グラブ(grab)やピンチ(pinch)のような多くのジェスチャーカテゴリは、時間処理に挑戦する非常に類似した動きや時間パターンを持っている。そこで本稿では,短期時間情報と階層的空間情報を抽出するsagcn(self-attention based graph convolutional network)と,長期時間情報を抽出するrbi-indrnn(extrest-connection enhanced bidirectional independent recurrent neural network)の2つのストリームニューラルネットワークを提案する。自己アテンションに基づくグラフ畳み込みネットワークは、GCNの固定位相と局所特徴抽出に加えて、すべての手関節の関係を適応的に活用する動的自己アテンション機構を有する。一方、残留接続強化Bi-IndRNNは、時間モデリングのための双方向処理機能を備えたIndRNNを拡張している。 2つのストリームは、認識のために融合されます。 Dynamic Hand Gesture データセットと First-Person Hand Action データセットを用いてその有効性を検証する。
全文参考訳へのリンク