論文の概要: TSGCNeXt: Dynamic-Static Multi-Graph Convolution for Efficient
Skeleton-Based Action Recognition with Long-term Learning Potential
- arxiv url: http://arxiv.org/abs/2304.11631v1
- Date: Sun, 23 Apr 2023 12:10:36 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-25 17:23:17.985802
- Title: TSGCNeXt: Dynamic-Static Multi-Graph Convolution for Efficient
Skeleton-Based Action Recognition with Long-term Learning Potential
- Title(参考訳): tsgcnext: 長期学習能力を有する効率的なスケルトンベース行動認識のための動的静的マルチグラフ畳み込み
- Authors: Dongjingdin Liu, Pengpeng Chen, Miao Yao, Yijing Lu, Zijie Cai, Yuxin
Tian
- Abstract要約: 本研究では,時間空間グラフ ConvNeXt (TSGCNeXt) を提案する。
単純な構造を持つ新しいグラフ学習機構である動的統計分離多重グラフ畳み込み(DS-SMG)を提案する。
55.08%の高速化で動的グラフ学習のバックプロパゲーション計算を最適化するグラフ畳み込み学習促進機構を構築した。
- 参考スコア(独自算出の注目度): 1.204694982718246
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Skeleton-based action recognition has achieved remarkable results in human
action recognition with the development of graph convolutional networks (GCNs).
However, the recent works tend to construct complex learning mechanisms with
redundant training and exist a bottleneck for long time-series. To solve these
problems, we propose the Temporal-Spatio Graph ConvNeXt (TSGCNeXt) to explore
efficient learning mechanism of long temporal skeleton sequences. Firstly, a
new graph learning mechanism with simple structure, Dynamic-Static Separate
Multi-graph Convolution (DS-SMG) is proposed to aggregate features of multiple
independent topological graphs and avoid the node information being ignored
during dynamic convolution. Next, we construct a graph convolution training
acceleration mechanism to optimize the back-propagation computing of dynamic
graph learning with 55.08\% speed-up. Finally, the TSGCNeXt restructure the
overall structure of GCN with three Spatio-temporal learning
modules,efficiently modeling long temporal features. In comparison with
existing previous methods on large-scale datasets NTU RGB+D 60 and 120,
TSGCNeXt outperforms on single-stream networks. In addition, with the ema model
introduced into the multi-stream fusion, TSGCNeXt achieves SOTA levels. On the
cross-subject and cross-set of the NTU 120, accuracies reach 90.22% and 91.74%.
- Abstract(参考訳): 骨格に基づく行動認識は, グラフ畳み込みネットワーク(GCN)の開発により, 人間の行動認識において顕著な成果を上げている。
しかし、最近の研究は冗長なトレーニングを伴う複雑な学習メカニズムを構築する傾向にあり、長い時系列のボトルネックとなっている。
これらの問題を解決するために,時間空間グラフ ConvNeXt (TSGCNeXt) を提案する。
まず,複数の独立なトポロジグラフの特徴を集約し,動的畳み込み時に無視されるノード情報を回避するため,単純な構造を持つグラフ学習機構である動的統計分離多グラフ畳み込み(DS-SMG)を提案する。
次に,55.08\%の高速化で動的グラフ学習のバックプロパゲーション計算を最適化するグラフ畳み込み学習促進機構を構築する。
最後に、TSGCNeXtは3つの時空間学習モジュールでGCNの全体構造を再構成し、長期的特徴を効率的にモデル化する。
大規模データセットNTU RGB+D 60と120の既存の手法と比較して、TSGCNeXtはシングルストリームネットワークでパフォーマンスが向上する。
さらに、マルチストリーム核融合に導入されたemaモデルにより、TSGCNeXtはSOTAレベルを達成する。
NTU 120のクロスオブジェクトとクロスセットでは、アキュラシーは90.22%、91.74%に達する。
関連論文リスト
- Multi-Scale Spatial-Temporal Self-Attention Graph Convolutional Networks for Skeleton-based Action Recognition [0.0]
本稿では,マルチスケール空間時間自己注意(MSST)-GCNという自己注意型GCNハイブリッドモデルを提案する。
適応トポロジを持つ空間自己保持モジュールを用いて、異なる身体部分間のフレーム内相互作用を理解するとともに、時間的自己保持モジュールを用いてノードのフレーム間の相関関係を調べる。
論文 参考訳(メタデータ) (2024-04-03T10:25:45Z) - TodyNet: Temporal Dynamic Graph Neural Network for Multivariate Time
Series Classification [6.76723360505692]
未定義のグラフ構造を使わずに隠蔽時間依存を抽出できる新しい時間的動的グラフネットワーク(TodyNet)を提案する。
26のUEAベンチマークデータセットの実験は、提案されたTodyNetがMTSCタスクで既存のディープラーニングベースのメソッドより優れていることを示している。
論文 参考訳(メタデータ) (2023-04-11T09:21:28Z) - Multi-Scale Spatial Temporal Graph Convolutional Network for
Skeleton-Based Action Recognition [13.15374205970988]
本稿では,マルチスケール空間グラフ畳み込み (MS-GC) モジュールとマルチスケール時間グラフ畳み込み (MT-GC) モジュールを提案する。
MS-GCおよびMT-GCモジュールは対応する局所グラフ畳み込みをサブグラフ畳み込みの集合に分解し、階層的残差アーキテクチャを形成する。
本稿では,マルチスケールな時空間グラフ畳み込みネットワーク(MST-GCN)を提案する。
論文 参考訳(メタデータ) (2022-06-27T03:17:33Z) - Continual Spatio-Temporal Graph Convolutional Networks [87.86552250152872]
時空間グラフ畳み込みニューラルネットワークを連続推論ネットワークとして再構成する。
オンライン推論において、最大109倍の時間複雑性、26倍のハードウェアアクセラレーション、最大割り当てメモリの最大52%の削減を観測した。
論文 参考訳(メタデータ) (2022-03-21T14:23:18Z) - Multivariate Time Series Forecasting with Dynamic Graph Neural ODEs [65.18780403244178]
動的グラフニューラル正規微分方程式(MTGODE)を用いた多変量時系列予測連続モデルを提案する。
具体的には、まず、時間進化するノードの特徴と未知のグラフ構造を持つ動的グラフに多変量時系列を抽象化する。
そして、欠落したグラフトポロジを補完し、空間的および時間的メッセージパッシングを統一するために、ニューラルODEを設計、解決する。
論文 参考訳(メタデータ) (2022-02-17T02:17:31Z) - Spectral Transform Forms Scalable Transformer [1.19071399645846]
この研究は自己注意の哲学から学び、情報的長距離時間相互作用を用いた効率的なスペクトルベースの神経ユニットを提案する。
開発されたスペクトルウィンドウユニット(SW)モデルは、保証された効率でスケーラブルな動的グラフを予測する。
論文 参考訳(メタデータ) (2021-11-15T08:46:01Z) - Multi-Scale Semantics-Guided Neural Networks for Efficient
Skeleton-Based Human Action Recognition [140.18376685167857]
スケルトンに基づく行動認識には,単純なマルチスケールセマンティクス誘導ニューラルネットワークが提案されている。
MS-SGNは、NTU60、NTU120、SYSUデータセットの最先端のパフォーマンスを達成する。
論文 参考訳(メタデータ) (2021-11-07T03:50:50Z) - Temporal Graph Modeling for Skeleton-based Action Recognition [25.788239844759246]
複雑な時間的ダイナミクスを捉えるための時間拡張グラフ畳み込みネットワーク(TE-GCN)を提案する。
構築された時間関係グラフは、意味的に関連する時間的特徴間の接続を明示的に構築する。
2つの大規模データセットで実験を行う。
論文 参考訳(メタデータ) (2020-12-16T09:02:47Z) - Spatio-Temporal Inception Graph Convolutional Networks for
Skeleton-Based Action Recognition [126.51241919472356]
我々はスケルトンに基づく行動認識のためのシンプルで高度にモジュール化されたグラフ畳み込みネットワークアーキテクチャを設計する。
ネットワークは,空間的および時間的経路から多粒度情報を集約するビルディングブロックを繰り返すことで構築される。
論文 参考訳(メタデータ) (2020-11-26T14:43:04Z) - Disentangling and Unifying Graph Convolutions for Skeleton-Based Action
Recognition [79.33539539956186]
本稿では,マルチスケールグラフ畳み込みと,G3Dという空間時間グラフ畳み込み演算子を結合する簡単な方法を提案する。
これらの提案を結合することにより,MS-G3Dという強力な特徴抽出器を開発し,そのモデルが3つの大規模データセット上で従来の最先端手法より優れていることを示す。
論文 参考訳(メタデータ) (2020-03-31T11:28:25Z) - Convolutional Tensor-Train LSTM for Spatio-temporal Learning [116.24172387469994]
本稿では,ビデオシーケンスの長期相関を効率的に学習できる高次LSTMモデルを提案する。
これは、時間をかけて畳み込み特徴を組み合わせることによって予測を行う、新しいテンソルトレインモジュールによって達成される。
この結果は,幅広いアプリケーションやデータセットにおいて,最先端のパフォーマンス向上を実現している。
論文 参考訳(メタデータ) (2020-02-21T05:00:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。