論文の概要: DG-STGCN: Dynamic Spatial-Temporal Modeling for Skeleton-based Action
Recognition
- arxiv url: http://arxiv.org/abs/2210.05895v1
- Date: Wed, 12 Oct 2022 03:17:37 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-13 14:38:19.314917
- Title: DG-STGCN: Dynamic Spatial-Temporal Modeling for Skeleton-based Action
Recognition
- Title(参考訳): DG-STGCN:骨格に基づく行動認識のための動的空間時間モデリング
- Authors: Haodong Duan, Jiaqi Wang, Kai Chen, Dahua Lin
- Abstract要約: 骨格に基づく行動認識のための新しいフレームワーク,すなわち動的グループ時空間GCN(DG-STGCN)を提案する。
DG-GCNとDG-TCNの2つのモジュールで構成される。
DG-STGCNは最先端の手法よりも一貫して優れており、しばしば顕著な差がある。
- 参考スコア(独自算出の注目度): 77.87404524458809
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Graph convolution networks (GCN) have been widely used in skeleton-based
action recognition. We note that existing GCN-based approaches primarily rely
on prescribed graphical structures (ie., a manually defined topology of
skeleton joints), which limits their flexibility to capture complicated
correlations between joints. To move beyond this limitation, we propose a new
framework for skeleton-based action recognition, namely Dynamic Group
Spatio-Temporal GCN (DG-STGCN). It consists of two modules, DG-GCN and DG-TCN,
respectively, for spatial and temporal modeling. In particular, DG-GCN uses
learned affinity matrices to capture dynamic graphical structures instead of
relying on a prescribed one, while DG-TCN performs group-wise temporal
convolutions with varying receptive fields and incorporates a dynamic
joint-skeleton fusion module for adaptive multi-level temporal modeling. On a
wide range of benchmarks, including NTURGB+D, Kinetics-Skeleton, BABEL, and
Toyota SmartHome, DG-STGCN consistently outperforms state-of-the-art methods,
often by a notable margin.
- Abstract(参考訳): グラフ畳み込みネットワーク(gcn)はスケルトンに基づく行動認識に広く使われている。
既存のgcnベースのアプローチは、主に所定のグラフィカルな構造(つまり骨格関節の手動で定義されたトポロジー)に依存しており、関節間の複雑な相関を捉える柔軟性を制限している。
この制限を超えて、スケルトンに基づく行動認識のための新しいフレームワークであるDynamic Group Spatio-Temporal GCN(DG-STGCN)を提案する。
DG-GCNとDG-TCNの2つのモジュールで構成される。
特に、DG-GCNは学習親和性行列を用いて、所定のものに頼るのではなく、動的なグラフィカル構造をキャプチャし、一方DG-TCNは、様々な受容場を持つグループワイドの時間的畳み込みを行い、適応的な多段階の時間的モデリングのための動的ジョイント・スケルトン融合モジュールを組み込む。
NTURGB+D、Kinetics-Skeleton、BABEL、Toyota SmartHomeなど幅広いベンチマークでは、DG-STGCNは最先端の手法よりも一貫して優れており、しばしば顕著な差がある。
関連論文リスト
- Multi-Scale Spatial-Temporal Self-Attention Graph Convolutional Networks for Skeleton-based Action Recognition [0.0]
本稿では,マルチスケール空間時間自己注意(MSST)-GCNという自己注意型GCNハイブリッドモデルを提案する。
適応トポロジを持つ空間自己保持モジュールを用いて、異なる身体部分間のフレーム内相互作用を理解するとともに、時間的自己保持モジュールを用いてノードのフレーム間の相関関係を調べる。
論文 参考訳(メタデータ) (2024-04-03T10:25:45Z) - GCN-DevLSTM: Path Development for Skeleton-Based Action Recognition [10.562869805151411]
ビデオにおける骨格に基づく行動認識は、コンピュータビジョンにおいて重要であるが難しい課題である。
本稿では,リー群構造を利用した逐次データ表現法を提案する。
提案するGCN-DevLSTMネットワークは,強いGCNベースラインモデルの改良を一貫して行い,SARタスクの堅牢性に優れたSOTA結果が得られる。
論文 参考訳(メタデータ) (2024-03-22T13:55:52Z) - DD-GCN: Directed Diffusion Graph Convolutional Network for
Skeleton-based Human Action Recognition [10.115283931959855]
Graphal Networks (GCNs) は骨格に基づく人間の行動認識に広く利用されている。
本稿では,行動モデリングのための指向的拡散を構築し,行動分割戦略を導入する。
また、同期時間意味論を組み込むことも提案する。
論文 参考訳(メタデータ) (2023-08-24T01:53:59Z) - Overcoming Topology Agnosticism: Enhancing Skeleton-Based Action
Recognition through Redefined Skeletal Topology Awareness [24.83836008577395]
グラフ畳み込みネットワーク(GCN)は長い間、骨格に基づく行動認識の最先端を定義してきた。
彼らはモデルの重みとともに隣接行列を最適化する傾向がある。
このプロセスは、骨接続データの段階的な崩壊を引き起こし、マッピングしようとしたトポロジとは無関係なモデルで終わる。
本稿では,骨の接続性をグラフ距離のパワーを利用して符号化する革新的な経路を提案する。
論文 参考訳(メタデータ) (2023-05-19T06:40:12Z) - Skeleton-based Action Recognition via Adaptive Cross-Form Learning [75.92422282666767]
スケルトンをベースとした行動認識は、骨格配列をアクションカテゴリに投影することを目的としており、配列は事前に検出された複数の点から導出される。
既存の方法は、相補的なキューのために多形骨格を活用することでGCNを改善する傾向にある。
本稿では,適応型クロスフォーム学習(ACFL)を提案する。
論文 参考訳(メタデータ) (2022-06-30T07:40:03Z) - SpatioTemporal Focus for Skeleton-based Action Recognition [66.8571926307011]
グラフ畳み込みネットワーク(GCN)は骨格に基づく行動認識において広く採用されている。
近年提案されている骨格に基づく行動認識法の性能は以下の要因によって制限されていると論じる。
近年の注目機構に着想を得て,アクション関連関係情報を取得するためのマルチグラインド・コンテキスト集中モジュール MCF を提案する。
論文 参考訳(メタデータ) (2022-03-31T02:45:24Z) - Multi-Scale Semantics-Guided Neural Networks for Efficient
Skeleton-Based Human Action Recognition [140.18376685167857]
スケルトンに基づく行動認識には,単純なマルチスケールセマンティクス誘導ニューラルネットワークが提案されている。
MS-SGNは、NTU60、NTU120、SYSUデータセットの最先端のパフォーマンスを達成する。
論文 参考訳(メタデータ) (2021-11-07T03:50:50Z) - On the spatial attention in Spatio-Temporal Graph Convolutional Networks
for skeleton-based human action recognition [97.14064057840089]
カルチャーネットワーク(GCN)は、スケルトンをグラフとしてモデル化することで、スケルトンに基づく人間の行動認識の性能を約束する。
最近提案されたG時間に基づく手法のほとんどは、ネットワークの各層におけるグラフ構造を学習することで、性能を向上させる。
論文 参考訳(メタデータ) (2020-11-07T19:03:04Z) - Disentangling and Unifying Graph Convolutions for Skeleton-Based Action
Recognition [79.33539539956186]
本稿では,マルチスケールグラフ畳み込みと,G3Dという空間時間グラフ畳み込み演算子を結合する簡単な方法を提案する。
これらの提案を結合することにより,MS-G3Dという強力な特徴抽出器を開発し,そのモデルが3つの大規模データセット上で従来の最先端手法より優れていることを示す。
論文 参考訳(メタデータ) (2020-03-31T11:28:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。