論文の概要: Learning Multi-Granular Spatio-Temporal Graph Network for Skeleton-based Action Recognition

• arxiv url: http://arxiv.org/abs/2108.04536v1
• Date: Tue, 10 Aug 2021 09:25:07 GMT
• ステータス: 処理完了
• システム内更新日: 2021-08-11 21:12:50.826509
• Title: Learning Multi-Granular Spatio-Temporal Graph Network for Skeleton-based Action Recognition
• Title（参考訳）: 骨格に基づく行動認識のためのマルチグラニュラー時空間グラフネットワークの学習
• Authors: Tailin Chen, Desen Zhou, Jian Wang, Shidong Wang, Yu Guan, Xuming He, Errui Ding
• Abstract要約: 骨格に基づく行動分類のための新しい多言語時空間グラフネットワークを提案する。 2つの枝の枝からなるデュアルヘッドグラフネットワークを開発し、少なくとも2つの時間分解能を抽出する。 3つの大規模データセットについて広範な実験を行った。
• 参考スコア（独自算出の注目度）: 49.163326827954656
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The task of skeleton-based action recognition remains a core challenge in human-centred scene understanding due to the multiple granularities and large variation in human motion. Existing approaches typically employ a single neural representation for different motion patterns, which has difficulty in capturing fine-grained action classes given limited training data. To address the aforementioned problems, we propose a novel multi-granular spatio-temporal graph network for skeleton-based action classification that jointly models the coarse- and fine-grained skeleton motion patterns. To this end, we develop a dual-head graph network consisting of two interleaved branches, which enables us to extract features at two spatio-temporal resolutions in an effective and efficient manner. Moreover, our network utilises a cross-head communication strategy to mutually enhance the representations of both heads. We conducted extensive experiments on three large-scale datasets, namely NTU RGB+D 60, NTU RGB+D 120, and Kinetics-Skeleton, and achieves the state-of-the-art performance on all the benchmarks, which validates the effectiveness of our method.
• Abstract（参考訳）: 骨格に基づく行動認識の課題は、人間の動きの多様さと大きな変動により、人間中心のシーン理解において依然として重要な課題である。 既存のアプローチでは、通常、異なる動きパターンに対して単一の神経表現を用いるが、限られたトレーニングデータでは、きめ細かいアクションクラスを捉えることが困難である。 上記の問題に対処するために,粗粒と細粒のスケルトン運動パターンを共同でモデル化する,スケルトンベース行動分類のための多面的時空間グラフネットワークを提案する。 そこで本研究では,2つの分枝からなる双頭グラフネットワークを開発し,2つの時空間分解能の特徴を効果的かつ効率的な方法で抽出する。 さらに,本ネットワークは,両頭部の表現を相互に強化するクロスヘッド通信戦略を利用する。 NTU RGB+D 60, NTU RGB+D 120, Kinetics-Skeletonの3つの大規模データセットについて広範な実験を行い, 提案手法の有効性を検証した。

関連論文リスト

• Learning Scene Flow With Skeleton Guidance For 3D Action Recognition [1.5954459915735735]
  本研究は3次元行動認識のための深部時間モデルによる3次元フローシーケンスの利用を実証する。 また、最も識別性の高い運動力学を学ぶために、拡張された深部骨格も導入されている。 高次クロスモーダル相関を学習する2つのモデルの間には,後期融合方式が採用されている。
  論文  参考訳（メタデータ） (2023-06-23T04:14:25Z)
• Pose-Guided Graph Convolutional Networks for Skeleton-Based Action Recognition [32.07659338674024]
  グラフ畳み込みネットワーク(GCN)は、人体骨格を空間的および時間的グラフとしてモデル化することができる。 本研究では,高性能な人行動認識のためのマルチモーダルフレームワークとして,ポーズ誘導型GCN(PG-GCN)を提案する。 このモジュールの中核となる考え方は、トレーニング可能なグラフを使用して、スケルトンストリームから、ポーズストリームの機能を集約することで、より堅牢な機能表現能力を持つネットワークを実現することだ。
  論文  参考訳（メタデータ） (2022-10-10T02:08:49Z)
• Learning from Temporal Spatial Cubism for Cross-Dataset Skeleton-based Action Recognition [88.34182299496074]
  アクションラベルはソースデータセットでのみ利用可能だが、トレーニング段階のターゲットデータセットでは利用できない。 我々は,2つの骨格に基づく行動データセット間の領域シフトを低減するために,自己スーパービジョン方式を利用する。 時間的セグメントや人体部分のセグメンテーションとパーフォーミングにより、我々は2つの自己教師あり学習分類タスクを設計する。
  論文  参考訳（メタデータ） (2022-07-17T07:05:39Z)
• Joint-bone Fusion Graph Convolutional Network for Semi-supervised Skeleton Action Recognition [65.78703941973183]
  本稿では,CD-JBF-GCNをエンコーダとし,ポーズ予測ヘッドをデコーダとして使用する新しい相関駆動型ジョイントボーン・フュージョングラフ畳み込みネットワークを提案する。 具体的には、CD-JBF-GCは、関節ストリームと骨ストリームの間の運動伝達を探索することができる。 自己教師型トレーニング段階におけるポーズ予測に基づくオートエンコーダにより、未ラベルデータから動作表現を学習することができる。
  論文  参考訳（メタデータ） (2022-02-08T16:03:15Z)
• CDN-MEDAL: Two-stage Density and Difference Approximation Framework for Motion Analysis [3.337126420148156]
  本稿では,2つの畳み込みニューラルネットワークを用いた2段階変化検出手法を提案する。 筆者らの2段階フレームワークは, 約3.5Kのパラメータを含むが, 複雑な動きパターンに対する迅速な収束は維持されている。
  論文  参考訳（メタデータ） (2021-06-07T16:39:42Z)
• Temporal Attention-Augmented Graph Convolutional Network for Efficient Skeleton-Based Human Action Recognition [97.14064057840089]
  グラフネットワーク(GCN)はユークリッド以外のデータ構造をモデル化するのに非常に成功した。 ほとんどのGCNベースのアクション認識手法は、計算量の多いディープフィードフォワードネットワークを使用して、全てのスケルトンをアクションで処理する。 本稿では,骨格に基づく行動認識の効率を高めるための時間的アテンションモジュール(TAM)を提案する。
  論文  参考訳（メタデータ） (2020-10-23T08:01:55Z)
• Searching Multi-Rate and Multi-Modal Temporal Enhanced Networks for Gesture Recognition [89.0152015268929]
  RGB-Dジェスチャ認識のための最初のニューラルアーキテクチャサーチ(NAS)手法を提案する。 提案手法は,1)3次元中央差分畳畳み込み(3D-CDC)ファミリーによる時間的表現の強化,および多モードレート分岐と横方向接続のための最適化されたバックボーンを含む。 結果として得られたマルチレートネットワークは、RGBと深さ変調と時間力学の関係を理解するための新しい視点を提供する。
  論文  参考訳（メタデータ） (2020-08-21T10:45:09Z)
• Disentangling and Unifying Graph Convolutions for Skeleton-Based Action Recognition [79.33539539956186]
  本稿では,マルチスケールグラフ畳み込みと,G3Dという空間時間グラフ畳み込み演算子を結合する簡単な方法を提案する。 これらの提案を結合することにより,MS-G3Dという強力な特徴抽出器を開発し,そのモデルが3つの大規模データセット上で従来の最先端手法より優れていることを示す。
  論文  参考訳（メタデータ） (2020-03-31T11:28:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。