論文の概要: DSTSA-GCN: Advancing Skeleton-Based Gesture Recognition with Semantic-Aware Spatio-Temporal Topology Modeling

• arxiv url: http://arxiv.org/abs/2501.12086v1
• Date: Tue, 21 Jan 2025 12:28:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-22 14:22:20.189762
• Title: DSTSA-GCN: Advancing Skeleton-Based Gesture Recognition with Semantic-Aware Spatio-Temporal Topology Modeling
• Title（参考訳）: DSTSA-GCN:Semantic-Aware Spatio-Temporal Topology Modelingによる骨格に基づくジェスチャー認識の改善
• Authors: Hu Cui, Renjing Huang, Ruoyu Zhang, Tessai Hayama,
• Abstract要約: グラフ畳み込みネットワーク(GCN)は骨格に基づく行動とジェスチャー認識のための強力なツールとして登場した。 空間動的意味認識グラフ畳み込みネットワーク(DSTSA-GCN)と呼ばれる新しいフレームワークを提案する。 DSTSA-GCNはGCNのトポロジモデリング能力を著しく改善し、ジェスチャーと行動認識のためのベンチマークデータセット上で最先端のパフォーマンスを実現する。
• 参考スコア（独自算出の注目度）: 5.377122303967202
• License:
• Abstract: Graph convolutional networks (GCNs) have emerged as a powerful tool for skeleton-based action and gesture recognition, thanks to their ability to model spatial and temporal dependencies in skeleton data. However, existing GCN-based methods face critical limitations: (1) they lack effective spatio-temporal topology modeling that captures dynamic variations in skeletal motion, and (2) they struggle to model multiscale structural relationships beyond local joint connectivity. To address these issues, we propose a novel framework called Dynamic Spatial-Temporal Semantic Awareness Graph Convolutional Network (DSTSA-GCN). DSTSA-GCN introduces three key modules: Group Channel-wise Graph Convolution (GC-GC), Group Temporal-wise Graph Convolution (GT-GC), and Multi-Scale Temporal Convolution (MS-TCN). GC-GC and GT-GC operate in parallel to independently model channel-specific and frame-specific correlations, enabling robust topology learning that accounts for temporal variations. Additionally, both modules employ a grouping strategy to adaptively capture multiscale structural relationships. Complementing this, MS-TCN enhances temporal modeling through group-wise temporal convolutions with diverse receptive fields. Extensive experiments demonstrate that DSTSA-GCN significantly improves the topology modeling capabilities of GCNs, achieving state-of-the-art performance on benchmark datasets for gesture and action recognition, including SHREC17 Track, DHG-14\/28, NTU-RGB+D, and NTU-RGB+D-120.
• Abstract（参考訳）: グラフ畳み込みネットワーク(GCN)は、骨格データにおける空間的および時間的依存関係をモデル化する能力により、骨格に基づく行動とジェスチャー認識のための強力なツールとして登場した。 しかし、既存のGCNベースの手法では、(1)骨格運動の動的変動を捉える効果的な時空間トポロジーモデリングが欠如しており、(2)局所的な関節接続を超えたマルチスケール構造関係のモデル化に苦慮している。 これらの課題に対処するために,動的空間的意味認識グラフ畳み込みネットワーク (DSTSA-GCN) と呼ばれる新しいフレームワークを提案する。 DSTSA-GCNでは、GC-GC(Group Channel-wise Graph Convolution)、GT-GC(Group Temporal-wise Graph Convolution)、MS-TCN(Multi-Scale Temporal Convolution)という3つの重要なモジュールが導入されている。 GC-GCとGT-GCは、チャンネル固有およびフレーム固有の相関を独立にモデル化し、時間変動を考慮した堅牢なトポロジー学習を可能にする。 さらに、どちらのモジュールも、多スケール構造関係を適応的に捉えるためにグループ化戦略を採用している。 これを補完するMS-TCNは、多様な受容場を持つ集団的時間的畳み込みを通して時間的モデリングを強化する。 大規模な実験により、DSTSA-GCNはGCNのトポロジモデリング能力を著しく改善し、SHREC17 Track、DHG-14\/28、NTU-RGB+D-120などのジェスチャーおよび行動認識のためのベンチマークデータセットの最先端性能を実現した。

関連論文リスト

• Topological Symmetry Enhanced Graph Convolution for Skeleton-Based Action Recognition [11.05325139231301]
  骨格に基づく行動認識は, グラフ畳み込みネットワーク(GCN)の開発により, 目覚ましい性能を達成した。 本稿では,TSE-GC(Topological Symmetry Enhanced Graph Convolution)を提案する。 また,骨格に基づく動作認識のためのMulti-Branch Deformable Temporal Convolution (MBDTC)を構築した。
  論文  参考訳（メタデータ） (2024-11-19T15:23:59Z)
• Spatial-temporal Graph Convolutional Networks with Diversified Transformation for Dynamic Graph Representation Learning [6.9243139068960895]
  本研究では,多角化変換(STGCNDT)を用いた時空間グラフ畳み込みネットワークを提案する。 a) テンソルM-積を用いてテンソルM-積を個別に表現することなく統一グラフテンソル畳み込みネットワーク(GTCN)を構築するb) 時間的情報を集約するために複雑な時間的パターンをモデル化するためにGTNに3つの変換スキームを導入する、c) 多様化された変換のアンサンブルを構築して高い表現能力を得る、という3つの側面を含む。
  論文  参考訳（メタデータ） (2024-08-05T09:40:47Z)
• Multi-Scale Spatial-Temporal Self-Attention Graph Convolutional Networks for Skeleton-based Action Recognition [0.0]
  本稿では,マルチスケール空間時間自己注意(MSST)-GCNという自己注意型GCNハイブリッドモデルを提案する。 適応トポロジを持つ空間自己保持モジュールを用いて、異なる身体部分間のフレーム内相互作用を理解するとともに、時間的自己保持モジュールを用いてノードのフレーム間の相関関係を調べる。
  論文  参考訳（メタデータ） (2024-04-03T10:25:45Z)
• Disentangling Structured Components: Towards Adaptive, Interpretable and Scalable Time Series Forecasting [52.47493322446537]
  本研究では,時空間パターンの各コンポーネントを個別にモデル化する適応的,解釈可能,スケーラブルな予測フレームワークを開発する。 SCNNは、空間時間パターンの潜在構造を算術的に特徴づける、MSSの事前定義された生成プロセスで動作する。 SCNNが3つの実世界のデータセットの最先端モデルよりも優れた性能を達成できることを示すため、大規模な実験が行われた。
  論文  参考訳（メタデータ） (2023-05-22T13:39:44Z)
• DG-STGCN: Dynamic Spatial-Temporal Modeling for Skeleton-based Action Recognition [77.87404524458809]
  骨格に基づく行動認識のための新しいフレームワーク,すなわち動的グループ時空間GCN(DG-STGCN)を提案する。 DG-GCNとDG-TCNの2つのモジュールで構成される。 DG-STGCNは最先端の手法よりも一貫して優れており、しばしば顕著な差がある。
  論文  参考訳（メタデータ） (2022-10-12T03:17:37Z)
• Multi-Scale Spatial Temporal Graph Convolutional Network for Skeleton-Based Action Recognition [13.15374205970988]
  本稿では,マルチスケール空間グラフ畳み込み (MS-GC) モジュールとマルチスケール時間グラフ畳み込み (MT-GC) モジュールを提案する。 MS-GCおよびMT-GCモジュールは対応する局所グラフ畳み込みをサブグラフ畳み込みの集合に分解し、階層的残差アーキテクチャを形成する。 本稿では,マルチスケールな時空間グラフ畳み込みネットワーク(MST-GCN)を提案する。
  論文  参考訳（メタデータ） (2022-06-27T03:17:33Z)
• SpatioTemporal Focus for Skeleton-based Action Recognition [66.8571926307011]
  グラフ畳み込みネットワーク(GCN)は骨格に基づく行動認識において広く採用されている。 近年提案されている骨格に基づく行動認識法の性能は以下の要因によって制限されていると論じる。 近年の注目機構に着想を得て,アクション関連関係情報を取得するためのマルチグラインド・コンテキスト集中モジュール MCF を提案する。
  論文  参考訳（メタデータ） (2022-03-31T02:45:24Z)
• Multi-Scale Semantics-Guided Neural Networks for Efficient Skeleton-Based Human Action Recognition [140.18376685167857]
  スケルトンに基づく行動認識には,単純なマルチスケールセマンティクス誘導ニューラルネットワークが提案されている。 MS-SGNは、NTU60、NTU120、SYSUデータセットの最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2021-11-07T03:50:50Z)
• On the spatial attention in Spatio-Temporal Graph Convolutional Networks for skeleton-based human action recognition [97.14064057840089]
  カルチャーネットワーク(GCN)は、スケルトンをグラフとしてモデル化することで、スケルトンに基づく人間の行動認識の性能を約束する。 最近提案されたG時間に基づく手法のほとんどは、ネットワークの各層におけるグラフ構造を学習することで、性能を向上させる。
  論文  参考訳（メタデータ） (2020-11-07T19:03:04Z)
• Disentangling and Unifying Graph Convolutions for Skeleton-Based Action Recognition [79.33539539956186]
  本稿では,マルチスケールグラフ畳み込みと,G3Dという空間時間グラフ畳み込み演算子を結合する簡単な方法を提案する。 これらの提案を結合することにより,MS-G3Dという強力な特徴抽出器を開発し,そのモデルが3つの大規模データセット上で従来の最先端手法より優れていることを示す。
  論文  参考訳（メタデータ） (2020-03-31T11:28:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。