論文の概要: Topological Symmetry Enhanced Graph Convolution for Skeleton-Based Action Recognition
- arxiv url: http://arxiv.org/abs/2411.12560v2
- Date: Wed, 20 Nov 2024 02:51:08 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-11-21 12:32:56.202560
- Title: Topological Symmetry Enhanced Graph Convolution for Skeleton-Based Action Recognition
- Title(参考訳): 骨格に基づく行動認識のためのトポロメトリ強化グラフ畳み込み
- Authors: Zeyu Liang, Hailun Xia, Naichuan Zheng, Huan Xu,
- Abstract要約: 骨格に基づく行動認識は, グラフ畳み込みネットワーク(GCN)の開発により, 目覚ましい性能を達成した。
本稿では,TSE-GC(Topological Symmetry Enhanced Graph Convolution)を提案する。
また,骨格に基づく動作認識のためのMulti-Branch Deformable Temporal Convolution (MBDTC)を構築した。
- 参考スコア(独自算出の注目度): 11.05325139231301
- License:
- Abstract: Skeleton-based action recognition has achieved remarkable performance with the development of graph convolutional networks (GCNs). However, most of these methods tend to construct complex topology learning mechanisms while neglecting the inherent symmetry of the human body. Additionally, the use of temporal convolutions with certain fixed receptive fields limits their capacity to effectively capture dependencies in time sequences. To address the issues, we (1) propose a novel Topological Symmetry Enhanced Graph Convolution (TSE-GC) to enable distinct topology learning across different channel partitions while incorporating topological symmetry awareness and (2) construct a Multi-Branch Deformable Temporal Convolution (MBDTC) for skeleton-based action recognition. The proposed TSE-GC emphasizes the inherent symmetry of the human body while enabling efficient learning of dynamic topologies. Meanwhile, the design of MBDTC introduces the concept of deformable modeling, leading to more flexible receptive fields and stronger modeling capacity of temporal dependencies. Combining TSE-GC with MBDTC, our final model, TSE-GCN, achieves competitive performance with fewer parameters compared with state-of-the-art methods on three large datasets, NTU RGB+D, NTU RGB+D 120, and NW-UCLA. On the cross-subject and cross-set evaluations of NTU RGB+D 120, the accuracies of our model reach 90.0\% and 91.1\%, with 1.1M parameters and 1.38 GFLOPS for one stream.
- Abstract(参考訳): 骨格に基づく行動認識は, グラフ畳み込みネットワーク(GCN)の開発により, 顕著な性能を達成している。
しかしながら、これらの手法の多くは、人体固有の対称性を無視しながら、複雑なトポロジー学習機構を構築する傾向がある。
さらに、時間的畳み込みと一定の固定受容フィールドの使用は、時間列の依存関係を効果的にキャプチャする能力を制限する。
この問題に対処するため,(1)トポロジ的対称性の認識を取り入れつつ,異なるチャネル分割の異なるトポロジ学習を可能にする新しいトポロジ的対称性拡張グラフ畳み込み(TSE-GC)を提案し,(2)スケルトンに基づく行動認識のためのマルチブランチ・デフォルマブル・テンポラル・コンボリューション(MBDTC)を構築した。
提案したTSE-GCは、動的トポロジーの効率的な学習を可能にしながら、人体固有の対称性を強調している。
一方、MBDTCの設計は変形可能なモデリングの概念を導入し、より柔軟な受容場と時間依存のモデリング能力が強化される。
TSE-GCとMBDTCを組み合わせた最終モデルであるTSE-GCNは,NTU RGB+D,NTU RGB+D 120,NW-UCLAの3つの大規模データセットにおける最先端手法と比較して,少ないパラメータで競合性能を実現する。
NTU RGB+D 120のクロスオブジェクトおよびクロスセット評価では, モデルの精度は90.0\%, 91.1\%に達し, 1.1Mパラメータと1ストリームあたりのGFLOPSは1.38である。
関連論文リスト
- DA-Flow: Dual Attention Normalizing Flow for Skeleton-based Video Anomaly Detection [52.74152717667157]
本稿では,DAM(Dual Attention Module)と呼ばれる軽量モジュールを提案する。
フレームアテンション機構を使用して、最も重要なフレームを識別し、スケルトンアテンション機構を使用して、最小パラメータとフロップで固定されたパーティション間の広範な関係をキャプチャする。
論文 参考訳(メタデータ) (2024-06-05T06:18:03Z) - Enhancing lattice kinetic schemes for fluid dynamics with Lattice-Equivariant Neural Networks [79.16635054977068]
我々はLattice-Equivariant Neural Networks (LENNs)と呼ばれる新しい同変ニューラルネットワークのクラスを提案する。
我々の手法は、ニューラルネットワークに基づく代理モデルLattice Boltzmann衝突作用素の学習を目的とした、最近導入されたフレームワーク内で開発されている。
本研究は,実世界のシミュレーションにおける機械学習強化Lattice Boltzmann CFDの実用化に向けて展開する。
論文 参考訳(メタデータ) (2024-05-22T17:23:15Z) - High-Performance Inference Graph Convolutional Networks for Skeleton-Based Action Recognition [6.728040264083982]
本稿では,HPI-GCN-RPとHPI-GCN-OPという2つの新しい高性能推論GCNを提案する。
我々のHPI-GCN-OPは、NTU-RGB+D 60データセットのクロスオブジェクト分割で93%、NTU-RGB+D 120データセットで90.1%の精度を達成する。
論文 参考訳(メタデータ) (2023-05-30T03:30:24Z) - Overcoming Topology Agnosticism: Enhancing Skeleton-Based Action
Recognition through Redefined Skeletal Topology Awareness [24.83836008577395]
グラフ畳み込みネットワーク(GCN)は長い間、骨格に基づく行動認識の最先端を定義してきた。
彼らはモデルの重みとともに隣接行列を最適化する傾向がある。
このプロセスは、骨接続データの段階的な崩壊を引き起こし、マッピングしようとしたトポロジとは無関係なモデルで終わる。
本稿では,骨の接続性をグラフ距離のパワーを利用して符号化する革新的な経路を提案する。
論文 参考訳(メタデータ) (2023-05-19T06:40:12Z) - DG-STGCN: Dynamic Spatial-Temporal Modeling for Skeleton-based Action
Recognition [77.87404524458809]
骨格に基づく行動認識のための新しいフレームワーク,すなわち動的グループ時空間GCN(DG-STGCN)を提案する。
DG-GCNとDG-TCNの2つのモジュールで構成される。
DG-STGCNは最先端の手法よりも一貫して優れており、しばしば顕著な差がある。
論文 参考訳(メタデータ) (2022-10-12T03:17:37Z) - Multi-Scale Spatial Temporal Graph Convolutional Network for
Skeleton-Based Action Recognition [13.15374205970988]
本稿では,マルチスケール空間グラフ畳み込み (MS-GC) モジュールとマルチスケール時間グラフ畳み込み (MT-GC) モジュールを提案する。
MS-GCおよびMT-GCモジュールは対応する局所グラフ畳み込みをサブグラフ畳み込みの集合に分解し、階層的残差アーキテクチャを形成する。
本稿では,マルチスケールな時空間グラフ畳み込みネットワーク(MST-GCN)を提案する。
論文 参考訳(メタデータ) (2022-06-27T03:17:33Z) - Skeleton-based Action Recognition via Temporal-Channel Aggregation [5.620303498964992]
空間的・時間的トポロジを学習するために,TCA-CN(Temporal-Channel Aggregation Graph Conal Networks)を提案する。
さらに,マルチスケールの骨格時間モデリングを抽出し,注意機構を備えた事前骨格知識と融合する。
論文 参考訳(メタデータ) (2022-05-31T16:28:30Z) - SpatioTemporal Focus for Skeleton-based Action Recognition [66.8571926307011]
グラフ畳み込みネットワーク(GCN)は骨格に基づく行動認識において広く採用されている。
近年提案されている骨格に基づく行動認識法の性能は以下の要因によって制限されていると論じる。
近年の注目機構に着想を得て,アクション関連関係情報を取得するためのマルチグラインド・コンテキスト集中モジュール MCF を提案する。
論文 参考訳(メタデータ) (2022-03-31T02:45:24Z) - On the spatial attention in Spatio-Temporal Graph Convolutional Networks
for skeleton-based human action recognition [97.14064057840089]
カルチャーネットワーク(GCN)は、スケルトンをグラフとしてモデル化することで、スケルトンに基づく人間の行動認識の性能を約束する。
最近提案されたG時間に基づく手法のほとんどは、ネットワークの各層におけるグラフ構造を学習することで、性能を向上させる。
論文 参考訳(メタデータ) (2020-11-07T19:03:04Z) - Disentangling and Unifying Graph Convolutions for Skeleton-Based Action
Recognition [79.33539539956186]
本稿では,マルチスケールグラフ畳み込みと,G3Dという空間時間グラフ畳み込み演算子を結合する簡単な方法を提案する。
これらの提案を結合することにより,MS-G3Dという強力な特徴抽出器を開発し,そのモデルが3つの大規模データセット上で従来の最先端手法より優れていることを示す。
論文 参考訳(メタデータ) (2020-03-31T11:28:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。