論文の概要: Hypergraph Transformer for Skeleton-based Action Recognition
- arxiv url: http://arxiv.org/abs/2211.09590v5
- Date: Tue, 21 Mar 2023 17:34:34 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-24 02:07:58.239688
- Title: Hypergraph Transformer for Skeleton-based Action Recognition
- Title（参考訳）: スケルトンベース動作認識のためのハイパーグラフトランスフォーマ
- Authors: Yuxuan Zhou, Zhi-Qi Cheng, Chao Li, Yanwen Fang, Yifeng Geng, Xuansong
Xie, Margret Keuper
- Abstract要約: スケルトンをベースとした行動認識は、骨格の相互接続を伴う人間の関節座標が与えられた人間の行動を認識することを目的としている。
それまでの作業では、共同発生をモデル化するためにGCN(Graph Convolutional Network)をうまく採用していた。
本稿では,ハイパーグラフ上での自己注意機構をHypergraph Self-Attention (HyperSA) として提案し,そのモデルに内在的な高次関係を組み込む。
- 参考スコア（独自算出の注目度）: 21.763844802116857
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Skeleton-based action recognition aims to recognize human actions given human
joint coordinates with skeletal interconnections. By defining a graph with
joints as vertices and their natural connections as edges, previous works
successfully adopted Graph Convolutional networks (GCNs) to model joint
co-occurrences and achieved superior performance. More recently, a limitation
of GCNs is identified, i.e., the topology is fixed after training. To relax
such a restriction, Self-Attention (SA) mechanism has been adopted to make the
topology of GCNs adaptive to the input, resulting in the state-of-the-art
hybrid models. Concurrently, attempts with plain Transformers have also been
made, but they still lag behind state-of-the-art GCN-based methods due to the
lack of structural prior. Unlike hybrid models, we propose a more elegant
solution to incorporate the bone connectivity into Transformer via a graph
distance embedding. Our embedding retains the information of skeletal structure
during training, whereas GCNs merely use it for initialization. More
importantly, we reveal an underlying issue of graph models in general, i.e.,
pairwise aggregation essentially ignores the high-order kinematic dependencies
between body joints. To fill this gap, we propose a new self-attention (SA)
mechanism on hypergraph, termed Hypergraph Self-Attention (HyperSA), to
incorporate intrinsic higher-order relations into the model. We name the
resulting model Hyperformer, and it beats state-of-the-art graph models w.r.t.
accuracy and efficiency on NTU RGB+D, NTU RGB+D 120, and Northwestern-UCLA
datasets.
- Abstract（参考訳）: スケルトンに基づく行動認識は、骨格相互接続を伴う人間の関節座標によって人間の行動を認識することを目的としている。
ジョイントを頂点とし、自然接続をエッジとするグラフを定義することで、従来の研究はジョイント共起をモデル化するためにグラフ畳み込みネットワーク(gcns)をうまく採用し、優れた性能を達成した。
最近では、GCNsの制限、すなわち、トポロジーは訓練後に固定される。
このような制約を緩和するために、GCNのトポロジを入力に適応させる自己認識(SA)機構が採用され、最先端のハイブリッドモデルが実現された。
同時に、プレーントランスフォーマーによる試行も行われているが、構造的事前の欠如により、最先端のGCNベースの手法に遅れが生じる。
ハイブリッドモデルとは異なり,グラフ距離埋め込みによる骨接続をトランスフォーマーに組み込むための,よりエレガントなソリューションを提案する。
我々の埋め込みはトレーニング中に骨格構造の情報を保持しますが、GCNは単に初期化に使用するだけです。
さらに重要なことは、グラフモデルの基本的問題、すなわち、ペアワイズアグリゲーションは、ボディジョイント間の高次キネマティックな依存関係を本質的に無視する。
このギャップを埋めるために,ハイパーグラフ上の新たな自己着脱機構であるhypergraph self-attention(hypersa)を提案し,高次関係をモデルに組み込む。
結果モデルhyperformerと命名し,ntu rgb+d,ntu rgb+d 120,northwest-uclaデータセットの精度と効率を比較検討した。
関連論文リスト
- Cell Graph Transformer for Nuclei Classification [78.47566396839628]
我々は,ノードとエッジを入力トークンとして扱うセルグラフ変換器(CGT)を開発した。
不愉快な特徴は、騒々しい自己注意スコアと劣等な収束につながる可能性がある。
グラフ畳み込みネットワーク(GCN)を利用して特徴抽出器を学習する新しいトポロジ対応事前学習法を提案する。
論文 参考訳（メタデータ） (2024-02-20T12:01:30Z) - Overcoming Topology Agnosticism: Enhancing Skeleton-Based Action
Recognition through Redefined Skeletal Topology Awareness [24.83836008577395]
グラフ畳み込みネットワーク(GCN)は長い間、骨格に基づく行動認識の最先端を定義してきた。
彼らはモデルの重みとともに隣接行列を最適化する傾向がある。
このプロセスは、骨接続データの段階的な崩壊を引き起こし、マッピングしようとしたトポロジとは無関係なモデルで終わる。
本稿では,骨の接続性をグラフ距離のパワーを利用して符号化する革新的な経路を提案する。
論文 参考訳（メタデータ） (2023-05-19T06:40:12Z) - Dynamic Graph Message Passing Networks for Visual Recognition [112.49513303433606]
長距離依存のモデリングは、コンピュータビジョンにおけるシーン理解タスクに不可欠である。
完全連結グラフはそのようなモデリングには有益であるが、計算オーバーヘッドは禁じられている。
本稿では,計算複雑性を大幅に低減する動的グラフメッセージパッシングネットワークを提案する。
論文 参考訳（メタデータ） (2022-09-20T14:41:37Z) - Dynamic Hypergraph Convolutional Networks for Skeleton-Based Action
Recognition [22.188135882864287]
骨格に基づく行動認識のための動的ハイパーグラフ畳み込みネットワーク(DHGCN)を提案する。
DHGCNはハイパーグラフを使用して骨格構造を表現し、ヒト関節に含まれる運動情報を効果的に活用する。
論文 参考訳（メタデータ） (2021-12-20T14:46:14Z) - A Deep Latent Space Model for Graph Representation Learning [10.914558012458425]
本稿では,従来の潜時変動に基づく生成モデルをディープラーニングフレームワークに組み込むために,有向グラフのための深潜時空間モデル(DLSM)を提案する。
提案モデルは,階層的変動型オートエンコーダアーキテクチャによって階層的に接続されるグラフ畳み込みネットワーク(GCN)エンコーダとデコーダから構成される。
実世界のデータセットにおける実験により,提案モデルがリンク予測とコミュニティ検出の両タスクにおける最先端のパフォーマンスを達成することを示す。
論文 参考訳（メタデータ） (2021-06-22T12:41:19Z) - Parameterized Hypercomplex Graph Neural Networks for Graph
Classification [1.1852406625172216]
我々は超複雑特徴変換の特性を利用するグラフニューラルネットワークを開発した。
特に、提案したモデルのクラスでは、代数自身を特定する乗法則は、トレーニング中にデータから推測される。
提案するハイパーコンプレックスgnnをいくつかのオープングラフベンチマークデータセット上でテストし,そのモデルが最先端の性能に達することを示す。
論文 参考訳（メタデータ） (2021-03-30T18:01:06Z) - Multi Scale Temporal Graph Networks For Skeleton-based Action
Recognition [5.970574258839858]
グラフ畳み込みネットワーク(GCN)は、関連するノードの特徴を効果的に捉え、モデルの性能を向上させる。
まず、時間的特徴と空間的特徴の整合性を無視し、特徴をノード単位とフレーム単位で抽出する。
本稿では,行動認識のための時間グラフネットワーク(TGN)と呼ばれる新しいモデルを提案する。
論文 参考訳（メタデータ） (2020-12-05T08:08:25Z) - Spatio-Temporal Inception Graph Convolutional Networks for
Skeleton-Based Action Recognition [126.51241919472356]
我々はスケルトンに基づく行動認識のためのシンプルで高度にモジュール化されたグラフ畳み込みネットワークアーキテクチャを設計する。
ネットワークは,空間的および時間的経路から多粒度情報を集約するビルディングブロックを繰り返すことで構築される。
論文 参考訳（メタデータ） (2020-11-26T14:43:04Z) - My Body is a Cage: the Role of Morphology in Graph-Based Incompatible
Control [65.77164390203396]
本稿では,グラフにエンコードされた形態情報により,その性能が向上しないことを示す既存手法に関する一連のアブリケーションを示す。
グラフ構造からGNNが抽出した利益は、メッセージパッシングのために生じる困難によって上回っているという仮説により、Amorpheusも提案する。
論文 参考訳（メタデータ） (2020-10-05T08:37:11Z) - Mix Dimension in Poincar\'{e} Geometry for 3D Skeleton-based Action
Recognition [57.98278794950759]
グラフ畳み込みネットワーク(GCN)はすでに、不規則なデータをモデル化する強力な能力を実証している。
本稿では,ポアンカー幾何学を用いて定義した空間時空間GCNアーキテクチャを提案する。
提案手法を,現在最大規模の2つの3次元データセット上で評価する。
論文 参考訳（メタデータ） (2020-07-30T18:23:18Z) - Revisiting Graph based Collaborative Filtering: A Linear Residual Graph
Convolutional Network Approach [55.44107800525776]
グラフ畳み込みネットワーク(GCN)は、最先端のグラフベースの表現学習モデルである。
本稿では、GCNベースの協調フィルタリング(CF)ベースのレコメンダシステム(RS)について再検討する。
単純なグラフ畳み込みネットワークの理論と整合して,非線形性を取り除くことで推奨性能が向上することを示す。
本稿では,ユーザ・イテム相互作用モデリングを用いたCF用に特別に設計された残差ネットワーク構造を提案する。
論文 参考訳（メタデータ） (2020-01-28T04:41:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。