論文の概要: Skeleton-based Action Recognition via Adaptive Cross-Form Learning

• arxiv url: http://arxiv.org/abs/2206.15085v1
• Date: Thu, 30 Jun 2022 07:40:03 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-01 15:20:55.385342
• Title: Skeleton-based Action Recognition via Adaptive Cross-Form Learning
• Title（参考訳）: 適応型クロスフォーム学習によるスケルトンベース行動認識
• Authors: Xuanhan Wang, Yan Dai, Lianli Gao, Jingkuan Song
• Abstract要約: スケルトンをベースとした行動認識は、骨格配列をアクションカテゴリに投影することを目的としており、配列は事前に検出された複数の点から導出される。 既存の方法は、相補的なキューのために多形骨格を活用することでGCNを改善する傾向にある。 本稿では,適応型クロスフォーム学習(ACFL)を提案する。
• 参考スコア（独自算出の注目度）: 75.92422282666767
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Skeleton-based action recognition aims to project skeleton sequences to action categories, where skeleton sequences are derived from multiple forms of pre-detected points. Compared with earlier methods that focus on exploring single-form skeletons via Graph Convolutional Networks (GCNs), existing methods tend to improve GCNs by leveraging multi-form skeletons due to their complementary cues. However, these methods (either adapting structure of GCNs or model ensemble) require the co-existence of all forms of skeletons during both training and inference stages, while a typical situation in real life is the existence of only partial forms for inference. To tackle this issue, we present Adaptive Cross-Form Learning (ACFL), which empowers well-designed GCNs to generate complementary representation from single-form skeletons without changing model capacity. Specifically, each GCN model in ACFL not only learns action representation from the single-form skeletons, but also adaptively mimics useful representations derived from other forms of skeletons. In this way, each GCN can learn how to strengthen what has been learned, thus exploiting model potential and facilitating action recognition as well. Extensive experiments conducted on three challenging benchmarks, i.e., NTU-RGB+D 120, NTU-RGB+D 60 and UAV-Human, demonstrate the effectiveness and generalizability of the proposed method. Specifically, the ACFL significantly improves various GCN models (i.e., CTR-GCN, MS-G3D, and Shift-GCN), achieving a new record for skeleton-based action recognition.
• Abstract（参考訳）: スケルトンをベースとした行動認識は、骨格の配列をアクションカテゴリに投影することを目的としており、骨格の配列は事前に検出された複数の点から導かれる。 グラフ畳み込みネットワーク(GCN)によるシングルフォームスケルトン探索に重点を置いていた従来の手法と比較すると、既存の手法は相補的なキューによるマルチフォームスケルトンを活用することでGCNを改善する傾向にある。 しかし、これらの手法(GCNの適応構造やモデルアンサンブル)は、トレーニングと推論の段階で全ての形態の骨格を共存させる必要があり、実際の生活における典型的な状況は推論のための部分的な形態の存在である。 この問題に対処するため, モデル容量を変化させることなく, シングルフォームスケルトンから補完表現を生成するためのGCNを適切に設計した適応型クロスフォーム学習(ACFL)を提案する。 具体的には、ACFLの各GCNモデルは、単一の形態の骨格から行動表現を学ぶだけでなく、他の形態の骨格から派生した有用な表現を適応的に模倣する。 このようにして、各GCNは、学んだことの強化方法を学び、モデルポテンシャルを利用してアクション認識を促進することができる。 NTU-RGB+D 120, NTU-RGB+D 60, UAV-Human の3つの試行的な実験により,提案手法の有効性と一般化性を実証した。 具体的には、ACFLは様々なGCNモデル(CTR-GCN、MS-G3D、Shift-GCN)を著しく改善し、骨格に基づく行動認識のための新しい記録を達成している。

関連論文リスト

• Hierarchical Skeleton Meta-Prototype Contrastive Learning with Hard Skeleton Mining for Unsupervised Person Re-Identification [70.90142717649785]
  本稿では,HSM(Hard Skeleton Mining)を用いた階層型非教師付きメタプロトタイプコントラストラーニング(Hi-MPC)手法を提案する。 原原型を複数の同種変換を伴うメタプロトタイプに変換することにより,原型固有の一貫性を学習し,人体再IDのより効果的な骨格特徴を捉える。
  論文  参考訳（メタデータ） (2023-07-24T16:18:22Z)
• SkeletonMAE: Graph-based Masked Autoencoder for Skeleton Sequence Pre-training [110.55093254677638]
  我々はSkeleton Sequence Learning(SSL)という,効率的なスケルトンシーケンス学習フレームワークを提案する。 本論文では,SkeletonMAEという非対称なグラフベースのエンコーダデコーダ事前学習アーキテクチャを構築する。 我々のSSLは、さまざまなデータセットにまたがってうまく一般化し、最先端の自己教師型スケルトンベースのアクション認識手法よりも優れています。
  論文  参考訳（メタデータ） (2023-07-17T13:33:11Z)
• Overcoming Topology Agnosticism: Enhancing Skeleton-Based Action Recognition through Redefined Skeletal Topology Awareness [24.83836008577395]
  グラフ畳み込みネットワーク(GCN)は長い間、骨格に基づく行動認識の最先端を定義してきた。 彼らはモデルの重みとともに隣接行列を最適化する傾向がある。 このプロセスは、骨接続データの段階的な崩壊を引き起こし、マッピングしようとしたトポロジとは無関係なモデルで終わる。 本稿では,骨の接続性をグラフ距離のパワーを利用して符号化する革新的な経路を提案する。
  論文  参考訳（メタデータ） (2023-05-19T06:40:12Z)
• Graph Contrastive Learning for Skeleton-based Action Recognition [85.86820157810213]
  骨格に基づく行動認識のためのグラフコントラスト学習フレームワークを提案する。 SkeletonGCLは、グラフをクラス識別に強制することで、シーケンス間のグラフ学習を関連付ける。 SkeletonGCLは新しいトレーニングパラダイムを確立し、現在のグラフ畳み込みネットワークにシームレスに組み込むことができる。
  論文  参考訳（メタデータ） (2023-01-26T02:09:16Z)
• DG-STGCN: Dynamic Spatial-Temporal Modeling for Skeleton-based Action Recognition [77.87404524458809]
  骨格に基づく行動認識のための新しいフレームワーク,すなわち動的グループ時空間GCN(DG-STGCN)を提案する。 DG-GCNとDG-TCNの2つのモジュールで構成される。 DG-STGCNは最先端の手法よりも一貫して優れており、しばしば顕著な差がある。
  論文  参考訳（メタデータ） (2022-10-12T03:17:37Z)
• Pose-Guided Graph Convolutional Networks for Skeleton-Based Action Recognition [32.07659338674024]
  グラフ畳み込みネットワーク(GCN)は、人体骨格を空間的および時間的グラフとしてモデル化することができる。 本研究では,高性能な人行動認識のためのマルチモーダルフレームワークとして,ポーズ誘導型GCN(PG-GCN)を提案する。 このモジュールの中核となる考え方は、トレーニング可能なグラフを使用して、スケルトンストリームから、ポーズストリームの機能を集約することで、より堅牢な機能表現能力を持つネットワークを実現することだ。
  論文  参考訳（メタデータ） (2022-10-10T02:08:49Z)
• SimMC: Simple Masked Contrastive Learning of Skeleton Representations for Unsupervised Person Re-Identification [63.903237777588316]
  SimMC(Simple Masked Contrastive Learning)フレームワークを提案する。 具体的には、各骨格配列内の骨格の特徴を完全に活用するために、まずマスク付きプロトタイプコントラスト学習(MPC)方式を考案する。 そこで我々は,サブシーケンス間のシーケンス内パターンの整合性を捉えるために,マスク付きシーケンス内コントラスト学習(MIC)を提案する。
  論文  参考訳（メタデータ） (2022-04-21T00:19:38Z)
• Stronger, Faster and More Explainable: A Graph Convolutional Baseline for Skeleton-based Action Recognition [22.90127409366107]
  グラフ畳み込みネットワーク(GCN)に基づく効率的だが強力なベースラインを提案する。 畳み込みニューラルネットワーク(CNN)におけるResNetアーキテクチャの成功に触発されたResGCNモジュールがGCNで導入された。 PartAttブロックは、アクションシーケンス全体の上で最も重要な身体部分を発見するために提案される。
  論文  参考訳（メタデータ） (2020-10-20T02:56:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。