論文の概要: InfoGCN++: Learning Representation by Predicting the Future for Online
Human Skeleton-based Action Recognition
- arxiv url: http://arxiv.org/abs/2310.10547v1
- Date: Mon, 16 Oct 2023 16:15:11 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-17 12:58:04.744417
- Title: InfoGCN++: Learning Representation by Predicting the Future for Online
Human Skeleton-based Action Recognition
- Title（参考訳）: InfoGCN++:オンライン人骨格に基づく行動認識の未来予測による学習表現
- Authors: Seunggeun Chi, Hyung-gun Chi, Qixing Huang, Karthik Ramani
- Abstract要約: オンラインスケルトンに基づく行動認識のためのInfoGCNの革新的な拡張であるInfoGCN++を紹介する。
InfoGCN++は、観測シーケンスの長さに依存しないアクションタイプのリアルタイム分類を可能にする。
それは、現在および期待されている将来の動きから学習することで、従来のアプローチを超越する。
- 参考スコア（独自算出の注目度）: 34.39207134404606
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Skeleton-based action recognition has made significant advancements recently,
with models like InfoGCN showcasing remarkable accuracy. However, these models
exhibit a key limitation: they necessitate complete action observation prior to
classification, which constrains their applicability in real-time situations
such as surveillance and robotic systems. To overcome this barrier, we
introduce InfoGCN++, an innovative extension of InfoGCN, explicitly developed
for online skeleton-based action recognition. InfoGCN++ augments the abilities
of the original InfoGCN model by allowing real-time categorization of action
types, independent of the observation sequence's length. It transcends
conventional approaches by learning from current and anticipated future
movements, thereby creating a more thorough representation of the entire
sequence. Our approach to prediction is managed as an extrapolation issue,
grounded on observed actions. To enable this, InfoGCN++ incorporates Neural
Ordinary Differential Equations, a concept that lets it effectively model the
continuous evolution of hidden states. Following rigorous evaluations on three
skeleton-based action recognition benchmarks, InfoGCN++ demonstrates
exceptional performance in online action recognition. It consistently equals or
exceeds existing techniques, highlighting its significant potential to reshape
the landscape of real-time action recognition applications. Consequently, this
work represents a major leap forward from InfoGCN, pushing the limits of what's
possible in online, skeleton-based action recognition. The code for InfoGCN++
is publicly available at https://github.com/stnoah1/infogcn2 for further
exploration and validation.
- Abstract（参考訳）: スケルトンをベースとしたアクション認識は、InfoGCNのようなモデルで驚くほどの精度を示している。
これらのモデルは、分類の前に完全な行動観察を必要とするため、監視やロボットシステムのようなリアルタイムの状況における適用性が制限される。
この障壁を克服するために、オンラインスケルトンに基づく行動認識のために明示的に開発されたInfoGCN++の革新的な拡張であるInfoGCN++を紹介した。
InfoGCN++は、観測シーケンスの長さに依存しないリアルタイムなアクションタイプの分類を可能にすることで、元のInfoGCNモデルの能力を強化する。
これは、現在および期待されている将来の動きから学習することで従来のアプローチを超越し、シーケンス全体のより完全な表現を作り出す。
予測に対する我々のアプローチは、観察された行動に基づく外挿問題として管理される。
これを可能にするためにInfoGCN++は、隠れた状態の継続的進化を効果的にモデル化する概念であるNeural Ordinary Differential Equationsを取り入れている。
3つのスケルトンベースのアクション認識ベンチマークの厳密な評価に続いて、InfoGCN++はオンラインアクション認識において例外的なパフォーマンスを示す。
既存の技術と一貫して等しく、あるいは超えており、リアルタイムのアクション認識アプリケーションの展望を再構築する重要な可能性を浮き彫りにしている。
その結果、この作業はInfoGCNから大きく前進し、オンラインのスケルトンベースのアクション認識における可能性の限界を押し上げている。
InfoGCN++のコードはhttps://github.com/stnoah1/infogcn2で公開されている。
関連論文リスト
- Self-Supervised 3D Action Representation Learning with Skeleton Cloud
Colorization [75.0912240667375]
3Dスケルトンをベースとした人間の行動認識は近年注目を集めている。
既存の研究のほとんどは、多数のラベル付けされたアクションシーケンスを必要とする教師あり学習に焦点を当てている。
本稿では,骨格に基づく行動認識のための自己教師付き3次元行動表現学習について述べる。
論文 参考訳（メタデータ） (2023-04-18T08:03:26Z) - Pose-Guided Graph Convolutional Networks for Skeleton-Based Action
Recognition [32.07659338674024]
グラフ畳み込みネットワーク(GCN)は、人体骨格を空間的および時間的グラフとしてモデル化することができる。
本研究では,高性能な人行動認識のためのマルチモーダルフレームワークとして,ポーズ誘導型GCN(PG-GCN)を提案する。
このモジュールの中核となる考え方は、トレーニング可能なグラフを使用して、スケルトンストリームから、ポーズストリームの機能を集約することで、より堅牢な機能表現能力を持つネットワークを実現することだ。
論文 参考訳（メタデータ） (2022-10-10T02:08:49Z) - Joint-bone Fusion Graph Convolutional Network for Semi-supervised
Skeleton Action Recognition [65.78703941973183]
本稿では,CD-JBF-GCNをエンコーダとし,ポーズ予測ヘッドをデコーダとして使用する新しい相関駆動型ジョイントボーン・フュージョングラフ畳み込みネットワークを提案する。
具体的には、CD-JBF-GCは、関節ストリームと骨ストリームの間の運動伝達を探索することができる。
自己教師型トレーニング段階におけるポーズ予測に基づくオートエンコーダにより、未ラベルデータから動作表現を学習することができる。
論文 参考訳（メタデータ） (2022-02-08T16:03:15Z) - Skeleton Cloud Colorization for Unsupervised 3D Action Representation
Learning [65.88887113157627]
骨格に基づく人間の行動認識は近年注目を集めている。
我々は、ラベルのない骨格配列データから骨格表現を学習できる新しいスケルトン雲色化手法を設計する。
提案手法は,既存の教師なしおよび半教師付き3次元動作認識手法よりも大きなマージンで優れていることを示す。
論文 参考訳（メタデータ） (2021-08-04T10:55:39Z) - UNIK: A Unified Framework for Real-world Skeleton-based Action
Recognition [11.81043814295441]
UNIKは、データセットをまたいで一般化できる新しい骨格に基づく行動認識手法である。
実世界のビデオにおける行動認識のクロスドメイン一般化可能性について検討するため,提案したUNIKと同様に最先端のアプローチを再評価する。
その結果,提案したUNIKは,Poseticsを事前学習した上で,4つのターゲットアクション分類データセットに転送した場合に,最先端の処理性能を向上することがわかった。
論文 参考訳（メタデータ） (2021-07-19T02:00:28Z) - REGINA - Reasoning Graph Convolutional Networks in Human Action
Recognition [1.2891210250935146]
本稿では,人行動認識におけるグラフ畳み込みネットワークの推論手法について述べる。
提案された戦略は既存のGCNベースの方法で簡単に統合できる。
論文 参考訳（メタデータ） (2021-05-14T08:46:42Z) - Spatial-Temporal Alignment Network for Action Recognition and Detection [80.19235282200697]
本稿では,行動認識と検出を支援する視点不変の特徴表現を導入する方法について検討する。
本稿では,行動認識と行動検出のための幾何学的不変表現の学習を目的とした,空間時間アライメントネットワーク(STAN)を提案する。
我々は、AVA、Kinetics-400、AVA-Kinetics、Charades、Charades-EgoのデータセットでSTANモデルを広範囲にテストした。
論文 参考訳（メタデータ） (2020-12-04T06:23:40Z) - Structure-Aware Human-Action Generation [126.05874420893092]
グラフ畳み込みネットワーク(GCN)は構造情報を利用して構造表現を学習する有望な方法である。
本稿では, 時間空間における完全な行動グラフを適応的にスパース化するために, 強力な自己認識機構を活用するためのGCNの変種を提案する。
提案手法は,重要な過去のフレームに動的に対応し,GCNフレームワークに適用するためのスパースグラフを構築し,その構造情報をアクションシーケンスで適切にキャプチャする。
論文 参考訳（メタデータ） (2020-07-04T00:18:27Z) - Feedback Graph Convolutional Network for Skeleton-based Action
Recognition [38.782491442635205]
フィードバックグラフ畳み込みネットワーク(FGCN)という新しいネットワークを提案する。
これは、GCNとアクション認識にフィードバックメカニズムを導入する最初の作業である。
3つのデータセット上で最先端のパフォーマンスを達成する。
論文 参考訳（メタデータ） (2020-03-17T07:20:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。