論文の概要: Expressive Keypoints for Skeleton-based Action Recognition via Skeleton Transformation
- arxiv url: http://arxiv.org/abs/2406.18011v1
- Date: Wed, 26 Jun 2024 01:48:56 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-27 14:57:54.665119
- Title: Expressive Keypoints for Skeleton-based Action Recognition via Skeleton Transformation
- Title(参考訳): 骨格変換による骨格に基づく行動認識のための表現的キーポイント
- Authors: Yijie Yang, Jinlu Zhang, Jiaxu Zhang, Zhigang Tu,
- Abstract要約: 我々は,手と足の詳細を組み込んだ表現的キーポイントを提案し,複雑な動作を識別する既存のモデルの識別能力を向上させる。
プラグアンドプレイのインスタンスプールモジュールは、計算コストを増大させることなく、マルチパーソンシナリオにアプローチを拡張するために利用されます。
- 参考スコア(独自算出の注目度): 14.033701085783177
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In the realm of skeleton-based action recognition, the traditional methods which rely on coarse body keypoints fall short of capturing subtle human actions. In this work, we propose Expressive Keypoints that incorporates hand and foot details to form a fine-grained skeletal representation, improving the discriminative ability for existing models in discerning intricate actions. To efficiently model Expressive Keypoints, the Skeleton Transformation strategy is presented to gradually downsample the keypoints and prioritize prominent joints by allocating the importance weights. Additionally, a plug-and-play Instance Pooling module is exploited to extend our approach to multi-person scenarios without surging computation costs. Extensive experimental results over seven datasets present the superiority of our method compared to the state-of-the-art for skeleton-based human action recognition. Code is available at https://github.com/YijieYang23/SkeleT-GCN.
- Abstract(参考訳): 骨格に基づく行動認識の領域では、粗い身体のキーポイントに依存する従来の方法は、微妙な人間の行動を捉えるには不十分である。
本研究では,手と足の詳細を組み込んだ表現的キーポイントを提案する。
表現的キーポイントを効率的にモデル化するために、スケルトン変換戦略が提示され、重要重量を割り振ることで、キーポイントを徐々に縮小し、顕著な関節を優先する。
さらに、プラグアンドプレイのインスタンスプールモジュールを使用して、計算コストを増大させることなく、アプローチをマルチパーソンシナリオに拡張します。
7つのデータセットに対する大規模な実験結果から,骨格に基づく人間の行動認識の最先端技術と比較して,本手法の優位性が示された。
コードはhttps://github.com/YijieYang23/SkeleT-GCNで公開されている。
関連論文リスト
- SkeleTR: Towrads Skeleton-based Action Recognition in the Wild [86.03082891242698]
SkeleTRは骨格に基づく行動認識のための新しいフレームワークである。
まず、グラフ畳み込みによる各骨格配列の人体内骨格力学をモデル化する。
次に、スタック化されたTransformerエンコーダを使用して、一般的なシナリオにおけるアクション認識に重要な人物のインタラクションをキャプチャする。
論文 参考訳(メタデータ) (2023-09-20T16:22:33Z) - Hierarchical Skeleton Meta-Prototype Contrastive Learning with Hard
Skeleton Mining for Unsupervised Person Re-Identification [70.90142717649785]
本稿では,HSM(Hard Skeleton Mining)を用いた階層型非教師付きメタプロトタイプコントラストラーニング(Hi-MPC)手法を提案する。
原原型を複数の同種変換を伴うメタプロトタイプに変換することにより,原型固有の一貫性を学習し,人体再IDのより効果的な骨格特徴を捉える。
論文 参考訳(メタデータ) (2023-07-24T16:18:22Z) - One-Shot Action Recognition via Multi-Scale Spatial-Temporal Skeleton
Matching [77.6989219290789]
ワンショットスケルトン行動認識は、単一のトレーニングサンプルでスケルトン行動認識モデルを学ぶことを目的としている。
本稿では,マルチスケールな時空間特徴マッチングによる骨格行動認識を行う新しい一発骨格行動認識手法を提案する。
論文 参考訳(メタデータ) (2023-07-14T11:52:10Z) - Unified Keypoint-based Action Recognition Framework via Structured
Keypoint Pooling [3.255030588361124]
本稿では,従来の骨格に基づく行動認識に関する3つの制限を同時に解決する。
アクション認識には、ポイントクラウドのディープラーニングパラダイムが導入される。
構造化キーポイントプールと呼ばれる新しいディープニューラルネットワークアーキテクチャを提案する。
論文 参考訳(メタデータ) (2023-03-27T14:59:08Z) - SimMC: Simple Masked Contrastive Learning of Skeleton Representations
for Unsupervised Person Re-Identification [63.903237777588316]
SimMC(Simple Masked Contrastive Learning)フレームワークを提案する。
具体的には、各骨格配列内の骨格の特徴を完全に活用するために、まずマスク付きプロトタイプコントラスト学習(MPC)方式を考案する。
そこで我々は,サブシーケンス間のシーケンス内パターンの整合性を捉えるために,マスク付きシーケンス内コントラスト学習(MIC)を提案する。
論文 参考訳(メタデータ) (2022-04-21T00:19:38Z) - Skeleton-Contrastive 3D Action Representation Learning [35.06361753065124]
本稿では,骨格に基づく行動認識に適した特徴空間の自己教師型学習を目指す。
提案手法は,PKUデータセットとNTUデータセットのスケルトンデータからの自己教師付き学習における最先端性能を実現する。
論文 参考訳(メタデータ) (2021-08-08T14:44:59Z) - Revisiting Skeleton-based Action Recognition [107.08112310075114]
PoseC3Dは骨格に基づく行動認識の新しいアプローチであり、代わりに人間の骨格のベース表現としてグラフシーケンスを積み重ねる3Dヒートマップに依存している。
4つの挑戦的なデータセットにおいて、PoseC3Dは、スケルトン上で単独で使用し、RGBモダリティと組み合わせることで、常に優れたパフォーマンスを得る。
論文 参考訳(メタデータ) (2021-04-28T06:32:17Z) - Skeleton-Aware Networks for Deep Motion Retargeting [83.65593033474384]
骨格間のデータ駆動動作のための新しいディープラーニングフレームワークを提案する。
我々の手法は、トレーニングセットの運動間の明確なペアリングを必要とせずに、再ターゲティングの仕方を学ぶ。
論文 参考訳(メタデータ) (2020-05-12T12:51:40Z) - Predictively Encoded Graph Convolutional Network for Noise-Robust
Skeleton-based Action Recognition [6.729108277517129]
本研究では,骨格特徴の雑音情報に対して頑健な骨格に基づく行動認識手法を提案する。
本手法は, 既存の最先端手法と比較して, スケルトンサンプルがノイズを受ける場合の優れた性能を実現する。
論文 参考訳(メタデータ) (2020-03-17T03:37:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。