論文の概要: MS-CLR: Multi-Skeleton Contrastive Learning for Human Action Recognition
- arxiv url: http://arxiv.org/abs/2508.14889v1
- Date: Wed, 20 Aug 2025 17:58:03 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-08-21 16:52:41.544219
- Title: MS-CLR: Multi-Skeleton Contrastive Learning for Human Action Recognition
- Title(参考訳): MS-CLR:人間行動認識のためのマルチスケルトンコントラスト学習
- Authors: Mert Kiray, Alvaro Ritter, Nassir Navab, Benjamin Busam,
- Abstract要約: Multi-Skeleton Contrastive Learning (MS-CLR)は、同じシーケンスから抽出された複数のスケルトン規則間でポーズ表現を整列するフレームワークである。
MS-CLRは、強いシングルスケルトンコントラスト学習ベースラインよりも一貫してパフォーマンスを向上する。
マルチスケルトンアンサンブルはパフォーマンスをさらに向上させ、両方のデータセットに新たな最先端結果を設定する。
- 参考スコア(独自算出の注目度): 49.91188543847175
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Contrastive learning has gained significant attention in skeleton-based action recognition for its ability to learn robust representations from unlabeled data. However, existing methods rely on a single skeleton convention, which limits their ability to generalize across datasets with diverse joint structures and anatomical coverage. We propose Multi-Skeleton Contrastive Learning (MS-CLR), a general self-supervised framework that aligns pose representations across multiple skeleton conventions extracted from the same sequence. This encourages the model to learn structural invariances and capture diverse anatomical cues, resulting in more expressive and generalizable features. To support this, we adapt the ST-GCN architecture to handle skeletons with varying joint layouts and scales through a unified representation scheme. Experiments on the NTU RGB+D 60 and 120 datasets demonstrate that MS-CLR consistently improves performance over strong single-skeleton contrastive learning baselines. A multi-skeleton ensemble further boosts performance, setting new state-of-the-art results on both datasets.
- Abstract(参考訳): コントラスト学習は、ラベルのないデータから堅牢な表現を学習する能力において、骨格に基づく行動認識において大きな注目を集めている。
しかし、既存の方法は単一のスケルトン規則に依存しており、多様な関節構造と解剖学的カバレッジを持つデータセットをまたいで一般化する能力を制限する。
提案するマルチスケルトンコントラスト学習(MS-CLR)は,同じシーケンスから抽出した複数のスケルトン規則にまたがるポーズ表現をアライメントする,汎用的な自己教師型フレームワークである。
これにより、モデルは構造的不変性を学び、多様な解剖学的手がかりを捉え、より表現的で一般化可能な特徴をもたらす。
これを支援するために,ST-GCNアーキテクチャを統一表現スキームを用いて,関節レイアウトやスケールの異なるスケルトンを扱うように適応する。
NTU RGB+D 60および120データセットの実験は、MS-CLRが強いシングルスケルトンコントラスト学習ベースラインよりも一貫してパフォーマンスを向上させることを示した。
マルチスケルトンアンサンブルはパフォーマンスをさらに向上させ、両方のデータセットに新たな最先端結果を設定する。
関連論文リスト
- Motif Guided Graph Transformer with Combinatorial Skeleton Prototype Learning for Skeleton-Based Person Re-Identification [60.939250172443586]
3Dスケルトンデータによる人物再識別(re-ID)は多くのシナリオにおいて重要な価値を持つ課題である。
既存の骨格に基づく手法は、典型的には全ての関節間の仮想運動関係を仮定し、学習に平均的な関節またはシーケンス表現を採用する。
本稿では,Y Combinatorial skeleton prototype learning (MoCos)を用いた汎用Motifガイドグラフトランスフォーマを提案する。
MoCosは、構造特異的で歩行関連のある身体関係とスケルトングラフの特徴を利用して、人物のre-IDに効果的な骨格表現を学習する。
論文 参考訳(メタデータ) (2024-12-12T08:13:29Z) - SkeletonMAE: Graph-based Masked Autoencoder for Skeleton Sequence
Pre-training [110.55093254677638]
我々はSkeleton Sequence Learning(SSL)という,効率的なスケルトンシーケンス学習フレームワークを提案する。
本論文では,SkeletonMAEという非対称なグラフベースのエンコーダデコーダ事前学習アーキテクチャを構築する。
我々のSSLは、さまざまなデータセットにまたがってうまく一般化し、最先端の自己教師型スケルトンベースのアクション認識手法よりも優れています。
論文 参考訳(メタデータ) (2023-07-17T13:33:11Z) - Skeleton Prototype Contrastive Learning with Multi-Level Graph Relation
Modeling for Unsupervised Person Re-Identification [63.903237777588316]
3Dスケルトンによる人物再識別(re-ID)は多くの利点を持つ重要な話題である。
既存の解は骨格構造や運動における価値ある身体-成分関係を探索することは滅多にない。
本稿では,マルチレベルグラフ関係学習を用いた汎用的教師なし型コントラスト学習パラダイムを提案する。
論文 参考訳(メタデータ) (2022-08-25T00:59:32Z) - Contrastive Learning from Spatio-Temporal Mixed Skeleton Sequences for
Self-Supervised Skeleton-Based Action Recognition [21.546894064451898]
通常の拡張に基づくコントラストペアを直接拡張すると、性能の面ではリターンが制限されることが示される。
我々は,現在のコントラスト学習アプローチを補完する時間的スケルトン混合強化(SkeleMix)を備えたコントラスト学習フレームワークであるSkeleMixCLRを提案する。
論文 参考訳(メタデータ) (2022-07-07T03:18:09Z) - SimMC: Simple Masked Contrastive Learning of Skeleton Representations
for Unsupervised Person Re-Identification [63.903237777588316]
SimMC(Simple Masked Contrastive Learning)フレームワークを提案する。
具体的には、各骨格配列内の骨格の特徴を完全に活用するために、まずマスク付きプロトタイプコントラスト学習(MPC)方式を考案する。
そこで我々は,サブシーケンス間のシーケンス内パターンの整合性を捉えるために,マスク付きシーケンス内コントラスト学習(MIC)を提案する。
論文 参考訳(メタデータ) (2022-04-21T00:19:38Z) - Skeleton-Contrastive 3D Action Representation Learning [35.06361753065124]
本稿では,骨格に基づく行動認識に適した特徴空間の自己教師型学習を目指す。
提案手法は,PKUデータセットとNTUデータセットのスケルトンデータからの自己教師付き学習における最先端性能を実現する。
論文 参考訳(メタデータ) (2021-08-08T14:44:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。