論文の概要: Heterogeneous Skeleton-Based Action Representation Learning

• arxiv url: http://arxiv.org/abs/2506.03481v1
• Date: Wed, 04 Jun 2025 01:39:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-05 21:20:14.102439
• Title: Heterogeneous Skeleton-Based Action Representation Learning
• Title（参考訳）: 不均一骨格に基づく行動表現学習
• Authors: Hongsong Wang, Xiaoyan Ma, Jidong Kuang, Jie Gui,
• Abstract要約: この研究は、ヘテロジニアス骨格に基づく行動表現学習の課題に対処する。 提案するフレームワークは, ヘテロジニアスケルトン処理と統一表現学習の2つの主要コンポーネントから構成される。 我々のアプローチは、異なるヒューマノイド構造を持つロボットの行動認識に適用できる。
• 参考スコア（独自算出の注目度）: 12.690541950946358
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Skeleton-based human action recognition has received widespread attention in recent years due to its diverse range of application scenarios. Due to the different sources of human skeletons, skeleton data naturally exhibit heterogeneity. The previous works, however, overlook the heterogeneity of human skeletons and solely construct models tailored for homogeneous skeletons. This work addresses the challenge of heterogeneous skeleton-based action representation learning, specifically focusing on processing skeleton data that varies in joint dimensions and topological structures. The proposed framework comprises two primary components: heterogeneous skeleton processing and unified representation learning. The former first converts two-dimensional skeleton data into three-dimensional skeleton via an auxiliary network, and then constructs a prompted unified skeleton using skeleton-specific prompts. We also design an additional modality named semantic motion encoding to harness the semantic information within skeletons. The latter module learns a unified action representation using a shared backbone network that processes different heterogeneous skeletons. Extensive experiments on the NTU-60, NTU-120, and PKU-MMD II datasets demonstrate the effectiveness of our method in various tasks of action understanding. Our approach can be applied to action recognition in robots with different humanoid structures.
• Abstract（参考訳）: 骨格をベースとした人間の行動認識は、様々な応用シナリオのために近年広く注目を集めている。 ヒトの骨格の異なる源のため、骨格データは自然に異質性を示す。 しかし、以前の研究は人間の骨格の異質性を見落とし、同質の骨格に適したモデルのみを構築した。 この研究は異種骨格に基づく行動表現学習の課題に対処し、特に関節次元や位相構造によって異なる骨格データの処理に焦点をあてる。 提案するフレームワークは, ヘテロジニアスケルトン処理と統一表現学習の2つの主要コンポーネントから構成される。 前者は2次元の骨格データを補助ネットワークを介して3次元の骨格に変換し、その後、骨格特異的なプロンプトを使用して、刺激された統一された骨格を構築する。 また,スケルトン内の意味情報を活用するために,セマンティック・モーション・エンコーディングという追加のモダリティを設計する。 後者のモジュールは、異なる異種骨格を処理する共有バックボーンネットワークを使用して、統一されたアクション表現を学習する。 NTU-60, NTU-120, PKU-MMD IIデータセットの大規模な実験により, 動作理解の様々なタスクにおける本手法の有効性が示された。 我々のアプローチは、異なるヒューマノイド構造を持つロボットの行動認識に適用できる。

関連論文リスト

• Motif Guided Graph Transformer with Combinatorial Skeleton Prototype Learning for Skeleton-Based Person Re-Identification [60.939250172443586]
  3Dスケルトンデータによる人物再識別(re-ID)は多くのシナリオにおいて重要な価値を持つ課題である。 既存の骨格に基づく手法は、典型的には全ての関節間の仮想運動関係を仮定し、学習に平均的な関節またはシーケンス表現を採用する。 本稿では,Y Combinatorial skeleton prototype learning (MoCos)を用いた汎用Motifガイドグラフトランスフォーマを提案する。 MoCosは、構造特異的で歩行関連のある身体関係とスケルトングラフの特徴を利用して、人物のre-IDに効果的な骨格表現を学習する。
  論文  参考訳（メタデータ） (2024-12-12T08:13:29Z)
• Hierarchical Skeleton Meta-Prototype Contrastive Learning with Hard Skeleton Mining for Unsupervised Person Re-Identification [70.90142717649785]
  本稿では,HSM(Hard Skeleton Mining)を用いた階層型非教師付きメタプロトタイプコントラストラーニング(Hi-MPC)手法を提案する。 原原型を複数の同種変換を伴うメタプロトタイプに変換することにより,原型固有の一貫性を学習し,人体再IDのより効果的な骨格特徴を捉える。
  論文  参考訳（メタデータ） (2023-07-24T16:18:22Z)
• Skeleton-Contrastive 3D Action Representation Learning [35.06361753065124]
  本稿では,骨格に基づく行動認識に適した特徴空間の自己教師型学習を目指す。 提案手法は,PKUデータセットとNTUデータセットのスケルトンデータからの自己教師付き学習における最先端性能を実現する。
  論文  参考訳（メタデータ） (2021-08-08T14:44:59Z)
• What and Where: Modeling Skeletons from Semantic and Spatial Perspectives for Action Recognition [46.836815779215456]
  本研究では,新しい空間的視点から骨格をモデル化することを提案する。 意味論的観点から,共同関係のモデル化に熟練したトランスフォーマー型ネットワークを提案する。 空間的観点から,スケルトンデータをスパース形式に変換し,効率的な特徴抽出を行う。
  論文  参考訳（メタデータ） (2020-04-07T10:53:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。