論文の概要: Matching Skeleton-based Activity Representations with Heterogeneous Signals for HAR

• arxiv url: http://arxiv.org/abs/2503.14547v1
• Date: Mon, 17 Mar 2025 18:43:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-20 15:24:43.478210
• Title: Matching Skeleton-based Activity Representations with Heterogeneous Signals for HAR
• Title（参考訳）: HARのための不均一信号と骨格に基づく活動表現のマッチング
• Authors: Shuheng Li, Jiayun Zhang, Xiaohan Fu, Xiyuan Zhang, Jingbo Shang, Rajesh K. Gupta,
• Abstract要約: SKELARは骨格データから活動表現を事前訓練し、それらを異種HAR信号とマッチングする新しいフレームワークである。 SKELARは、フルショットと少数ショットの両方で最先端のパフォーマンスを達成する。 また,SKELARは合成骨格データを効果的に活用して,骨格収集を伴わないシナリオでの利用を拡張できることも実証した。
• 参考スコア（独自算出の注目度）: 30.418663483793804
• License:
• Abstract: In human activity recognition (HAR), activity labels have typically been encoded in one-hot format, which has a recent shift towards using textual representations to provide contextual knowledge. Here, we argue that HAR should be anchored to physical motion data, as motion forms the basis of activity and applies effectively across sensing systems, whereas text is inherently limited. We propose SKELAR, a novel HAR framework that pretrains activity representations from skeleton data and matches them with heterogeneous HAR signals. Our method addresses two major challenges: (1) capturing core motion knowledge without context-specific details. We achieve this through a self-supervised coarse angle reconstruction task that recovers joint rotation angles, invariant to both users and deployments; (2) adapting the representations to downstream tasks with varying modalities and focuses. To address this, we introduce a self-attention matching module that dynamically prioritizes relevant body parts in a data-driven manner. Given the lack of corresponding labels in existing skeleton data, we establish MASD, a new HAR dataset with IMU, WiFi, and skeleton, collected from 20 subjects performing 27 activities. This is the first broadly applicable HAR dataset with time-synchronized data across three modalities. Experiments show that SKELAR achieves the state-of-the-art performance in both full-shot and few-shot settings. We also demonstrate that SKELAR can effectively leverage synthetic skeleton data to extend its use in scenarios without skeleton collections.
• Abstract（参考訳）: 人間活動認識(HAR)では、アクティビティラベルは1ホットフォーマットでエンコードされることが多い。 ここでは,動作が動作の基礎を形成し,センシングシステムに効果的に適用されるのに対して,テキストは本質的に制限されているため,HARは物理的な動きデータに固定されるべきである,と論じる。 SKELARは骨格データから活動表現を事前学習し、それらを異種HAR信号とマッチングする新しいHARフレームワークである。 提案手法は,1)コンテキスト固有の詳細を使わずに,コアモーション知識の取得という2つの課題に対処する。 我々は、ユーザとデプロイメントの両方に不変な関節回転角を復元する自己教師付き粗い角度再構成タスクによってこれを達成し、その表現を様々なモダリティと焦点で下流タスクに適応させる。 そこで本研究では,データ駆動方式で身体部位を動的に優先順位付けするセルフアテンションマッチングモジュールを提案する。 既存の骨格データに対応するラベルが欠如していることを踏まえ、IMU、WiFi、スケルトンを含む新しいHARデータセットであるMASDを、27のアクティビティを行う20の被験者から収集した。 これは3つのモードにまたがる時間同期データを備えた、初めて適用可能なHARデータセットである。 実験により、SKELARはフルショットと少数ショットの両方で最先端のパフォーマンスを達成することが示された。 また,SKELARは合成骨格データを効果的に活用して,骨格収集を伴わないシナリオでの利用を拡張できることも実証した。

関連論文リスト

• Joint-Dataset Learning and Cross-Consistent Regularization for Text-to-Motion Retrieval [4.454835029368504]
  本稿では,自然動作記述に最も関係のあるシーケンスを検索することを目的とした,最近導入されたテキストモーション検索に注目した。 これらの有望な道を探究する最近の努力にもかかわらず、大きな課題は、堅牢なテキストモーションモデルをトレーニングするための不十分なデータである。 本稿では,複数のテキスト・モーション・データセットを同時にトレーニングする共同データセット学習について検討する。 また、骨格データのプロセスシーケンスに特定の時間的注意をあてる、MoT++と呼ばれるトランスフォーマーベースのモーションエンコーダも導入する。
  論文  参考訳（メタデータ） (2024-07-02T09:43:47Z)
• Part-aware Unified Representation of Language and Skeleton for Zero-shot Action Recognition [57.97930719585095]
  本稿では,PURLS(Part-aware Unified Representation between Language and Skeleton)を紹介する。 本手法はスケルトン/言語のバックボーンと3つの大規模データセットを用いて評価する。 その結果、PURLSの普遍性と優れた性能を示し、以前のスケルトンベースのソリューションと他のドメインからの標準ベースラインを上回った。
  論文  参考訳（メタデータ） (2024-06-19T08:22:32Z)
• MASA: Motion-aware Masked Autoencoder with Semantic Alignment for Sign Language Recognition [94.56755080185732]
  本研究では,リッチモーションキューとグローバルセマンティック情報を統合したセマンティックアライメント(MASA)を用いたMotion-Awareマスク付きオートエンコーダを提案する。 我々のフレームワークは,包括的手話表現のための局所的な動きの手がかりとグローバルな意味的特徴を同時に学習することができる。
  論文  参考訳（メタデータ） (2024-05-31T08:06:05Z)
• Text-to-Motion Retrieval: Towards Joint Understanding of Human Motion Data and Natural Language [4.86658723641864]
  本研究では,特定の自然記述に基づいて関連動作を検索することを目的とした,新たなテキスト・ツー・モーション検索タスクを提案する。 テキスト対画像/ビデオマッチングの最近の進歩に触発されて、広く採用されている2つのメトリック学習損失関数を実験した。
  論文  参考訳（メタデータ） (2023-05-25T08:32:41Z)
• Learning from Temporal Spatial Cubism for Cross-Dataset Skeleton-based Action Recognition [88.34182299496074]
  アクションラベルはソースデータセットでのみ利用可能だが、トレーニング段階のターゲットデータセットでは利用できない。 我々は,2つの骨格に基づく行動データセット間の領域シフトを低減するために,自己スーパービジョン方式を利用する。 時間的セグメントや人体部分のセグメンテーションとパーフォーミングにより、我々は2つの自己教師あり学習分類タスクを設計する。
  論文  参考訳（メタデータ） (2022-07-17T07:05:39Z)
• Joint-bone Fusion Graph Convolutional Network for Semi-supervised Skeleton Action Recognition [65.78703941973183]
  本稿では,CD-JBF-GCNをエンコーダとし,ポーズ予測ヘッドをデコーダとして使用する新しい相関駆動型ジョイントボーン・フュージョングラフ畳み込みネットワークを提案する。 具体的には、CD-JBF-GCは、関節ストリームと骨ストリームの間の運動伝達を探索することができる。 自己教師型トレーニング段階におけるポーズ予測に基づくオートエンコーダにより、未ラベルデータから動作表現を学習することができる。
  論文  参考訳（メタデータ） (2022-02-08T16:03:15Z)
• Cross-modal Consensus Network for Weakly Supervised Temporal Action Localization [74.34699679568818]
  時間的行動局所化 (WS-TAL) は、ビデオレベルの分類的監督によって、ビデオ内のアクションインスタンスをローカライズすることを目的とした課題である。 この問題に対処するためのクロスモーダルコンセンサスネットワーク(CO2-Net)を提案する。
  論文  参考訳（メタデータ） (2021-07-27T04:21:01Z)
• Pose And Joint-Aware Action Recognition [87.4780883700755]
  本稿では,まず,共有動作エンコーダを用いて各関節の動作特徴を別々に抽出する,関節に基づく動作認識の新しいモデルを提案する。 私たちのジョイントセレクタモジュールは、そのタスクの最も識別性の高いジョイントを選択するために、ジョイント情報を再重み付けします。 JHMDB, HMDB, Charades, AVA アクション認識データセットにおける最先端のジョイントベースアプローチに対する大きな改善点を示す。
  論文  参考訳（メタデータ） (2020-10-16T04:43:34Z)
• Decoupled Spatial-Temporal Attention Network for Skeleton-Based Action Recognition [46.836815779215456]
  本稿では,骨格に基づく行動認識のための空間的注意ネットワーク(DSTA-Net)を提案する。 注意ブロックの構築には,空間的時間的注意分離,非結合位置符号化,空間的大域正規化という3つの手法が提案されている。 提案手法の有効性を検証するため,骨格に基づくジェスチャーと行動認識のための4つの挑戦的データセットについて広範な実験を行った。
  論文  参考訳（メタデータ） (2020-07-07T07:58:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。