論文の概要: Zero-Shot Skeleton-Based Action Anticipation
- arxiv url: http://arxiv.org/abs/2608.14243v1
- Date: Fri, 14 Aug 2026 12:23:47 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-17 20:14:29.374286
- Title: Zero-Shot Skeleton-Based Action Anticipation
- Title(参考訳): ゼロショットスケルトンに基づくアクション予測
- Abstract要約: ゼロショットに基づく行動予測(S-SkAA)の課題について検討する。
このタスクでは、制限された初期スケルトンシーケンスのみを使用して、目に見えないアクションクラスを認識する必要がある。
NTU RGB+Dデータセットにおいて,ZS-SkAAの強力なベースラインとしての有効性を示す実験を行った。
- 参考スコア(独自算出の注目度): 13.815794703610742
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Action anticipation (AA) aims to recognize ongoing human or humanoids actions from partial observations, enabling robots to predict intentions before the actions are completed. Although skeleton-based AA offers efficiency advantages, existing approaches assume that all action classes are seen during training, which limits their deployment in real-world scenarios where novel actions inevitably arise. To address this gap, we study the new task of Zero-Shot Skeleton-Based Action Anticipation (ZS-SkAA). This task requires recognizing unseen action classes using only limited early-stage skeleton sequences, combining the challenges of partial observations, temporal dynamics, and zero-shot generalization. To establish foundational research for ZS-SkAA, we introduce:(1) A baseline model comprising a spatio-temporal feature extractor and a mutual information estimation and maximization module. This baseline model explicitly aligns partial visual features with semantic class embeddings across modalities by estimating and maximizing their mutual information, enhancing generalization to unseen classes.(2) A benchmark protocol using the NTU RGB+D dataset, which is adapted for rigorous ZS-SkAA evaluation. Experiments demonstrate the effectiveness of our model as a strong baseline for ZS-SkAA, achieving high zero-shot accuracy on NTU RGB+D. This work establishes ZS-SkAA as a vital research direction for real-world systems requiring generalization to novel actions.
- Abstract(参考訳): 行動予測(Action Precipation, AA)は、人間またはヒューマノイドの動作を部分的な観察から認識し、ロボットが行動が完了する前に意図を予測することを目的としている。
スケルトンベースのAAは効率性を提供するが、既存のアプローチでは、トレーニング中にすべてのアクションクラスが見られます。
このギャップに対処するため,ZES-SkAA(Zero-Shot Skeleton-Based Action Precipation)の新たな課題について検討した。
このタスクは、部分的な観察、時間的ダイナミクス、ゼロショット一般化の課題を組み合わせた、限られた初期段階の骨格配列のみを使用して、目に見えないアクションクラスを認識する必要がある。
ZS-SkAAの基礎研究を確立するために,(1)時空間特徴抽出器と相互情報推定・最大化モジュールからなるベースラインモデルを提案する。
このベースラインモデルは、部分的な視覚的特徴とモダリティ間のセマンティッククラス埋め込みを明示的に整合させ、それらの相互情報を推定し、最大化し、目に見えないクラスへの一般化を強化する。
2)厳密なZS-SkAA評価に適応したNTU RGB+Dデータセットを用いたベンチマークプロトコル。
NTU RGB+DにおけるZS-SkAAの強力なベースラインとしての有効性を示す実験を行った。
この研究は、ZS-SkAAを、新しい行動の一般化を必要とする現実世界のシステムにとって重要な研究の方向性として確立している。
関連論文リスト
- MoAKE: Toward Unified All-in-One Action Quality Assessment via Mixture of Action Knowledge Experts [24.636480920817736]
アクション品質アセスメント(AQA)は、アクションビデオからパフォーマンス品質を客観的に評価することを目的としている。
既存のほとんどのメソッドは1対1のパラダイムに従い、アクションタイプごとに別々のモデルをトレーニングします。
本稿では, ネガティブな知識伝達を軽減すべく, アクション知識エキスパートの混合(Mixture of Action Knowledge Experts)フレームワークを提案する。
論文 参考訳(メタデータ) (2026-07-22T06:59:23Z) - HarmoWAM: Harmonizing Generalizable and Precise Manipulation via Adaptive World Action Models [58.191567345416836]
世界行動モデル(WAM)は、物理力学のモデリングによるロボット制御のための有望なパラダイムとして登場した。
HarmoWAMは、予測と反応の制御を統一するために世界モデルを完全に活用し、一般的なトランジットと正確な操作を可能にする。
実世界の6つのロボットタスクにまたがる3つのトレーニング未確認テスト環境を構築し、背景、位置、オブジェクトの意味のバリエーションをカバーした。
論文 参考訳(メタデータ) (2026-05-11T17:59:56Z) - PRTS: A Primitive Reasoning and Tasking System via Contrastive Representations [66.94988600664574]
我々は,目標達成型強化学習を通じて事前学習を再構築するVLA基盤モデルであるtextbfPRTS(textbfPrimitive textbfReasoning and textbfTasking textbfSystem)を提案する。
論文 参考訳(メタデータ) (2026-04-30T06:14:02Z) - LARES: Latent Reasoning for Sequential Recommendation [96.26996622771593]
本稿では、シークエンシャルレコメンデーションのための新しいスケーラブルなLatent ReasoningフレームワークであるLARESを紹介する。
提案手法では,パラメータの複雑性を増大させることなく推理深度を柔軟に拡張できる再帰的アーキテクチャを用いている。
我々のフレームワークは既存の高度なモデルとのシームレスな互換性を示し、推奨性能をさらに向上させる。
論文 参考訳(メタデータ) (2025-05-22T16:22:54Z) - ACT-JEPA: Novel Joint-Embedding Predictive Architecture for Efficient Policy Representation Learning [90.41852663775086]
ACT-JEPAは模倣学習と自己教師型学習を統合する新しいアーキテクチャである。
我々はアクションシーケンスと抽象的な観察シーケンスを予測するポリシーを訓練する。
実験の結果,ACT-JEPAは時間環境の動的学習によって表現の質を向上させることがわかった。
論文 参考訳(メタデータ) (2025-01-24T16:41:41Z) - Towards Completeness: A Generalizable Action Proposal Generator for Zero-Shot Temporal Action Localization [31.82121743586165]
Generalizable Action Proposal Generator (GAP)は、クエリベースのアーキテクチャで構築され、提案レベルの目的でトレーニングされる。
本アーキテクチャに基づいて,アクションのカテゴリに依存しない動的情報を強化するために,行動認識識別損失を提案する。
実験の結果,我々のGAPは2つのZSTALベンチマークで最先端の性能を達成できた。
論文 参考訳(メタデータ) (2024-08-25T09:07:06Z) - From Recognition to Prediction: Leveraging Sequence Reasoning for Action Anticipation [30.161471749050833]
本稿では,ARR(Accence and Reasoning, 認識・推論)と呼ばれる注意機構を利用した新しいエンドツーエンドビデオモデリングアーキテクチャを提案する。
ARRは行動予測タスクを行動認識と推論タスクに分解し、次の行動予測(NAP)によって行動間の統計的関係を効果的に学習する。
さらに、広範囲なトレーニングデータを必要とする関係モデリングの課題に対処するために、デコーダの教師なし事前学習のための革新的なアプローチを提案する。
論文 参考訳(メタデータ) (2024-08-05T18:38:29Z) - Zero-Shot Temporal Action Detection via Vision-Language Prompting [134.26292288193298]
視覚言語プロンプト(STALE)を用いた新しいゼロショット時間行動検出モデルを提案する。
我々のモデルは最先端の代替品を著しく上回っている。
我々のモデルは、近年の強力な競合相手よりも監督的TADにおいて優れた結果をもたらす。
論文 参考訳(メタデータ) (2022-07-17T13:59:46Z) - Learning from Temporal Spatial Cubism for Cross-Dataset Skeleton-based
Action Recognition [88.34182299496074]
アクションラベルはソースデータセットでのみ利用可能だが、トレーニング段階のターゲットデータセットでは利用できない。
我々は,2つの骨格に基づく行動データセット間の領域シフトを低減するために,自己スーパービジョン方式を利用する。
時間的セグメントや人体部分のセグメンテーションとパーフォーミングにより、我々は2つの自己教師あり学習分類タスクを設計する。
論文 参考訳(メタデータ) (2022-07-17T07:05:39Z) - UNIK: A Unified Framework for Real-world Skeleton-based Action
Recognition [11.81043814295441]
UNIKは、データセットをまたいで一般化できる新しい骨格に基づく行動認識手法である。
実世界のビデオにおける行動認識のクロスドメイン一般化可能性について検討するため,提案したUNIKと同様に最先端のアプローチを再評価する。
その結果,提案したUNIKは,Poseticsを事前学習した上で,4つのターゲットアクション分類データセットに転送した場合に,最先端の処理性能を向上することがわかった。
論文 参考訳(メタデータ) (2021-07-19T02:00:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。