論文の概要: Native Action-Prior Learning from Videos for World Action Models
- arxiv url: http://arxiv.org/abs/2610.03391v1
- Date: Fri, 02 Oct 2026 14:41:05 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-06 00:14:30.427257
- Title: Native Action-Prior Learning from Videos for World Action Models
- Title（参考訳）: 世界アクションモデルのためのビデオからのネイティブアクションパラメータ学習
- Abstract要約: 本稿では、観察のみのビデオからアクションポリシーを直接事前学習することで、ネイティブアクションプライアラーニングを導入するNAVA-WAMを提案する。
トレーニングは2つの段階から構成される。まずは観察のみの動画を事前訓練し、視覚的遷移に対する将来のビデオフローマッチングの監督は、トランジッション構造化された共同注意によって促進される。
第2に、動作ラベル付きデモンストレーションを用いて、共同ビデオ-アクションフローマッチングによるロボット制御のためのアクション-DiTの訓練後、非対称な注意が反復的動作の分解から視覚枝を分離し、効率的なアクションのみ推論を可能にする。
- 参考スコア（独自算出の注目度）: 41.270302394229404
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: World action models integrate future visual dynamics with robot action prediction, but their scalability remains limited by the need for action-annotated robot trajectories. Observation-only videos contain rich evidence about interaction dynamics, but existing approaches typically use them either to pretrain visual representations that must later be adapted for control, or to infer latent actions that are subsequently grounded to robot commands. We present NAVA-WAM, which introduces native action-prior learning by directly pretraining the action policy from observation-only videos, avoiding indirect representation-to-control transfer or a separate latent-action model. Our training consists of two stages. First, we pretrain on observation-only videos, where future-video flow-matching supervision over visual transitions is propagated through transition-structured joint attention to optimize the Action-DiT and learn action-relevant priors. Second, we use action-labeled demonstrations to post-train the Action-DiT for robot control through joint video--action flow matching, while asymmetric attention decouples the visual branch from iterative action denoising and enables efficient action-only inference. Extensive experiments show that NAVA-WAM consistently outperforms prior approaches under both in-distribution and out-of-distribution settings, while demonstrating strong action-label efficiency and effective real-robot generalization. These results establish native action-prior learning as an effective approach to directly pretrain action policies from observation-only videos, providing a scalable path beyond action-labeled robot data.
- Abstract（参考訳）: 世界アクションモデルは、将来の視覚力学とロボットアクション予測を統合するが、そのスケーラビリティはアクションアノテートされたロボット軌道の必要性によって制限されている。
観察のみのビデオには、インタラクションのダイナミクスに関する豊富な証拠が含まれているが、既存のアプローチでは、後に制御に適応しなければならない視覚表現の事前訓練や、ロボットのコマンドに基礎を置く潜伏動作の推論に使用される。
本稿では,観察のみのビデオからアクションポリシーを直接事前学習し,間接的な表現と制御の伝達や,別の潜在行動モデルを避けることによって,ネイティブなアクションプライアラーニングを導入するNAVA-WAMを提案する。
私たちの訓練は2つの段階から成る。
まず、観察のみの映像を事前訓練し、視覚遷移に対する将来のビデオフローマッチングの監督は、トランジッション構造化された共同注意を通して伝播し、アクション-DiTを最適化し、アクション関連前科を学習する。
第2に、動作ラベル付きデモンストレーションを用いて、共同ビデオ-アクションフローマッチングによるロボット制御のためのアクション-DiTの訓練後、非対称な注意が反復的動作の分解から視覚枝を分離し、効率的なアクションのみ推論を可能にする。
大規模な実験により、NAVA-WAMは、分散状態と分散状態の両方において、従来のアプローチよりも一貫して優れ、強力なアクションラベル効率と効率的な実ロボットの一般化を示す。
これらの結果は、観察のみのビデオから直接アクションポリシーを事前学習するための効果的なアプローチとしてネイティブアクションプライアラーニングを確立し、アクションラベル付きロボットデータを超えたスケーラブルなパスを提供する。
関連論文リスト
- Foresight Without Seeing: Latent Futures for World Action Models [31.423405133926334]
本稿では,動的条件付き直接政治WAMであるForeWAMを提案する。
また、凍結した潜伏行動教師が指導するダイナミクスを導入し、物体の動きや接触変化、タスクの進行といった相互作用によって引き起こされる遷移を、暗黙の未来の状態が捉えることを奨励する。
ロボットデータの事前トレーニングがなければ、ForeWAMの標準版と加速版は平均96.7%、LIBEROは96.9%である。
論文 参考訳（メタデータ） (2026-08-12T03:27:43Z) - Vid2WAM: Distilling Video Diffusion Priors into World Action Models [59.28345153395937]
世界行動モデル(WAM)は、将来の視覚力学とアクションを共同でモデル化することで、ロボットポリシー学習を改善する。
大規模なビデオ基礎モデルからコンパクトなWAM学生へ視覚拡散を先取りするオフライン蒸留フレームワークであるVid2WAMを提案する。
Vid2WAMは、限られた専門家によるデモンストレーションにおいて、新しいタスクの一般化とデータ効率を向上させる。
論文 参考訳（メタデータ） (2026-08-09T08:02:49Z) - DeVA: Decoupled Video-Action Model with physical guidance for robot policy learning [28.673173377342593]
一般的なロボット操作は、言語命令を実行しながら視覚シーンがどのように進化するかを予測するポリシーを必要とする。
DeVAはDecoupled Video-Actionモデルであり、特殊ビデオとアクションの専門家、多レベル機能転送、物理的ガイダンスを備えている。
シミュレーションベンチマークと実世界のデプロイの両方の実験では、限られたデータによる強力なパフォーマンス、統一アーキテクチャよりも高速な収束、物理的ガイダンスによるパフォーマンス向上が示されている。
論文 参考訳（メタデータ） (2026-07-27T08:37:35Z) - From Imagined Futures to Executable Actions: Mixture of Latent Actions for Robot Manipulation [88.39072412680633]
将来の映像を実行可能な表現に変換する制御指向インタフェースであるMoLAを提案する。
我々は,シミュレーションベンチマークと実世界のロボット操作タスクに対するアプローチを評価した。
論文 参考訳（メタデータ） (2026-05-12T14:15:16Z) - ConLA: Contrastive Latent Action Learning from Human Videos for Robotic Manipulation [27.54751123419347]
人間のビデオからロボットポリシーを学習するための教師なし事前学習フレームワークであるConLAを提案する。
人間のビデオのみに事前学習を行うことで、実際のロボット軌道事前学習で得られた性能を初めて上回ります。
論文 参考訳（メタデータ） (2026-01-31T06:40:57Z) - FreeAction: Training-Free Techniques for Enhanced Fidelity of Trajectory-to-Video Generation [50.39748673817223]
本稿では,ロボットビデオ生成における明示的な動作パラメータを完全に活用する2つのトレーニング不要な推論時間手法を提案する。
第一に、アクションスケールの分類器フリーガイダンスは、動作の大きさに比例して誘導強度を動的に調整し、運動強度に対する制御性を高める。
第二に、アクションスケールノイズトランケーションは、初期サンプルノイズの分布を調整し、所望の運動力学とよりよく一致させる。
論文 参考訳（メタデータ） (2025-09-29T03:30:40Z) - Physical Autoregressive Model for Robotic Manipulation without Action Pretraining [65.8971623698511]
我々は、自己回帰ビデオ生成モデルを構築し、物理自己回帰モデル(PAR)を提案する。
PARは、アクション事前トレーニングを必要とせず、物理力学を理解するために、ビデオ事前トレーニングに埋め込まれた世界の知識を活用する。
ManiSkillベンチマークの実験は、PARがPushCubeタスクで100%の成功率を達成したことを示している。
論文 参考訳（メタデータ） (2025-08-13T13:54:51Z) - Reinforcement Learning with Action-Free Pre-Training from Videos [95.25074614579646]
本稿では,ビデオにおける生成前学習を通じて動的理解に役立つ表現を学習するフレームワークを提案する。
我々のフレームワークは、視覚に基づく強化学習の最終性能とサンプル効率の両方を著しく改善する。
論文 参考訳（メタデータ） (2022-03-25T19:44:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。