論文の概要: Video Prediction Policy 2: Predict Better, Act Better
- arxiv url: http://arxiv.org/abs/2610.10270v3
- Date: Tue, 13 Oct 2026 06:53:46 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-14 23:39:49.587404
- Title: Video Prediction Policy 2: Predict Better, Act Better
- Title（参考訳）: ビデオ予測ポリシー2: 予測は改善、行動は改善
- Abstract要約: 本稿では,映像予測とアクション生成の両方において,強力なゼロショット一般化を可能にするWAMであるビデオ予測ポリシー2(VPP2)を紹介する。
まず、大規模な多様な操作ビデオのデータセットをキュレートし、ベースとなるビデオ基盤モデルの事前訓練を継続する。
第2に,ビデオモデルを1ステップのビジュアルプランナに抽出し,予測水平線を固定した。
第3に、暗黙的な逆ダイナミクスモデルを学ぶために、Mix-of-transformers (MoT)アーキテクチャを介してアクションモジュールを導入する。
- 参考スコア（独自算出の注目度）: 16.8737470509789
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: World action models (WAMs) have emerged as an important class of generalist robot policies, aiming to transfer video prediction priors to action learning. However, we find that existing WAMs frequently produce incorrect motion predictions in open-ended environment, leading to erroneous actions. We attribute this limitation to two factors: (1) base video models are not optimized for manipulation, and (2) naively incorporating action components into video models can substantially degrade their generalization capabilities. We introduce Video Prediction Policy 2 (VPP2), a WAM that enables strong zero-shot generalization in both video prediction and action generation. First, we curate a large-scale, diverse dataset of manipulation videos to continue pretraining the base video foundation model. We annotate video clips with detailed captions and perform \textit{event-level} video pretraining to promote generalization across open-ended manipulation tasks. Second, we post-train and distill the video model into a single-step visual planner with fixed prediction horizon. Finally, we introduce action module via a mixture-of-transformers (MoT) architecture to learn implicit inverse dynamics model. Experiments demonstrate three key results: (1) VPP2-14B outperforms Cosmos3-64B by 11.0\% points in video prediction instruction-following success rate on open-ended tasks; (2) VPP2 surpasses the strongest baseline by 18.5\% points in success rate on real-world zero-shot ALOHA manipulation tasks; and (3) following benchmark-specific post-training, VPP2 achieves the highest success rates among evaluated methods on the challenging LIBERO-Pro, LIBERO-OOD, and RoboDojo benchmarks.
- Abstract（参考訳）: 世界アクションモデル(WAM)は、アクション学習に先立ってビデオ予測を転送することを目的として、ジェネラリストロボットポリシーの重要なクラスとして登場した。
しかし、既存のWAMは、しばしばオープンエンド環境で誤った動きを予測し、誤った行動を引き起こすことが判明した。
この制限は,(1)ベースビデオモデルが操作に最適化されていないこと,(2)ビデオモデルにアクションコンポーネントを鼻で組み込むことで,その一般化能力を著しく低下させる可能性があること,の2つの要因に起因している。
本稿では,映像予測とアクション生成の両方において,強力なゼロショット一般化を可能にするWAMであるビデオ予測ポリシー2(VPP2)を紹介する。
まず、大規模な多様な操作ビデオのデータセットをキュレートし、ベースとなるビデオ基盤モデルの事前訓練を継続する。
我々は,ビデオクリップに詳細なキャプションを付加し,オープンな操作タスク間の一般化を促進するために,‘textit{event-level} ビデオ事前トレーニングを行う。
第2に,ビデオモデルを1ステップのビジュアルプランナに抽出し,予測水平線を固定した。
最後に、暗黙的な逆ダイナミクスモデルを学ぶために、Mix-of-transformers (MoT)アーキテクチャを介してアクションモジュールを導入する。
VPP2-14Bは、ビデオ予測の命令追従でCosmos3-64Bを11.0\%で上回り、VPP2は、実世界のゼロショットのALOHA操作タスクにおいて18.5\%の成功率で最強のベースラインを超え、(3)ベンチマーク固有のポストトレーニングの結果、VPP2は、挑戦的なLIBERO-Pro、LIBERO-OOD、RoboDojoベンチマークで評価されたメソッドの中で最高成功率を達成した。
関連論文リスト
- GigaWorld-Policy: An Efficient Action-Centered World--Action Model [50.107640832046464]
GigaWorld-Policyはアクション中心のWAMで、2Dピクセルアクションのダイナミクスを学習し、オプションのビデオ生成で効率的なアクションデコーディングを可能にする。
実世界のロボットプラットフォームでの実験結果によると、GigaWorld-Policyは主要なWAMベースラインであるMotusの9倍高速で動作する。
論文 参考訳（メタデータ） (2026-03-18T00:52:02Z) - Physical Autoregressive Model for Robotic Manipulation without Action Pretraining [65.8971623698511]
我々は、自己回帰ビデオ生成モデルを構築し、物理自己回帰モデル(PAR)を提案する。
PARは、アクション事前トレーニングを必要とせず、物理力学を理解するために、ビデオ事前トレーニングに埋め込まれた世界の知識を活用する。
ManiSkillベンチマークの実験は、PARがPushCubeタスクで100%の成功率を達成したことを示している。
論文 参考訳（メタデータ） (2025-08-13T13:54:51Z) - AMPLIFY: Actionless Motion Priors for Robot Learning from Videos [29.799207502031496]
AMPLIFYは,大規模ビデオデータを活用する新しいフレームワークである。
我々は、豊富なアクションフリービデオでフォワードダイナミクスモデルを訓練し、限られたアクションラベル付き例で逆ダイナミクスモデルを訓練する。
下流の政策学習において、我々のダイナミクス予測は、低データのレシエーションにおいて1.2-2.2倍の改善を実現し、アクションフリーなヒューマンビデオから学ぶことで平均1.4倍の改善を実現し、非配布アクションデータからLIBEROタスクへの第1次一般化を可能にした。
論文 参考訳（メタデータ） (2025-06-17T05:31:42Z) - Unified Video Action Model [47.88377984526902]
統合されたビデオとアクションモデルは、アクション予測のためのリッチなシーン情報を提供するロボット工学にとって重要な約束である。
我々は,映像とアクションの予測を協調的に最適化し,高精度かつ効率的なアクション推論を実現するUnified Video Action Model (UVA)を提案する。
広範な実験により、UVAは幅広いロボティクスタスクの汎用的なソリューションとして機能できることが実証された。
論文 参考訳（メタデータ） (2025-02-28T21:38:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。