論文の概要: GigaWorld-Policy: An Efficient Action-Centered World--Action Model
- arxiv url: http://arxiv.org/abs/2603.17240v1
- Date: Wed, 18 Mar 2026 00:52:02 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-19 18:32:57.461375
- Title: GigaWorld-Policy: An Efficient Action-Centered World--Action Model
- Title(参考訳): GigaWorld-Policy: 効果的なアクション中心の世界-アクションモデル
- Authors: Angen Ye, Boyuan Wang, Chaojun Ni, Guan Huang, Guosheng Zhao, Hao Li, Hengtao Li, Jie Li, Jindi Lv, Jingyu Liu, Min Cao, Peng Li, Qiuping Deng, Wenjun Mei, Xiaofeng Wang, Xinze Chen, Xinyu Zhou, Yang Wang, Yifan Chang, Yifan Li, Yukun Zhou, Yun Ye, Zhichao Liu, Zheng Zhu,
- Abstract要約: GigaWorld-Policyはアクション中心のWAMで、2Dピクセルアクションのダイナミクスを学習し、オプションのビデオ生成で効率的なアクションデコーディングを可能にする。
実世界のロボットプラットフォームでの実験結果によると、GigaWorld-Policyは主要なWAMベースラインであるMotusの9倍高速で動作する。
- 参考スコア(独自算出の注目度): 50.107640832046464
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: World-Action Models (WAM) initialized from pre-trained video generation backbones have demonstrated remarkable potential for robot policy learning. However, existing approaches face two critical bottlenecks that hinder performance and deployment. First, jointly reasoning over future visual dynamics and corresponding actions incurs substantial inference overhead. Second, joint modeling often entangles visual and motion representations, making motion prediction accuracy heavily dependent on the quality of future video forecasts. To address these issues, we introduce GigaWorld-Policy, an action-centered WAM that learns 2D pixel-action dynamics while enabling efficient action decoding, with optional video generation. Specifically, we formulate policy training into two coupled components: the model predicts future action sequences conditioned on the current observation, and simultaneously generates future videos conditioned on the predicted actions and the same observation. The policy is supervised by both action prediction and video generation, providing richer learning signals and encouraging physically plausible actions through visual-dynamics constraints. With a causal design that prevents future-video tokens from influencing action tokens, explicit future-video generation is optional at inference time, allowing faster action prediction during deployment. To support this paradigm, we curate a diverse, large-scale robot dataset to pre-train an action-centered video generation model, which is then adapted as the backbone for robot policy learning. Experimental results on real-world robotic platforms show that GigaWorld-Policy runs 9x faster than the leading WAM baseline, Motus, while improving task success rates by 7%. Moreover, compared with pi-0.5, GigaWorld-Policy improves performance by 95% on RoboTwin 2.0.
- Abstract(参考訳): 事前訓練されたビデオ生成バックボーンから初期化したワールド・アクション・モデル(WAM)は、ロボットのポリシー学習に顕著な可能性を示している。
しかしながら、既存のアプローチでは、パフォーマンスとデプロイメントを妨げる2つの重要なボトルネックに直面しています。
第一に、将来の視覚力学とそれに対応するアクションに対する共同推論は、かなりの推論オーバーヘッドを引き起こす。
第2に、共同モデリングはしばしば視覚と動きの表現を絡み合わせるので、動き予測の精度は将来の映像予測の品質に大きく依存する。
これらの問題に対処するために,ギガワールド・ポリシィ(GigaWorld-Policy)を紹介した。
具体的には、ポリシートレーニングを2つの結合したコンポーネントに定式化し、現在の観察で条件付けられた将来のアクションシーケンスを予測し、予測されたアクションと同じ観察で条件付けられた将来のビデオを生成する。
このポリシーはアクション予測とビデオ生成の両方で制御されており、よりリッチな学習信号を提供し、視覚力学の制約を通じて身体的に妥当な行動を促す。
将来のビデオトークンがアクショントークンに影響を与えるのを防ぐ因果設計では、推論時に明示的なフューチャービデオ生成がオプションとなり、デプロイメント中のアクション予測がより高速になる。
このパラダイムをサポートするために、我々は多様な大規模ロボットデータセットをキュレートし、アクション中心のビデオ生成モデルを事前学習し、ロボットポリシー学習のバックボーンとして適応する。
実世界のロボットプラットフォームでの実験結果によると、GigaWorld-Policyは主要なWAMベースラインであるMotusよりも9倍速く動作し、タスクの成功率を7%向上している。
さらに、pi-0.5と比較して、GigaWorld-PolicyはRoboTwin 2.0で95%向上している。
関連論文リスト
- Physical Autoregressive Model for Robotic Manipulation without Action Pretraining [65.8971623698511]
我々は、自己回帰ビデオ生成モデルを構築し、物理自己回帰モデル(PAR)を提案する。
PARは、アクション事前トレーニングを必要とせず、物理力学を理解するために、ビデオ事前トレーニングに埋め込まれた世界の知識を活用する。
ManiSkillベンチマークの実験は、PARがPushCubeタスクで100%の成功率を達成したことを示している。
論文 参考訳(メタデータ) (2025-08-13T13:54:51Z) - AMPLIFY: Actionless Motion Priors for Robot Learning from Videos [29.799207502031496]
AMPLIFYは,大規模ビデオデータを活用する新しいフレームワークである。
我々は、豊富なアクションフリービデオでフォワードダイナミクスモデルを訓練し、限られたアクションラベル付き例で逆ダイナミクスモデルを訓練する。
下流の政策学習において、我々のダイナミクス予測は、低データのレシエーションにおいて1.2-2.2倍の改善を実現し、アクションフリーなヒューマンビデオから学ぶことで平均1.4倍の改善を実現し、非配布アクションデータからLIBEROタスクへの第1次一般化を可能にした。
論文 参考訳(メタデータ) (2025-06-17T05:31:42Z) - Unified Video Action Model [47.88377984526902]
統合されたビデオとアクションモデルは、アクション予測のためのリッチなシーン情報を提供するロボット工学にとって重要な約束である。
我々は,映像とアクションの予測を協調的に最適化し,高精度かつ効率的なアクション推論を実現するUnified Video Action Model (UVA)を提案する。
広範な実験により、UVAは幅広いロボティクスタスクの汎用的なソリューションとして機能できることが実証された。
論文 参考訳(メタデータ) (2025-02-28T21:38:17Z) - Video Prediction Policy: A Generalist Robot Policy with Predictive Visual Representations [19.45821593625599]
ビデオ拡散モデル(VDM)は、将来のフレームを予測し、物理的な世界を強く理解する能力を示す。
本稿では,VDM内の将来予測表現を条件とした暗黙的逆ダイナミクスモデル(VPP)を学習するビデオ予測ポリシーを提案する。
VPPはCalvin ABC-Dの一般化ベンチマークを18.6%改善した。
論文 参考訳(メタデータ) (2024-12-19T12:48:40Z) - VidMan: Exploiting Implicit Dynamics from Video Diffusion Model for Effective Robot Manipulation [79.00294932026266]
VidManは、安定性を高め、データ利用効率を向上させるために、2段階のトレーニングメカニズムを使用する新しいフレームワークである。
我々のフレームワークは、CALVINベンチマークで最先端のベースラインモデルGR-1を上回り、11.7%の相対的な改善を実現し、OXEの小規模データセットで9%以上の精度向上を示す。
論文 参考訳(メタデータ) (2024-11-14T03:13:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。