論文の概要: ReWorld: Learning Better Representations for World Action Models
- arxiv url: http://arxiv.org/abs/2606.27504v1
- Date: Thu, 25 Jun 2026 19:37:58 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-29 18:24:25.297822
- Title: ReWorld: Learning Better Representations for World Action Models
- Title(参考訳): ReWorld: 世界アクションモデルのためのより良い表現を学ぶ
- Abstract要約: 世界行動モデル(WAM)は、行動条件下での将来の環境進化をモデル化する。
WAM向けに設計された最初の表現学習フレームワークであるReWorldを提案する。
ReWorldは、FVDの微調整ビデオ生成を23.9%改善することを示す。
- 参考スコア(独自算出の注目度): 41.92917169094194
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: World Action Models (WAMs) model future environment evolution under action conditioning, offering a scalable paradigm for autonomous driving. However, existing approaches focus largely on model architecture design, and how a WAM can efficiently learn better world representations for planning remains underexplored. To address this gap, we propose ReWorld, the first representation learning framework specifically designed for autonomous-driving world action models. In WAMs, standard training supervises only the output ends of the generation and planning modules, leaving the intermediate representations that carry world knowledge to be shaped only indirectly, as byproducts of fitting these outputs. The core idea of ReWorld is to treat intermediate representations as direct targets of optimization, shaping them along three complementary dimensions. On the Video DiT responsible for generation, we impose future-predictive supervision on its intermediate representations. On the Action DiT responsible for planning, we first align its intermediate representations cross-modally with the video world representation, then further shape them to be discriminative around safety-critical boundaries via hard-negative supervision. In addition, we systematically analyze the effectiveness of existing representation learning methods in video generation world models, and discuss why their performance is limited on this task. Experiments on nuScenes and NAVSIM show that ReWorld improves fine-tuned video generation by 23.9% in FVD (81.3 to 61.9), raises closed-loop PDMS from 89.1 to 90.4 without any post-training such as RL or post-processing, and accelerates from-scratch convergence by approximately 2x.
- Abstract(参考訳): 世界行動モデル(WAM)は、行動条件下での将来の環境進化をモデル化し、自律運転のためのスケーラブルなパラダイムを提供する。
しかし、既存のアプローチは主にモデルアーキテクチャ設計に重点を置いており、WAMが計画のためのより良い世界表現を効率的に学習する方法は未定のままである。
このギャップに対処するため、我々は、自動運転車の世界行動モデルに特化して設計された最初の表現学習フレームワークであるReWorldを提案する。
WAMでは、標準トレーニングは生成モジュールと計画モジュールの出力終端のみを監督し、これらの出力を適合させる副産物として、世界知識を間接的にのみ形作る中間表現を残している。
ReWorldの中核的な考え方は、中間表現を最適化の直接的なターゲットとして扱い、3つの相補的な次元に沿ってそれらを形作ることである。
生成に責任を負うビデオDiTでは、中間表現に将来予測的な監督を課す。
計画に責任を負うアクションDiTでは、まずその中間表現をビデオワールド表現と相互に整合させ、さらにハードネガティブな監督を通じて、安全クリティカルな境界付近で差別的に形成する。
さらに,映像生成の世界モデルにおける既存の表現学習手法の有効性を体系的に分析し,その性能に制限がある理由について議論する。
nuScenesとNAVSIMの実験では、ReWorldはFVD(81.3から61.9)の微調整ビデオ生成を23.9%改善し、RLや後処理のようなポストトレーニングなしでクローズループPDMSを89.1から90.4に引き上げ、ストレートコンバージェンスを約2倍加速している。
関連論文リスト
- Xiaomi Auto World Model: A Joint World Model Integrating Reconstruction and Generation for Autonomous Driving [51.90209659403234]
本報告では,世界モデルの自律運転における2つのコア機能に対処する統合技術システムを提案する。
世界表現のために,スパースシーンクエリによって駆動されるフィードフォワード再構築アーキテクチャであるWorldRecを提案する。
次世代に向けて,両方向性事前学習のための2段階のトレーニングフレームワークWorldGenを提案し,それに続いて因果微調整を行う。
論文 参考訳(メタデータ) (2026-05-18T09:46:16Z) - Learning Vision-Language-Action World Models for Autonomous Driving [15.103497388527943]
VLA(Vision-Language-Action)モデルは最近、エンドツーエンドの自動運転において顕著な進歩を遂げている。
VLAモデルは時相力学と世界整合性の明示的なモデリングを欠いていることが多い。
VLA-World(VLA-World)は、予測的想像力と反射的推論を統一する、シンプルで効果的なVLA世界モデルである。
論文 参考訳(メタデータ) (2026-04-10T07:38:05Z) - DriveDreamer-Policy: A Geometry-Grounded World-Action Model for Unified Generation and Planning [44.543763428623976]
DriveDreamer-Policyは、深度生成、将来のビデオ生成、モーションプランニングを統合した統合運転ワールドアクションモデルである。
提案したモデルは、モジュラリティと遅延制御性を維持しながら、より一貫性のある未来とより情報のある駆動動作を生成する。
論文 参考訳(メタデータ) (2026-04-02T08:33:18Z) - FRAPPE: Infusing World Modeling into Generalist Policies via Multiple Future Representation Alignment [45.21358158991569]
VLAモデルは、世界モデリングとして知られる環境力学を予測することができる。
現在のアプローチでは,1) セマンティックラーニングと一般化を制約する画素レベルの再構成を過度に強調する訓練対象モデル,2) 推論中に予測される将来の観測への信頼が,しばしばエラーの蓄積につながる,という2つの問題に直面している。
これらの課題に対処するために、並列プログレッシブ拡張(FRAPPE)を介して、Future Representation Alignmentを導入する。
論文 参考訳(メタデータ) (2026-02-19T11:00:46Z) - Walk through Paintings: Egocentric World Models from Internet Priors [65.30611174953958]
本稿では,エゴセントリック・ワールド・モデル(EgoWM)について述べる。
我々は、スクラッチからトレーニングするよりも、インターネット規模のビデオモデルのリッチワールドを再利用し、軽量なコンディショニング層を通じてモーターコマンドを注入する。
当社のアプローチは,3-DoF移動ロボットから25-DoFヒューマノイドまで,エボディメントやアクションスペースを自然に拡張する。
論文 参考訳(メタデータ) (2026-01-21T18:59:32Z) - Co-Evolving Latent Action World Models [57.48921576959243]
学習済みのビデオモデルを潜在アクションを介して制御可能な世界モデルに適応させることは、ジェネラリストの世界モデルを作成するための有望なステップである。
本稿では,この相乗的パラダイムを初めて実現したCoLA-Worldを提案する。
世界モデルは知識のある家庭教師として機能し、高品質のLAMを形成するための勾配を提供する。
論文 参考訳(メタデータ) (2025-10-30T12:28:40Z) - From Forecasting to Planning: Policy World Model for Collaborative State-Action Prediction [57.56072009935036]
政策世界モデル(PWM)と呼ばれる新しい運転パラダイムを導入する。
PWMは、統一アーキテクチャ内での世界モデリングと軌道計画を統合する。
提案手法は,マルチビューおよびマルチモーダル入力に依存する最先端の手法に適合するか,あるいは超越する。
論文 参考訳(メタデータ) (2025-10-22T14:57:51Z) - Learning Primitive Embodied World Models: Towards Scalable Robotic Learning [50.32986780156215]
我々は,世界モデリングのための新しいパラダイム--Primitive Embodied World Models (PEWM)を提案する。
ビデオ生成を固定的な短地平線に制限することにより,ロボット行動の言語概念と視覚的表現の微妙なアライメントを可能にする。
我々のフレームワークは、きめ細かい物理的相互作用と高レベルの推論のギャップを埋め、スケーラブルで解釈可能で汎用的なインテリジェンスへの道を開く。
論文 参考訳(メタデータ) (2025-08-28T14:31:48Z) - RLVR-World: Training World Models with Reinforcement Learning [41.04369775904968]
検証可能な報酬で強化学習を活用する統合フレームワークであるRLVR-Worldを提案する。
我々は,テキストゲーム,Webナビゲーション,ロボット操作など,ドメイン間の言語およびビデオベースの世界モデルにおいて,大幅なパフォーマンス向上を示す。
論文 参考訳(メタデータ) (2025-05-20T05:02:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。