論文の概要: Bridging Scene Generation and Planning: Driving with World Model via Unifying Vision and Motion Representation

• arxiv url: http://arxiv.org/abs/2603.14948v1
• Date: Mon, 16 Mar 2026 07:59:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-17 16:19:36.145648
• Title: Bridging Scene Generation and Planning: Driving with World Model via Unifying Vision and Motion Representation
• Title（参考訳）: ブリッジングシーンの生成と計画:視覚と運動表現の統合による世界モデルによる運転
• Authors: Xingtai Gui, Meijie Zhang, Tianyi Yan, Wencheng Han, Jiahao Gong, Feiyang Tan, Cheng-zhong Xu, Jianbing Shen,
• Abstract要約: We present WorldDrive, a holistic framework that couples scene generation and real-time planning through unified vision and motion representation。 動きの表現、視覚的表現、エゴ状態の間の単純な相互作用は、高品質でマルチモーダルな軌道を生成することができる。 NAVSIM、NAVSIM-v2、nuScenesベンチマークの実験は、WorldDriveが視覚のみの手法で主要な計画性能を達成することを示した。
• 参考スコア（独自算出の注目度）: 66.7879424097418
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: End-to-end autonomous driving aims to generate safe and plausible planning policies from raw sensor input. Driving world models have shown great potential in learning rich representations by predicting the future evolution of a driving scene. However, existing driving world models primarily focus on visual scene representation, and motion representation is not explicitly designed to be planner-shared and inheritable, leaving a schism between the optimization of visual scene generation and the requirements of precise motion planning. We present WorldDrive, a holistic framework that couples scene generation and real-time planning via unifying vision and motion representation. We first introduce a Trajectory-aware Driving World Model, which conditions on a trajectory vocabulary to enforce consistency between visual dynamics and motion intentions, enabling the generation of diverse and plausible future scenes conditioned on a specific trajectory. We transfer the vision and motion encoders to a downstream Multi-modal Planner, ensuring the driving policy operates on mature representations pre-optimized by scene generation. A simple interaction between motion representation, visual representation, and ego status can generate high-quality, multi-modal trajectories. Furthermore, to exploit the world model's foresight, we propose a Future-aware Rewarder, which distills future latent representation from the frozen world model to evaluate and select optimal trajectories in real-time. Extensive experiments on the NAVSIM, NAVSIM-v2, and nuScenes benchmarks demonstrate that WorldDrive achieves leading planning performance among vision-only methods while maintaining high-fidelity action-controlled video generation capabilities, providing strong evidence for the effectiveness of unifying vision and motion representation for robust autonomous driving.
• Abstract（参考訳）: エンドツーエンドの自動運転は、生のセンサー入力から安全で妥当な計画ポリシーを生成することを目的としている。 運転の世界モデルは、運転シーンの将来的な進化を予測することによって、豊かな表現を学ぶ大きな可能性を示している。 しかし、既存の運転世界モデルは、主に視覚シーンの表現に焦点を当てており、動きの表現はプランナーが共有し、継承可能であるように明示的に設計されておらず、視覚シーン生成の最適化と正確な動きの計画の要求との間には混乱が残されている。 We present WorldDrive, a holistic framework that couples scene generation and real-time planning through unified vision and motion representation。 まず,視覚力学と運動意図の整合性を確保するために,軌跡ボキャブラリを条件としたトラジェクトリ対応運転世界モデルを提案する。 我々は、視覚とモーションエンコーダを下流のマルチモーダルプランナーに転送し、シーン生成によって予め最適化された成熟した表現を駆動ポリシーが動作することを保証する。 動きの表現、視覚的表現、エゴ状態の間の単純な相互作用は、高品質でマルチモーダルな軌道を生成することができる。 さらに, 凍結した世界モデルから将来の潜在表現を抽出し, 最適軌道をリアルタイムで評価し, 選択するFuture-Aware Rewarderを提案する。 NAVSIM, NAVSIM-v2, nuScenesベンチマークの広範な実験により、WorldDriveは高忠実度アクション制御ビデオ生成能力を保ちながら、視覚のみの手法における主要な計画性能を達成し、堅牢な自律運転における視覚と運動表現の統一効果の強い証拠を提供する。

関連論文リスト

• DrivingGen: A Comprehensive Benchmark for Generative Video World Models in Autonomous Driving [49.11389494068169]
  我々は、生成駆動世界モデルのための最初の総合的なベンチマークであるDrivingGenを提示する。 DrivingGenは、駆動データセットとインターネットスケールのビデオソースの両方から収集されたさまざまな評価データセットを組み合わせる。 一般的なモデルは良く見えるが物理を破るが、運転に特化したものは現実的に動きを捉えているが、視界の質は遅れている。
  論文  参考訳（メタデータ） (2026-01-04T13:36:21Z)
• FutureX: Enhance End-to-End Autonomous Driving via Latent Chain-of-Thought World Model [103.2513470454204]
  FutureXは、エンド・ツー・エンドのプランナを強化し、将来のシーンの遅延推論と軌道修正を通じて複雑な動作計画を実行するパイプラインである。 FutureXは、より合理的な運動計画と衝突を減らすことで、効率を損なうことなく既存の方法を強化する。
  論文  参考訳（メタデータ） (2025-12-12T02:12:49Z)
• Future-Aware End-to-End Driving: Bidirectional Modeling of Trajectory Planning and Scene Evolution [96.25314747309811]
  将来的なシーンの進化と軌道計画を共同でモデル化する,新たなエンドツーエンドフレームワークであるSeerDriveを紹介する。 本手法はまず,周辺環境の動態を予測するために,将来の鳥眼ビュー(BEV)の表現を予測する。 2つの重要な要素がこれを可能にする:(1)予測されたBEV機能を軌道プランナーに注入する将来対応計画、(2)反復的なシーンモデリングと車両計画。
  論文  参考訳（メタデータ） (2025-10-13T07:41:47Z)
• DriveX: Omni Scene Modeling for Learning Generalizable World Knowledge in Autonomous Driving [20.197094443215963]
  本稿では、動画から一般的なシーンのダイナミクスと全体像を学習する自己教師型世界モデルDriveXを提案する。 DriveXは,マルチモーダル監視3Dポイントクラウド予測,2Dセマンティック表現,イメージ生成を統合するモジュールであるOmni Scene Modeling (OSM)を導入した。 下流適応のために我々は,DriveXの予測から特徴を動的に集約し,タスク固有の推論を強化する統一パラダイムであるFuture Spatial Attention (FSA)を設計する。
  論文  参考訳（メタデータ） (2025-05-25T17:27:59Z)
• DrivingGPT: Unifying Driving World Modeling and Planning with Multi-modal Autoregressive Transformers [61.92571851411509]
  我々は、インターリーブ画像とアクショントークンに基づくマルチモーダル駆動言語を導入し、共同世界モデリングと計画を学ぶためのDrivingGPTを開発した。 我々のDrivingGPTは、アクション条件付きビデオ生成とエンドツーエンドプランニングの両方において強力なパフォーマンスを示し、大規模なnuPlanとNAVSIMベンチマークにおいて強力なベースラインを達成しています。
  論文  参考訳（メタデータ） (2024-12-24T18:59:37Z)
• Driving in the Occupancy World: Vision-Centric 4D Occupancy Forecasting and Planning via World Models for Autonomous Driving [15.100104512786107]
  Drive-OccWorldは、自動運転のエンドツーエンド計画にビジョン中心の4D予測ワールドモデルを適用する。 制御可能な生成を可能にするために,速度,操舵角度,軌道,指令などの柔軟な動作条件を世界モデルに注入することを提案する。 本手法は,多目的かつ制御可能な4D占有率を創出し,次世代の運転とエンド・ツー・エンド・プランニングの進歩への道を開く。
  論文  参考訳（メタデータ） (2024-08-26T11:53:09Z)
• Driving into the Future: Multiview Visual Forecasting and Planning with World Model for Autonomous Driving [56.381918362410175]
  Drive-WMは、既存のエンド・ツー・エンドの計画モデルと互換性のある世界初のドライビングワールドモデルである。 ドライビングシーンで高忠実度マルチビュー映像を生成する。
  論文  参考訳（メタデータ） (2023-11-29T18:59:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。