論文の概要: ImagiDrive: A Unified Imagination-and-Planning Framework for Autonomous Driving

• arxiv url: http://arxiv.org/abs/2508.11428v1
• Date: Fri, 15 Aug 2025 12:06:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-18 14:51:23.943093
• Title: ImagiDrive: A Unified Imagination-and-Planning Framework for Autonomous Driving
• Title（参考訳）: ImagiDrive: 自動運転のための一貫したImagination-and-Planningフレームワーク
• Authors: Jingyu Li, Bozhou Zhang, Xin Jin, Jiankang Deng, Xiatian Zhu, Li Zhang,
• Abstract要約: ビジョン・ランゲージ・モデル(VLM)とドライビング・ワールド・モデル(DWM)は、この課題のさまざまな側面に対処する強力なレシピとして独立して登場した。 我々は、VLMベースの運転エージェントとDWMベースのシーン想像装置を統合した、新しいエンドツーエンドの自動運転フレームワークであるImagiDriveを提案する。
• 参考スコア（独自算出の注目度）: 64.12414815634847
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Autonomous driving requires rich contextual comprehension and precise predictive reasoning to navigate dynamic and complex environments safely. Vision-Language Models (VLMs) and Driving World Models (DWMs) have independently emerged as powerful recipes addressing different aspects of this challenge. VLMs provide interpretability and robust action prediction through their ability to understand multi-modal context, while DWMs excel in generating detailed and plausible future driving scenarios essential for proactive planning. Integrating VLMs with DWMs is an intuitive, promising, yet understudied strategy to exploit the complementary strengths of accurate behavioral prediction and realistic scene generation. Nevertheless, this integration presents notable challenges, particularly in effectively connecting action-level decisions with high-fidelity pixel-level predictions and maintaining computational efficiency. In this paper, we propose ImagiDrive, a novel end-to-end autonomous driving framework that integrates a VLM-based driving agent with a DWM-based scene imaginer to form a unified imagination-and-planning loop. The driving agent predicts initial driving trajectories based on multi-modal inputs, guiding the scene imaginer to generate corresponding future scenarios. These imagined scenarios are subsequently utilized to iteratively refine the driving agent's planning decisions. To address efficiency and predictive accuracy challenges inherent in this integration, we introduce an early stopping mechanism and a trajectory selection strategy. Extensive experimental validation on the nuScenes and NAVSIM datasets demonstrates the robustness and superiority of ImagiDrive over previous alternatives under both open-loop and closed-loop conditions.
• Abstract（参考訳）: 自律運転は、ダイナミックで複雑な環境を安全にナビゲートするために、コンテキスト理解と正確な予測推論を必要とする。 ビジョン・ランゲージ・モデル(VLM)とドライビング・ワールド・モデル(DWM)は、この課題のさまざまな側面に対処する強力なレシピとして独立して登場した。 VLMは、多モードコンテキストを理解する能力を通じて、解釈可能性と堅牢なアクション予測を提供する一方、DWMは、プロアクティブプランニングに不可欠な詳細かつ妥当な将来の駆動シナリオを生成するのに優れている。 VLMをDWMと統合することは、正確な行動予測と現実的なシーン生成の相補的な強みを利用するための直感的で、有望だが、未検討の戦略である。 しかしながら、この統合は、特にアクションレベルの決定を高忠実度ピクセルレベルの予測と効果的に結合し、計算効率を維持する上で、顕著な課題を呈している。 本稿では,VLMをベースとした運転エージェントとDWMをベースとしたシーンデザイナを統合し,統一的なイマジネーション・アンド・プランニングループを形成する,新しいエンド・ツー・エンドの自動運転フレームワークであるImagiDriveを提案する。 駆動エージェントは、マルチモーダル入力に基づいて初期駆動軌跡を予測し、シーンデマを誘導して、対応する将来のシナリオを生成する。 これらのシナリオはその後、ドライブエージェントの計画決定を反復的に洗練するために利用される。 この統合に固有の効率性と予測精度の課題に対処するために,早期停止機構と軌道選択戦略を導入する。 nuScenesとNAVSIMデータセットに対する大規模な実験的検証は、オープンループとクローズループの両方条件下での従来の代替よりも、ImagiDriveの堅牢性と優位性を示している。

関連論文リスト

• VLMPlanner: Integrating Visual Language Models with Motion Planning [18.633637485218802]
  VLMPlannerは、学習ベースのリアルタイムプランナと生画像の推論が可能な視覚言語モデル(VLM)を組み合わせたハイブリッドフレームワークである。 我々は,VLMが人間の運転動作を模倣できるコンテキスト適応推論ゲート機構を開発した。
  論文  参考訳（メタデータ） (2025-07-27T16:15:21Z)
• SOLVE: Synergy of Language-Vision and End-to-End Networks for Autonomous Driving [51.47621083057114]
  SOLVEは、ビジョンランゲージモデルとエンド・ツー・エンド(E2E)モデルを相乗化して自動運転車の計画を強化する革新的なフレームワークである。 提案手法は,VLMとE2Eコンポーネント間の包括的インタラクションを実現するために,共有ビジュアルエンコーダによる機能レベルでの知識共有を重視している。
  論文  参考訳（メタデータ） (2025-05-22T15:44:30Z)
• RAD: Retrieval-Augmented Decision-Making of Meta-Actions with Vision-Language Models in Autonomous Driving [10.984203470464687]
  視覚言語モデル(VLM)は、空間認識の不十分さや幻覚といった限界に悩まされることが多い。 本稿では,自律走行シーンにおけるメタアクションを確実に生成するVLMの能力を高めるための,検索強化意思決定(RAD)フレームワークを提案する。 我々は,NuScenesデータセットから得られたデータセットに基づいてVLMを微調整し,その空間的知覚と鳥眼視画像理解能力を高める。
  論文  参考訳（メタデータ） (2025-03-18T03:25:57Z)
• VLM-AD: End-to-End Autonomous Driving through Vision-Language Model Supervision [20.43366384946928]
  教師としての視覚言語モデル(VLM)。 VLM-ADは、nuScenesデータセットの計画精度と衝突率の大幅な改善を実現している。
  論文  参考訳（メタデータ） (2024-12-19T01:53:36Z)
• DiFSD: Ego-Centric Fully Sparse Paradigm with Uncertainty Denoising and Iterative Refinement for Efficient End-to-End Self-Driving [55.53171248839489]
  我々は、エンドツーエンドの自動運転のためのエゴ中心の完全スパースパラダイムであるDiFSDを提案する。 特に、DiFSDは主にスパース知覚、階層的相互作用、反復的な運動プランナーから構成される。 nuScenesとBench2Driveデータセットで実施された実験は、DiFSDの優れた計画性能と優れた効率を実証している。
  論文  参考訳（メタデータ） (2024-09-15T15:55:24Z)
• Probing Multimodal LLMs as World Models for Driving [72.18727651074563]
  自律運転におけるMLLM(Multimodal Large Language Models)の適用について検討する。 GPT-4oのようなモデルの開発は進んでいるが、複雑な運転環境における性能は未解明のままである。
  論文  参考訳（メタデータ） (2024-05-09T17:52:42Z)
• End-to-end Autonomous Driving: Challenges and Frontiers [45.391430626264764]
  エンドツーエンドの自動運転におけるモチベーション、ロードマップ、方法論、課題、今後のトレンドについて、270以上の論文を包括的に分析する。 マルチモダリティ、解釈可能性、因果的混乱、堅牢性、世界モデルなど、いくつかの重要な課題を掘り下げます。 基礎モデルと視覚前訓練の現在の進歩と、これらの技術をエンドツーエンドの駆動フレームワークに組み込む方法について論じる。
  論文  参考訳（メタデータ） (2023-06-29T14:17:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。