論文の概要: LMGenDrive: Bridging Multimodal Understanding and Generative World Modeling for End-to-End Driving

• arxiv url: http://arxiv.org/abs/2604.08719v1
• Date: Thu, 09 Apr 2026 19:13:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-13 17:57:53.555368
• Title: LMGenDrive: Bridging Multimodal Understanding and Generative World Modeling for End-to-End Driving
• Title（参考訳）: LMGenDrive: エンドツーエンド運転のためのマルチモーダル理解と生成ワールドモデリング
• Authors: Hao Shao, Letian Wang, Yang Zhou, Yuxuan Hu, Zhuofan Zong, Steven L. Waslander, Wei Zhan, Hongsheng Li,
• Abstract要約: 本稿では、マルチモーダル理解と生成世界モデルを組み合わせた、エンドツーエンドのクローズドループ駆動のための最初のフレームワークLMGenDriveを紹介する。 本稿では,視覚前訓練から多段階長距離運転に至るまでの3段階訓練戦略を提案し,安定性と性能の向上を図る。
• 参考スコア（独自算出の注目度）: 60.31765454895336
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Recent years have seen remarkable progress in autonomous driving, yet generalization to long-tail and open-world scenarios remains a major bottleneck for large-scale deployment. To address this challenge, some works use LLMs and VLMs for vision-language understanding and reasoning, enabling vehicles to interpret rare and safety-critical situations when generating actions. Others study generative world models to capture the spatio-temporal evolution of driving scenes, allowing agents to imagine possible futures before acting. Inspired by human intelligence, which unifies understanding and imagination, we explore a unified model for autonomous driving. We present LMGenDrive, the first framework that combines LLM-based multimodal understanding with generative world models for end-to-end closed-loop driving. Given multi-view camera inputs and natural-language instructions, LMGenDrive generates both future driving videos and control signals. This design provides complementary benefits: video prediction improves spatio-temporal scene modeling, while the LLM contributes strong semantic priors and instruction grounding from large-scale pretraining. We further propose a progressive three-stage training strategy, from vision pretraining to multi-step long-horizon driving, to improve stability and performance. LMGenDrive supports both low-latency online planning and autoregressive offline video generation. Experiments show that it significantly outperforms prior methods on challenging closed-loop benchmarks, with clear gains in instruction following, spatio-temporal understanding, and robustness to rare scenarios. These results suggest that unifying multimodal understanding and generation is a promising direction for more generalizable and robust embodied decision-making systems.
• Abstract（参考訳）: 近年、自動運転は目覚ましい進歩を遂げているが、ロングテールとオープンワールドのシナリオへの一般化は、大規模な展開において大きなボトルネックとなっている。 この課題に対処するため、車両は視覚言語理解と推論にLLMとVLMを使用しており、車両は行動を起こす際に稀で安全に重要な状況を解釈することができる。 他の者は、生成的世界モデルを研究し、運転シーンの時空間的進化を捉え、エージェントが行動する前に将来を想像できるようにする。 人間の知性にインスパイアされ、理解と想像を統一し、自律運転の統一モデルを模索する。 LLMに基づくマルチモーダル理解と、エンドツーエンドのクローズドループ駆動のための生成世界モデルを組み合わせた最初のフレームワークであるLMGenDriveを提案する。 マルチビューカメラ入力と自然言語命令が与えられた後、LMGenDriveは将来の運転ビデオと制御信号の両方を生成する。 この設計は、ビデオ予測が時空間のシーンモデリングを改善するのに対し、LLMは大規模な事前学習から強い意味的先行と指導基盤を提供するという補完的な利点を提供する。 さらに,視覚前訓練から多段長軸駆動に至るまでの段階的な3段階訓練戦略を提案し,安定性と性能を向上する。 LMGenDriveは低レイテンシのオンライン計画と自動回帰オフラインビデオ生成の両方をサポートする。 実験の結果, クローズドループベンチマークにおいて, 命令の追従, 時空間的理解, 稀なシナリオに対する堅牢性などにより, 先行手法よりも有意に優れていた。 これらの結果は,マルチモーダル理解と生成の統一が,より一般化可能で堅牢な意思決定システムにとって有望な方向であることを示唆している。

関連論文リスト

• Learning Vision-Language-Action World Models for Autonomous Driving [15.103497388527943]
  VLA(Vision-Language-Action)モデルは最近、エンドツーエンドの自動運転において顕著な進歩を遂げている。 VLAモデルは時相力学と世界整合性の明示的なモデリングを欠いていることが多い。 VLA-World(VLA-World)は、予測的想像力と反射的推論を統一する、シンプルで効果的なVLA世界モデルである。
  論文  参考訳（メタデータ） (2026-04-10T07:38:05Z)
• SGDrive: Scene-to-Goal Hierarchical World Cognition for Autonomous Driving [52.02379432801349]
  本稿では,運転特化知識階層に関するVLMの表現学習を構築する新しいフレームワークであるSGDriveを提案する。 トレーニング済みのVLMバックボーン上に構築されたSGDriveは、人間の運転認知を反映するシーンエージェントゴール階層に、駆動理解を分解する。
  論文  参考訳（メタデータ） (2026-01-09T08:55:42Z)
• LMAD: Integrated End-to-End Vision-Language Model for Explainable Autonomous Driving [58.535516533697425]
  視覚言語モデル(VLM)はシーン理解において有望な能力を示している。 本稿では,自律運転に適した視覚言語フレームワークLMADを提案する。 本フレームワークは,VLMに包括的シーン理解とタスク特化構造を組み込むことにより,最新のエンド・ツー・エンド駆動パラダイムをエミュレートする。
  論文  参考訳（メタデータ） (2025-08-17T15:42:54Z)
• ImagiDrive: A Unified Imagination-and-Planning Framework for Autonomous Driving [64.12414815634847]
  ビジョン・ランゲージ・モデル(VLM)とドライビング・ワールド・モデル(DWM)は、この課題のさまざまな側面に対処する強力なレシピとして独立して登場した。 我々は、VLMベースの運転エージェントとDWMベースのシーン想像装置を統合した、新しいエンドツーエンドの自動運転フレームワークであるImagiDriveを提案する。
  論文  参考訳（メタデータ） (2025-08-15T12:06:55Z)
• DriveGenVLM: Real-world Video Generation for Vision Language Model based Autonomous Driving [12.004604110512421]
  視覚言語モデル(VLM)は、自律運転に影響を与える大きな可能性を持つ革命的ツールとして出現している。 本稿では,駆動ビデオを生成するためのDriveGenVLMフレームワークを提案し,それらを理解するためにVLMを使用する。
  論文  参考訳（メタデータ） (2024-08-29T15:52:56Z)
• Probing Multimodal LLMs as World Models for Driving [72.18727651074563]
  自律運転におけるMLLM(Multimodal Large Language Models)の適用について検討する。 GPT-4oのようなモデルの開発は進んでいるが、複雑な運転環境における性能は未解明のままである。
  論文  参考訳（メタデータ） (2024-05-09T17:52:42Z)
• ADriver-I: A General World Model for Autonomous Driving [23.22507419707926]
  視覚特徴と制御信号の形式を統一するインターリーブド・ビジョン・アクション・ペアの概念を導入する。 ADriver-I と呼ばれる自律運転のためのMLLMと拡散モデルに基づく一般世界モデルを構築した。 視覚作用対を入力とし、現在のフレームの制御信号を自己回帰的に予測する。
  論文  参考訳（メタデータ） (2023-11-22T17:44:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。