論文の概要: DriveWLA: Unifying Future Dynamics and Scene Semantics through World-Language-Action Modeling for Autonomous Driving

• arxiv url: http://arxiv.org/abs/2610.17903v1
• Date: Tue, 13 Oct 2026 07:56:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.55269
• Title: DriveWLA: Unifying Future Dynamics and Scene Semantics through World-Language-Action Modeling for Autonomous Driving
• Title（参考訳）: DriveWLA:World-Language-Action Modelingによる未来のダイナミクスとシーンセマンティクスの統合
• Abstract要約: VLM(Vision-Language Models)と世界モデル(World Models)は、自律運転における意味理解と将来のシーン進化において強力な能力を示してきた。 我々は、Mixture-of-Transformers(MoT)に基づく統合ワールドランゲージ・アクションモデルDriveWLAを提案する。 DriveWLAは、将来の予測のための世界エキスパート、意味理解のための言語エキスパート、軌跡生成のためのアクションエキスパートの3つの専門家で構成されている。
• 参考スコア（独自算出の注目度）: 50.98961966368666
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Vision-Language Models (VLMs) and world models have demonstrated strong capabilities in semantic understanding and future scene evolution for autonomous driving. However, effectively integrating both capabilities for trajectory generation remains challenging. In this work, we propose DriveWLA, a unified World-Language-Action model based on Mixture-of-Transformers (MoT) that jointly models semantic understanding, future scene dynamics, and trajectory generation. DriveWLA consists of three experts: a World Expert for future prediction, a Language Expert for semantic understanding, and an Action Expert for trajectory generation. We further introduce Cross-Expert Attention, which enables controlled information flow across experts while aligning semantic and dynamic representations. To improve trajectory generation beyond imitation learning, we apply Flow-GRPO reinforcement learning post-training to refine the Action Expert. Extensive experiments show that DriveWLA achieves superior performance in both open-loop and closed-loop evaluation. DriveWLA achieves 92.3 PDMS on NAVSIM v1 and 90.1 EPDMS on NAVSIM v2, demonstrating strong performance among VLM-based and world-model-based planners. Without specific fine-tuning, DriveWLA further demonstrates strong zero-shot generalization to HUGSIM, nuScenes, and Bench2Drive. These results validate the effectiveness of our unified World-Language-Action modeling, establishing DriveWLA as a generalizable framework for autonomous driving.
• Abstract（参考訳）: VLM(Vision-Language Models)と世界モデル(World Models)は、自律運転における意味理解と将来のシーン進化において強力な能力を示してきた。 しかし、軌道生成のための両方の機能を効果的に統合することは依然として困難である。 本研究では,意味理解,将来のシーンダイナミクス,軌跡生成を共同でモデル化した,Mixture-of-Transformers (MoT)に基づく統合ワールドランゲージ・アクション・モデルであるDriveWLAを提案する。 DriveWLAは、将来の予測のための世界エキスパート、意味理解のための言語エキスパート、軌跡生成のためのアクションエキスパートの3つの専門家で構成されている。 さらにクロスエキスパート・アテンションを導入し、セマンティックとダイナミックな表現の整合を図りながら、専門家間での制御された情報フローを可能にする。 模擬学習を超えて軌道生成を改善するために,フロー-GRPO強化学習を訓練後の学習に適用し,アクションエキスパートを洗練させる。 広汎な実験により,DriveWLAはオープンループとクローズループの両方で優れた性能を発揮することが示された。 DriveWLA は NAVSIM v1 の92.3 PDMS と NAVSIM v2 の90.1 EPDMS を達成し、VLM ベースのプランナーとワールドモデルベースのプランナーの間で強力な性能を示している。 特定の微調整なしでは、DriveWLAはさらにHUGSIM、nuScenes、Bench2Driveに強いゼロショットの一般化を示す。 これらの結果は、統合されたワールドランゲージ・アクション・モデリングの有効性を検証し、DriveWLAを自律運転の一般化可能なフレームワークとして確立した。

関連論文リスト

• Learning Vision-Language-Action World Models for Autonomous Driving [15.103497388527943]
  VLA(Vision-Language-Action)モデルは最近、エンドツーエンドの自動運転において顕著な進歩を遂げている。 VLAモデルは時相力学と世界整合性の明示的なモデリングを欠いていることが多い。 VLA-World(VLA-World)は、予測的想像力と反射的推論を統一する、シンプルで効果的なVLA世界モデルである。
  論文  参考訳（メタデータ） (2026-04-10T07:38:05Z)
• LMGenDrive: Bridging Multimodal Understanding and Generative World Modeling for End-to-End Driving [60.31765454895336]
  本稿では、マルチモーダル理解と生成世界モデルを組み合わせた、エンドツーエンドのクローズドループ駆動のための最初のフレームワークLMGenDriveを紹介する。 本稿では,視覚前訓練から多段階長距離運転に至るまでの3段階訓練戦略を提案し,安定性と性能の向上を図る。
  論文  参考訳（メタデータ） (2026-04-09T19:13:14Z)
• Vision-Language-Action Models for Autonomous Driving: Past, Present, and Future [125.92052530850425]
  VLA(Vision-Language-Action)フレームワークは、認識と言語に基づく意思決定を統合する。 VLAフレームワークは、より解釈可能で、一般化可能で、人間に準拠した運転ポリシーへの道筋を提供する。 この研究は、人間と互換性のある自動運転システムを構築するための一貫性のある基盤を確立することを目的としている。
  論文  参考訳（メタデータ） (2025-12-18T16:57:44Z)
• DriveVLA-W0: World Models Amplify Data Scaling Law in Autonomous Driving [52.63591791507895]
  将来の画像の予測に世界モデリングを利用するトレーニングパラダイムである textbfDriveVLA-W0 を提案する。 このタスクは、運転環境の基礎となる力学を学ぶためにモデルを補完する密集した自己教師信号を生成する。 NAVSIM v1/v2ベンチマークと680倍の社内データセットの実験は、DriveVLA-W0がBEVとVLAのベースラインを大きく上回っていることを示している。
  論文  参考訳（メタデータ） (2025-10-14T17:59:47Z)
• ReCogDrive: A Reinforced Cognitive Framework for End-to-End Autonomous Driving [49.07731497951963]
  ReCogDriveは、エンドツーエンドの自動運転のための新しい強化認知フレームワークである。 我々は、人間のドライバーのシーケンシャルな認知過程を模倣する階層的なデータパイプラインを導入する。 次に、VLMの学習した運転先を拡散プランナーに注入することで、言語行動ミスマッチに対処する。
  論文  参考訳（メタデータ） (2025-06-09T03:14:04Z)
• DriveX: Omni Scene Modeling for Learning Generalizable World Knowledge in Autonomous Driving [20.197094443215963]
  本稿では、動画から一般的なシーンのダイナミクスと全体像を学習する自己教師型世界モデルDriveXを提案する。 DriveXは,マルチモーダル監視3Dポイントクラウド予測,2Dセマンティック表現,イメージ生成を統合するモジュールであるOmni Scene Modeling (OSM)を導入した。 下流適応のために我々は,DriveXの予測から特徴を動的に集約し,タスク固有の推論を強化する統一パラダイムであるFuture Spatial Attention (FSA)を設計する。
  論文  参考訳（メタデータ） (2025-05-25T17:27:59Z)
• DrivingDojo Dataset: Advancing Interactive and Knowledge-Enriched Driving World Model [65.43473733967038]
  私たちは、複雑な駆動ダイナミクスを備えたインタラクティブな世界モデルのトレーニング用に作られた最初のデータセットであるDrivingDojoを紹介します。 私たちのデータセットには、完全な運転操作、多様なマルチエージェント・インタープレイ、豊富なオープンワールド運転知識を備えたビデオクリップが含まれています。
  論文  参考訳（メタデータ） (2024-10-14T17:19:23Z)
• OccLLaMA: An Occupancy-Language-Action Generative World Model for Autonomous Driving [12.004183122121042]
  OccLLaMA (OccLLaMA) は、言語による世界モデルである。 私たちは、視覚、言語、行動のための統合されたマルチモーダル語彙を構築します。 OccLLaMAは複数のタスクで競合性能を達成する。
  論文  参考訳（メタデータ） (2024-09-05T06:30:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。