論文の概要: Large Multimodal Models for Embodied Intelligent Driving: The Next Frontier in Self-Driving?

• arxiv url: http://arxiv.org/abs/2601.08434v3
• Date: Sat, 17 Jan 2026 08:14:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-21 14:05:45.002128
• Title: Large Multimodal Models for Embodied Intelligent Driving: The Next Frontier in Self-Driving?
• Title（参考訳）: 身体的知的運転のための大規模マルチモーダルモデル:自動運転の次のフロンティアか?
• Authors: Long Zhang, Yuchen Xia, Bingqing Wei, Zhen Liu, Shiwen Mao, Zhu Han, Mohsen Guizani,
• Abstract要約: この記事では、この課題に取り組むために、新しいセマンティクスとポリシーの二重駆動型ハイブリッド決定フレームワークを紹介します。 このフレームワークは、意味理解と認知表現のためのLMMと、リアルタイムポリシー最適化のための深層強化学習(DRL)を統合している。 本研究は,車線変更計画作業におけるフレームワークの性能優位性を検証するための事例研究である。
• 参考スコア（独自算出の注目度）: 68.82027978227008
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The advent of Large Multimodal Models (LMMs) offers a promising technology to tackle the limitations of modular design in autonomous driving, which often falters in open-world scenarios requiring sustained environmental understanding and logical reasoning. Besides, embodied artificial intelligence facilitates policy optimization through closed-loop interactions to achieve the continuous learning capability, thereby advancing autonomous driving toward embodied intelligent (El) driving. However, such capability will be constrained by relying solely on LMMs to enhance EI driving without joint decision-making. This article introduces a novel semantics and policy dual-driven hybrid decision framework to tackle this challenge, ensuring continuous learning and joint decision. The framework merges LMMs for semantic understanding and cognitive representation, and deep reinforcement learning (DRL) for real-time policy optimization. We start by introducing the foundational principles of EI driving and LMMs. Moreover, we examine the emerging opportunities this framework enables, encompassing potential benefits and representative use cases. A case study is conducted experimentally to validate the performance superiority of our framework in completing lane-change planning task. Finally, several future research directions to empower EI driving are identified to guide subsequent work.
• Abstract（参考訳）: LMM(Large Multimodal Models)の出現は、自律運転におけるモジュラー設計の限界に対処するための有望な技術を提供する。 さらに、エンボディド人工知能は、クローズドループ相互作用によるポリシー最適化を促進して、継続的な学習能力を達成することにより、エンボディド・インテリジェント(El)運転に向けた自律運転を促進する。 しかし、この能力は、共同意思決定なしでEI運転を強化するために、LMMにのみ依存することで制限される。 この記事では、この課題に対処し、継続的な学習と共同決定を保証するための、新しいセマンティクスとポリシー二重駆動型ハイブリッド意思決定フレームワークを紹介します。 このフレームワークは、意味理解と認知表現のためのLMMと、リアルタイムポリシー最適化のための深層強化学習(DRL)を統合している。 まず、EI駆動とLMMの基本原則を紹介します。 さらに、このフレームワークがもたらす新たな機会について検討し、潜在的な利益と代表的なユースケースを包含する。 本研究は,車線変更計画タスクを完了する際のフレームワークの性能上の優位性を検証するための事例研究である。 最後に、EI運転力を高めるための今後の研究の方向性を特定し、その後の研究をガイドする。

関連論文リスト

• ADRD: LLM-Driven Autonomous Driving Based on Rule-based Decision Systems [6.950569256149267]
  我々は、情報モジュール、エージェントモジュール、テストモジュールの3つのコアモジュールを統合するADRDフレームワークを紹介します。 このフレームワークは、自律運転決定タスクにおいて優れたパフォーマンスを示す。 これは、大規模な言語モデルとルールベースのシステムを統合して、自律的な運転意思決定を行う最初の作業である。
  論文  参考訳（メタデータ） (2025-06-17T08:18:20Z)
• ReCogDrive: A Reinforced Cognitive Framework for End-to-End Autonomous Driving [49.07731497951963]
  ReCogDriveは、エンドツーエンドの自動運転のための新しい強化認知フレームワークである。 我々は、人間のドライバーのシーケンシャルな認知過程を模倣する階層的なデータパイプラインを導入する。 次に、VLMの学習した運転先を拡散プランナーに注入することで、言語行動ミスマッチに対処する。
  論文  参考訳（メタデータ） (2025-06-09T03:14:04Z)
• TeLL-Drive: Enhancing Autonomous Driving with Teacher LLM-Guided Deep Reinforcement Learning [61.33599727106222]
  TeLL-Driveは、Teacher LLMを統合して、注意に基づく学生DRLポリシーをガイドするハイブリッドフレームワークである。 自己維持機構はDRLエージェントの探索とこれらの戦略を融合させ、政策収束を加速し、堅牢性を高める。
  論文  参考訳（メタデータ） (2025-02-03T14:22:03Z)
• Empowering Autonomous Driving with Large Language Models: A Safety Perspective [82.90376711290808]
  本稿では,Large Language Models (LLM) の自律運転システムへの統合について検討する。 LLMは行動計画におけるインテリジェントな意思決定者であり、文脈的安全学習のための安全検証シールドを備えている。 適応型LLM条件モデル予測制御(MPC)と状態機械を用いたLLM対応対話型行動計画スキームという,シミュレーション環境における2つの重要な研究について述べる。
  論文  参考訳（メタデータ） (2023-11-28T03:13:09Z)
• LanguageMPC: Large Language Models as Decision Makers for Autonomous Driving [84.31119464141631]
  この作業では、複雑な自律運転シナリオの意思決定コンポーネントとして、Large Language Models(LLM)を採用している。 大規模実験により,提案手法は単車載タスクのベースラインアプローチを一貫して超えるだけでなく,複数車載コーディネートにおいても複雑な運転動作の処理にも有効であることが示された。
  論文  参考訳（メタデータ） (2023-10-04T17:59:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。