論文の概要: A Collaborative Multi-Modality Interaction for VLA-based End-to-End Autonomous Driving

• arxiv url: http://arxiv.org/abs/2608.20890v1
• Date: Fri, 21 Aug 2026 09:06:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-24 14:49:32.483387
• Title: A Collaborative Multi-Modality Interaction for VLA-based End-to-End Autonomous Driving
• Title（参考訳）: VLAに基づくエンドツーエンド自動運転のための協調的多モードインタラクション
• Abstract要約: VLA(Vision-Language-Action)モデルは、エンドツーエンドの自動運転の強力なパラダイムとして登場した。 マルチモーダリティインタラクションと多軌道計画と最適化を組み合わせた,堅牢なVLAベースのエンドツーエンド自動運転システムを提案する。
• 参考スコア（独自算出の注目度）: 96.81243316566764
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Vision-Language-Action (VLA) models have emerged as a powerful paradigm for end-to-end autonomous driving by jointly integrating perception, reasoning, and decision making within a unified multimodal framework. However, most existing VLA models formulate end-to-end autonomous driving as a visual question answering task, leading to unreliable and less interpretable decision reasoning. In addition, they fail to establish effective multi-modal interaction across heterogeneous sensors, thereby limiting robust scene perception and reliable driving reasoning in long-tail driving scenarios. To this end, we propose a robust VLA-based end-to-end autonomous driving system that combines multi-modality interaction with multi-trajectory planning and optimization, enabling more reliable, interpretable, and safer driving decisions. Our method comprises three core components: (1) Affinity-Guided Optimal Transport for main-auxiliary modality two-way interaction; (2) Distribution-Consistent Modality Transfer for heterogeneous modality distribution transfer and cross-modal interaction; (3) Multi-modal Multi-Trajectory Planning along with Perception-Oriented Trajectory Refinement for better driving decisions to long-tail driving scenarios. Experimental results in open-loop and closed-loop datasets demonstrate improvements in safety long-horizon driving reasoning and road scene perception over existing driving systems, highlighting the ability of our mutli-modality interaction and multi-trajectory planning and optimization for scalable VLA-based systems.
• Abstract（参考訳）: VLA(Vision-Language-Action)モデルは、統合されたマルチモーダルフレームワーク内での認識、推論、意思決定を共同で統合することで、エンドツーエンドの自動運転のための強力なパラダイムとして登場した。 しかしながら、既存のほとんどのVLAモデルは、視覚的質問応答タスクとしてエンドツーエンドの自動運転を定式化しており、信頼性が低く、解釈不能な意思決定推論につながっている。 さらに、異種センサ間の効果的なマルチモーダルインタラクションの確立に失敗し、ロングテール駆動シナリオにおける堅牢なシーン認識と信頼性の高い運転推論を制限した。 この目的のために我々は,マルチモーダリティインタラクションと多軌道計画と最適化を組み合わせた堅牢なVLAベースのエンドツーエンド自動運転システムを提案し,より信頼性が高く,解釈可能で,より安全な運転決定を可能にした。 提案手法は,(1)主軸方向の2方向相互作用に対する親和性誘導最適輸送,(2)不均一なモーダル分布の伝達と相互相互作用のための分散・一貫性モーダル移動,(3)知覚指向トラジェクトリ・リファインメントと併用したマルチモーダル・マルチトラジェクトリ計画,の3つの中核成分からなる。 オープンループおよびクローズドループデータセットの実験的結果は、既存の運転システムに対する安全長距離運転推論と路面認識の改善を示し、スケーラブルなVLAシステムに対する変異モダリティ相互作用と多軌道計画と最適化の能力を強調した。

関連論文リスト

• Multimodal Action Diffusion for Robust End-to-End Autonomous Driving [0.0]
  Action Diffusion Transformer (ADT) は、MSE目標で訓練されたアンカーフリーな拡散変圧器である。 1つの決定論的コマンドにコミットするのではなく、ADTはKアクション候補を生成し、推論時に最も適したコマンドを選択する。 ADTは、挑戦的なクローズループベンチマークであるBench2Driveの10倍のレイテンシを実現しながら、これまでの最先端を越えている。
  論文  参考訳（メタデータ） (2026-06-01T11:35:35Z)
• MTDrive: Multi-turn Interactive Reinforcement Learning for Autonomous Driving [12.330414519761524]
  軌道計画は自動運転における中核的な課題である。 強化学習によるMLLMは、"ロングテール"シナリオに対処する上で、有望であることを示している。 我々は,MLLMが環境フィードバックに基づいて軌道を反復的に洗練できるマルチターンフレームワークMTDriveを提案する。
  論文  参考訳（メタデータ） (2026-01-30T12:47:55Z)
• AutoDrive-R$^2$: Incentivizing Reasoning and Self-Reflection Capacity for VLA Model in Autonomous Driving [37.260140808367716]
  本稿では,自律運転システムの推論能力と自己回帰能力を両立させる新しいVLAフレームワークであるAutoDrive-R$2$を提案する。 まず,教師付き微調整のための新しいCoTデータセット nuScenesR$2$-6K を提案する。 次に, グループ相対政策最適化(GRPO)アルゴリズムを用いて, 信頼性の高い滑らかさと現実的な軌道計画を実現する。
  論文  参考訳（メタデータ） (2025-09-02T04:32:24Z)
• ImagiDrive: A Unified Imagination-and-Planning Framework for Autonomous Driving [64.12414815634847]
  ビジョン・ランゲージ・モデル(VLM)とドライビング・ワールド・モデル(DWM)は、この課題のさまざまな側面に対処する強力なレシピとして独立して登場した。 我々は、VLMベースの運転エージェントとDWMベースのシーン想像装置を統合した、新しいエンドツーエンドの自動運転フレームワークであるImagiDriveを提案する。
  論文  参考訳（メタデータ） (2025-08-15T12:06:55Z)
• LeAD: The LLM Enhanced Planning System Converged with End-to-end Autonomous Driving [48.607991747956255]
  本稿では,大規模な言語モデル(LLM)拡張と模倣学習に基づくエンドツーエンド(E2E)フレームワークを統合した,二段階自動運転アーキテクチャLeADを提案する。 CARLAシミュレータでの実験的な評価は、LeADが従来と異なるシナリオをうまく扱えることを示し、Leadboard V1ベンチマークで71点、ルート完了率は93%である。
  論文  参考訳（メタデータ） (2025-07-08T07:58:29Z)
• SEAL: Vision-Language Model-Based Safe End-to-End Cooperative Autonomous Driving with Adaptive Long-Tail Modeling [13.81210267833274]
  SEALは、長期シナリオ下での堅牢な協調自動運転のための適応型マルチモーダル学習を備えたビジョンベースのモデルベースフレームワークである。 SEALは、(i)基礎モデルを利用して現実的なロングテール条件を合成するプロンプト駆動のロングテールシナリオ生成と評価パイプライン、(ii)曖昧または破損した特徴を再検討するシナリオを用いてビジュアルストリームを変調するマルチシナリオ適応アダプティブアテンションモジュール、(iii)マルチタスクシナリオを意識したコントラクティブな学習目標、マルチモーダルアライメントを改善し、クロスシナリオ機能セパビリティを促進する。
  論文  参考訳（メタデータ） (2025-06-26T06:42:03Z)
• Towards Interactive and Learnable Cooperative Driving Automation: a Large Language Model-Driven Decision-Making Framework [87.7482313774741]
  コネクテッド・オートモービルズ(CAV)は世界中の道路試験を開始したが、複雑なシナリオにおける安全性と効率性はまだ十分ではない。 本稿では,対話型かつ学習可能なLLM駆動協調運転フレームワークCoDrivingLLMを提案する。
  論文  参考訳（メタデータ） (2024-09-19T14:36:00Z)
• DiFSD: Ego-Centric Fully Sparse Paradigm with Uncertainty Denoising and Iterative Refinement for Efficient End-to-End Self-Driving [55.53171248839489]
  我々は、エンドツーエンドの自動運転のためのエゴ中心の完全スパースパラダイムであるDiFSDを提案する。 特に、DiFSDは主にスパース知覚、階層的相互作用、反復的な運動プランナーから構成される。 nuScenesとBench2Driveデータセットで実施された実験は、DiFSDの優れた計画性能と優れた効率を実証している。
  論文  参考訳（メタデータ） (2024-09-15T15:55:24Z)
• DeepInteraction++: Multi-Modality Interaction for Autonomous Driving [80.8837864849534]
  我々は,モダリティごとの個別表現を学習し,維持することのできる,新しいモダリティインタラクション戦略を導入する。 DeepInteraction++はマルチモーダルなインタラクション・フレームワークであり、マルチモーダルな表現型インタラクション・エンコーダとマルチモーダルな予測型インタラクション・デコーダを特徴とする。 実験では,3次元物体検出とエンドツーエンドの自律走行の両方において,提案手法の優れた性能を示す。
  論文  参考訳（メタデータ） (2024-08-09T14:04:21Z)
• Parameterized Decision-making with Multi-modal Perception for Autonomous Driving [12.21578713219778]
  AUTOと呼ばれる深層強化学習に基づくマルチモーダル認識を用いたパラメータ化意思決定フレームワークを提案する。 ハイブリッド報酬関数は、安全、交通効率、乗客の快適性、および最適な行動を生成するためのフレームワークを導く影響を考慮に入れている。
  論文  参考訳（メタデータ） (2023-12-19T08:27:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。