論文の概要: Language2Drive: Do Vision-Language-Action Models Really Follow the Instructions in Autonomous Driving?
- arxiv url: http://arxiv.org/abs/2610.16634v1
- Date: Mon, 12 Oct 2026 11:54:56 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-18 22:11:01.069427
- Title: Language2Drive: Do Vision-Language-Action Models Really Follow the Instructions in Autonomous Driving?
- Title（参考訳）: Language2Drive: ビジョンランゲージ・アクションモデルは、自律運転の指示を本当に追うのか?
- Abstract要約: 近年のVision-Language-Action(VLA)モデルでは、自然言語を使って自律運転動作の条件付けを行っている。
この能力を直接テストするために設計されたベンチマークです
強い運転能力と弱い言語制御の 重大なミスマッチが明らかになりました
- 参考スコア（独自算出の注目度）: 26.462159377597256
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Recent Vision-Language-Action (VLA) models increasingly use natural-language instructions to condition autonomous driving behavior. Yet existing closed-loop benchmarks primarily measure route completion, safety, and rule compliance, leaving a fundamental question unresolved: does language actually determine which feasible behavior the vehicle executes? A trajectory may be safe and successful while still violating or even ignoring the passenger's instruction. To address this, we introduce \ltd, a benchmark designed to directly test this capability. Its key evaluation unit, the paired counterfactual unit (PCU), holds the initial driving scene fixed while changing only the instruction. This design enables us to distinguish isolated instruction success from counterfactual paired success across four instruction-following scopes. To test whether this distinction persists across evaluation regimes, we instantiate Language2Drive in complementary closed-loop CARLA simulation, reconstructed real-world scenes, and open-loop driving benchmarks, including our released CARLA-Language2Drive simulator with purpose-built maps. Evaluating representative driving VLAs across these settings reveals a striking mismatch between strong driving competence and weak language control: 93.2% of successful rollouts do not have a successful counterpart under the alternative feasible instruction. This failure is dominated by one-sided completion, where a model repeatedly executes one preferred behavior but fails when the same scene requires the counterfactual alternative. These results expose two fundamental limitations of current evaluation: isolated success and driving scores, which are widely used by conventional driving benchmarks, can substantially overstate language-following capability, while current driving VLAs themselves lack reliable instruction following under matched counterfactual tests.
- Abstract（参考訳）: 近年のVision-Language-Action(VLA)モデルでは、自然言語を使って自律運転動作の条件付けを行っている。
しかし、既存のクローズドループベンチマークは主にルート補完、安全、ルールコンプライアンスを計測し、根本的な疑問は未解決のまま残されている。
軌道は安全で成功し、乗客の指示を無視したり無視したりすることもある。
これを解決するために,この機能を直接テストするためのベンチマークである \ltd を紹介した。
その鍵となる評価単位であるペア対物ユニット(PCU)は、命令のみを変更しながら固定された初期運転シーンを保持する。
この設計により、4つの命令追従範囲にわたる対実的ペアの成功と分離された命令成功を区別することができる。
本研究では,Language2DriveとLanguage2Driveの相補的な閉ループCARLAシミュレーション,実世界のシーン再構築,オープンループ運転ベンチマークでLanguage2Driveをインスタンス化する。
これらの設定でVLAの評価は、強い運転能力と弱い言語制御の間の顕著なミスマッチを示している: 93.2%の成功率のロールアウトは、代替可能な実行可能な命令の下では成功していない。
この失敗は一方的な完了によって支配され、モデルが1つの望ましい振る舞いを繰り返し実行するが、同じシーンがカウンターファクトの代替を必要とする場合に失敗する。
これらの結果は、従来の駆動ベンチマークで広く使われている孤立成功と駆動スコアの2つの基本的な限界を明らかにしている。
関連論文リスト
- Less Language, More Latents: Annotation-Efficient VLAs for Driving [18.817106518249606]
本稿では,Latent Action Driving jectors (LADA) について紹介する。
まず,ベクトル量子化ボトルネックを持つ潜在動作モデルを訓練し,高レベル車両意図のコンパクトなコードブックを作成する。
第二に、小さな言語アノテートされたサブセットを使用して、観察と言語命令をこのコードブックにマッピングする視覚言語トランスレータを訓練する。
第3に、フルラベリングコーパス上での観察-反応対の駆動VLAを訓練する。
論文 参考訳（メタデータ） (2026-09-23T12:00:04Z) - Rethinking Language's Role in Efficient VLA for Autonomous Vehicles: Toward Smarter, Trustworthy Driving [8.920589816043298]
Vision-Language-Action(VLA)モデルが自動走行(AD)を改造
レイテンシとメモリの予算は厳しく、自動回帰デコーディングは本質的にシーケンシャルです。
この作業は、トレーニングコストが1回だけ支払われる間に、デプロイされたフレーム毎に推論コストが再帰するため、言語がいつ、いつ、どこで振る舞うべきかという中心的な疑問を再考する。
論文 参考訳（メタデータ） (2026-08-31T01:51:51Z) - MindVLA-U1: VLA Beats VA with Unified Streaming Architecture for Autonomous Driving [54.57163800903507]
我々は、自動運転のための最初の統合ストリーミングVLAアーキテクチャであるMindVLA-U1を紹介する。
統一されたVLMバックボーンは、1つの共有表現に1つのフォワードパスでAR言語トークンとフローマッチングされた連続的なアクショントラジェクトリを生成する。
ロングテールのWOD-E2Eベンチマークでは、MindVLA-U1が経験豊富な人間のドライバーを初めて上回った。
論文 参考訳（メタデータ） (2026-05-12T18:09:42Z) - ICR-Drive: Instruction Counterfactual Robustness for End-to-End Language-Driven Autonomous Driving [1.6961250145588112]
ICR-Driveは、言語条件の自律運転において、対実的ロバスト性を示すための診断フレームワークである。
我々は、一致したシミュレータ構成とシードの下で同一のCARLAルートを再生し、命令言語に起因する性能変化を分離する。
LMDriveとBEVDriverの実験では、マイナーな命令変更がパフォーマンス低下と障害モードの相違を引き起こす可能性がある。
論文 参考訳（メタデータ） (2026-04-07T03:24:22Z) - Bench2Drive-VL: Benchmarks for Closed-Loop Autonomous Driving with Vision-Language Models [50.22099309218635]
自律運転においては、閉ループ評価はオープンループ評価よりも信頼性の高い検証方法として広く認識されている。
本稿では,VLM駆動における閉ループ評価を実現するBench2Drive-VLについて述べる。
論文 参考訳（メタデータ） (2026-04-01T11:38:46Z) - Unifying Language-Action Understanding and Generation for Autonomous Driving [25.23561391638388]
VLA(Vision-Language-Action)モデルは、エンドツーエンドの自動運転において有望なパラダイムとして浮上している。
既存の手法には、言語命令とアクションアウトプットの永続的なミスアライメントと、典型的な自己回帰行動生成の非効率性という2つの重要な制限がある。
LinkVLAは、これらの課題に直接対処し、アライメントと効率の両方を強化する新しいアーキテクチャです。
論文 参考訳（メタデータ） (2026-03-02T04:41:10Z) - Counterfactual VLA: Self-Reflective Vision-Language-Action Model with Adaptive Reasoning [71.19675094463834]
この作業では、モデルが実行前に計画されたアクションを推論し、修正することを可能にする、自己修正型のVLAフレームワークである、Counterfactual VLAを導入している。
CF-VLAはまず、駆動意図を要約した時間分割メタアクションを生成し、その後、メタアクションと視覚コンテキストの両方で条件付けられた反実的推論を実行する。
大規模運転データセットの実験では、CF-VLAは軌道精度を最大17.6%向上し、安全基準を20.5%向上し、適応的思考を示す。
論文 参考訳（メタデータ） (2025-12-30T19:04:17Z) - MindDrive: A Vision-Language-Action Model for Autonomous Driving via Online Reinforcement Learning [51.20229133553804]
自律運転における現在のビジョン・ランゲージ・アクション(VLA)パラダイムは主に模倣学習(IL)に依存している
オンライン強化学習は、トライアル・アンド・エラー学習を通じてこれらの問題に対処するための有望な経路を提供する。
大規模言語モデル(LLM)と2つの異なるLoRAパラメータからなるVLAフレームワークであるMindDriveを提案する。
軌道レベルの報酬を推論空間に戻すことで、MindDriveは、限定的な言語駆動決定の有限セットに対する試行錯誤学習を可能にする。
論文 参考訳（メタデータ） (2025-12-15T18:31:32Z) - Do What? Teaching Vision-Language-Action Models to Reject the Impossible [53.40183895299108]
VLA(Vision-Language-Action)モデルは、さまざまなロボットタスクにおいて強力なパフォーマンスを示している。
Instruct-Verify-and-Act(IVA)を提案する。
実験の結果,IVAはベースラインよりも97.56%の精度で虚偽の前提検出精度を向上させることがわかった。
論文 参考訳（メタデータ） (2025-08-22T10:54:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。