論文の概要: Towards Reliable Vision-Language Models for Autonomous Driving

• arxiv url: http://arxiv.org/abs/2610.01531v1
• Date: Thu, 01 Oct 2026 12:06:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-03 01:19:24.102307
• Title: Towards Reliable Vision-Language Models for Autonomous Driving
• Title（参考訳）: 自律運転のための信頼性の高いビジョンランゲージモデルを目指して
• Abstract要約: VLM(Vision-Language Model)は、自動運転においてますます研究されている。 現実の環境では、視覚入力はセンサの不完全性や環境条件によって劣化することがある。 視覚的破損の影響は、モデル、データセット、入力設定によって異なることを示す。
• 参考スコア（独自算出の注目度）: 1.8051014706460073
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Vision-Language models (VLMs) are increasingly being explored in autonomous driving for tasks such as scene understanding, driving reasoning, decision-making, and end-to-end driving. As their role becomes more prominent, ensuring their robustness and reliability is increasingly important. In real-world conditions, visual inputs may be degraded by sensor imperfections and environmental conditions, potentially affecting both model predictions and their associated confidence. Such degradation is especially concerning in autonomous driving, where safety-critical decisions require models to make accurate predictions and recognize when their predictions may be unreliable. In this work, we evaluate five VLMs (Qwen3.5-9B, Gemma4-E4B, LLaVA-OneVision-7B, DriveFusion/DriveFusionQA-4B, and NVIDIA Alpamayo-1.5-10B) across four driving-related QA datasets with different visual input settings, including single-frame, multi-view, multi-frame, and monocular inputs. Our results show that the effects of visual corruption vary across models, datasets, and input settings, with changes in accuracy and confidence reliability and also differing across conditions. We then apply Visual Evidence Augmentation ($\mathrm{V}{\scriptstyle \mathrm{EA}}$), a recent inference-time method to examine whether it can improve model reliability under degraded visual conditions. We find that $\mathrm{V}{\scriptstyle \mathrm{EA}}$ improves performance for some models and datasets, although the gains are not consistent across all settings.
• Abstract（参考訳）: VLM(Vision-Language Model)は、シーン理解、運転推論、意思決定、エンドツーエンドの運転といったタスクのために、自律運転においてますます研究されている。 役割がより顕著になるにつれて、堅牢性と信頼性の確保がますます重要になります。 現実の環境では、視覚入力はセンサーの不完全性や環境条件によって劣化し、モデル予測と関連する信頼の両方に影響を与える可能性がある。 このような劣化は、特に自律運転において関係しており、安全クリティカルな決定は、正確な予測を行い、予測が信頼できない可能性があることを認識するためのモデルを必要とする。 本研究では、単フレーム、マルチビュー、マルチフレーム、単眼入力を含む異なる視覚的入力設定を持つ4つの駆動関連QAデータセットに対して、5つのVLM(Qwen3.5-9B、Gemma4-E4B、LLaVA-OneVision-7B、DriveFusion/DriveFusionQA-4B、NVIDIA Alpamayo-1.5-10B)を評価した。 その結果,視覚的劣化の影響はモデル,データセット,入力設定によって異なり,精度や信頼性が変化し,状況によって異なることがわかった。 次に、劣化した視覚条件下でモデル信頼性を向上させることができるかどうかを検討するために、最近の推論時間法であるVisual Evidence Augmentation(\mathrm{V}{\scriptstyle \mathrm{EA}}$)を適用する。 $\mathrm{V}{\scriptstyle \mathrm{EA}}$はいくつかのモデルやデータセットのパフォーマンスを改善するが、すべての設定で利得は一致しない。

関連論文リスト

• ObsDriveBench: Benchmarking Multimodal Understanding under Adverse Weather with Observability Awareness [65.3988208273595]
  我々は、悪天候自律運転のための実世界のマルチモーダルベンチマークであるtextbfObsDriveBenchを紹介する。 我々のベンチマークは,textbfobservability awareness, textbfspatial reliability, textbfrisk-aware decision-makingの3つの機能ディメンションで設計されている。 実験により、既存の視覚言語モデルの一貫した性能劣化が明らかになった。
  論文  参考訳（メタデータ） (2026-07-26T08:13:46Z)
• Bench2Drive-VL: Benchmarks for Closed-Loop Autonomous Driving with Vision-Language Models [50.22099309218635]
  自律運転においては、閉ループ評価はオープンループ評価よりも信頼性の高い検証方法として広く認識されている。 本稿では,VLM駆動における閉ループ評価を実現するBench2Drive-VLについて述べる。
  論文  参考訳（メタデータ） (2026-04-01T11:38:46Z)
• Can Vision Foundation Models Navigate? Zero-Shot Real-World Evaluation and Lessons Learned [5.561294055181353]
  ビジュアルナビゲーションモデル(VNM)は、大規模な視覚的なデモンストレーションから学ぶことで、一般化可能なロボットナビゲーションを約束する。 室内と屋外にまたがる2つのロボットプラットフォームと5つの環境にまたがる5つの最先端VNMの現実的評価について述べる。
  論文  参考訳（メタデータ） (2026-03-26T22:04:49Z)
• Same Answer, Different Representations: Hidden instability in VLMs [65.36933543377346]
  本稿では,内部埋め込みドリフト,スペクトル感度,構造的滑らかさを計測する表現認識・周波数認識評価フレームワークを提案する。 このフレームワークを,SEEDBench,MMMU,POPEデータセットを対象とする最新のビジョン言語モデル(VLM)に適用する。
  論文  参考訳（メタデータ） (2026-02-06T12:24:26Z)
• To Trust Or Not To Trust Your Vision-Language Model's Prediction [32.26134619728882]
  我々は,VLMの予測をいつ信頼できるかを推定する課題に対処する,トレーニング不要なフレームワークTrustVLMを紹介した。 観測されたVLMのモダリティギャップに触発されて,この空間を利用して誤分類検出を改善する新しい信頼度スコアリング関数を提案する。 4つのアーキテクチャと2つのVLMを使用して、17の多様なデータセットにまたがるアプローチを厳格に評価し、最先端のパフォーマンスを実証します。
  論文  参考訳（メタデータ） (2025-05-29T17:59:01Z)
• Are VLMs Ready for Autonomous Driving? An Empirical Study from the Reliability, Data, and Metric Perspectives [56.528835143531694]
  視覚言語モデル(VLM)を評価するために設計されたベンチマークデータセットであるDriveBenchを紹介する。 以上の結果から, VLMは視覚的接地ではなく, 一般的な知識やテキストの手がかりから得られる, もっともらしい応答をしばしば生み出すことが明らかとなった。 本稿では,頑健な視覚的接地とマルチモーダル理解を優先する評価指標を提案する。
  論文  参考訳（メタデータ） (2025-01-07T18:59:55Z)
• VHELM: A Holistic Evaluation of Vision Language Models [75.88987277686914]
  視覚言語モデル(VHELM)の全体的評価について述べる。 VHELMは、視覚的知覚、知識、推論、バイアス、公平性、多言語性、堅牢性、毒性、安全性の9つの側面の1つ以上をカバーするために、さまざまなデータセットを集約する。 私たちのフレームワークは軽量で自動で、評価の実行が安価で高速に行えるように設計されています。
  論文  参考訳（メタデータ） (2024-10-09T17:46:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。