論文の概要: Evaluating Video LLMs' Understanding of Corner Cases in Autonomous Driving
- arxiv url: http://arxiv.org/abs/2611.16767v1
- Date: Thu, 12 Nov 2026 13:15:27 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:33.476072
- Title: Evaluating Video LLMs' Understanding of Corner Cases in Autonomous Driving
- Title(参考訳): 自動運転におけるビデオLLMの角膜症例理解の評価
- Abstract要約: DashBenchは、25のビデオ大言語モデルを1,709の運転ビデオでテストするベンチマークである。
すべてのモデルは、安全クリティカルな運転アプリケーションに必要なしきい値よりかなり低い性能を発揮する。
DashBenchは、より安全で説明しやすい自動運転システムに向けて前進すると考えている。
- 参考スコア(独自算出の注目度): 6.410948449840933
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Natural language explanations promised by modern Video Large Language Models (Video LLMs) offer autonomous driving systems a path toward detailed scene description and interpretable decision making on the road. While recent benchmarks have begun assessing these models on driving scenes, they mainly target routine traffic conditions and general comprehension tasks based on existing driving datasets and therefore fail to evaluate model performance on the rarest and most safety-critical driving events, also known as "corner cases". To provide a comprehensive evaluation of Video LLMs on precisely these scenarios, we introduce DashBench, a benchmark testing 25 Video LLMs on 1,709 carefully curated driving videos spanning not only collision-related corner cases but also rare non-collision ones. Through extensive prompts and open-ended question answering, we expose a critical capability gap: all evaluated models perform substantially below the threshold required for safety-critical driving applications, frequently misjudging or missing dangerous events on the road ahead and hallucinating non-existent agents or actions in their explanations. We believe DashBench, combining an extensive dataset with a rigorous evaluation toolkit and a detailed diagnosis of current model limitations, drives progress toward safer, more explainable autonomous driving systems. The code and data will be shared at: cornercase-dashbench.github.io
- Abstract(参考訳): 現代のビデオ大言語モデル (Video Large Language Models, ビデオLLM) が約束する自然言語の説明は、自動運転システムに詳細なシーン記述と道路上の解釈可能な意思決定への道を提供する。
最近のベンチマークでは、運転シーンにおけるこれらのモデルの評価が始まっているが、それらは主に、既存の運転データセットに基づいて、通常の交通条件や一般的な理解タスクをターゲットにしているため、最も稀で、最も安全に重要な運転イベント("corner case"としても知られる)におけるモデルパフォーマンスの評価に失敗している。
これらのシナリオを正確に評価するために,DashBenchは,衝突関連コーナーケースだけでなく,稀な非衝突も対象とする1,709本のビデオLLMを慎重にキュレートした運転ビデオに対して,25本のビデオLLMを試験するベンチマークである。
評価されたモデルはすべて、安全クリティカルな運転アプリケーションに必要なしきい値よりも大幅に低い性能を示し、道路上の危険な事象をしばしば誤認または欠落させ、その説明の中で既存のエージェントやアクションを幻覚させる。
DashBenchは、厳密な評価ツールキットと現在のモデル制限の詳細な診断を組み合わせることで、より安全で説明可能な自律運転システムへの進歩を加速していると考えています。
cornercase-dashbench.github.io
関連論文リスト
- CrashSight: A Phase-Aware, Infrastructure-Centric Video Benchmark for Traffic Crash Scene Understanding and Reasoning [27.23760411917563]
textbfCrashSightは,現実の道路カメラデータを用いた道路事故理解のための視覚ベンチマークである。
データセットは250のクラッシュビデオで構成されており、2階層の分類の下で構成された13Kの質問応答ペアが注釈付けされている。
我々は8つの最先端のVLMをベンチマークし、強いシーン記述能力にもかかわらず、現在のモデルは安全クリティカルなシナリオにおける時間的・因果的推論に苦戦していることを示す。
論文 参考訳(メタデータ) (2026-04-09T16:52:04Z) - InstaDrive: Instance-Aware Driving World Models for Realistic and Consistent Video Generation [53.47253633654885]
InstaDriveは、2つの重要な進歩を通じてビデオリアリズムを促進する新しいフレームワークである。
これらのインスタンス認識機構を組み込むことで、InstaDriveは最先端のビデオ生成品質を実現する。
私たちのプロジェクトページはhttps://shanpoyang654.io/InstaDrive/page.htmlです。
論文 参考訳(メタデータ) (2026-02-03T08:22:13Z) - Hierarchical Reasoning with Vision-Language Models for Incident Reports from Dashcam Videos [0.03598453624340711]
本稿では,ダッシュカムビデオからのインシデントレポート生成のための階層的推論フレームワークを提案する。
視覚言語モデルにフレームレベルのキャプション、インシデントフレームの検出、微粒化推論を統合する。
公式の2COOOLオープンリーダーボードでは、29チーム中2位にランクされ、最高のCIDEr-Dスコアを獲得しています。
論文 参考訳(メタデータ) (2025-10-14T06:36:41Z) - AccidentBench: Benchmarking Multimodal Understanding and Reasoning in Vehicle Accidents and Beyond [101.20320617562321]
AccidentBenchは、自動車事故シナリオとBeyondドメインを組み合わせた大規模なベンチマークである。
このベンチマークには、約2000のビデオと19000以上の人間による質問応答ペアが含まれている。
論文 参考訳(メタデータ) (2025-09-30T17:59:13Z) - CoReVLA: A Dual-Stage End-to-End Autonomous Driving Framework for Long-Tail Scenarios via Collect-and-Refine [73.74077186298523]
CoReVLAは、自動運転のための継続的学習フレームワークである。
データコレクションとビヘイビアリファインメントの2段階プロセスを通じて、ロングテールシナリオのパフォーマンスを改善する。
CoReVLAは72.18のドライビングスコア(DS)と50%の成功率(SR)を達成し、7.96DSの最先端手法と15%SRの長期的安全クリティカルシナリオで性能を向上する。
論文 参考訳(メタデータ) (2025-09-19T13:25:56Z) - STSBench: A Spatio-temporal Scenario Benchmark for Multi-modal Large Language Models in Autonomous Driving [16.602141801221364]
STSBenchは、自律運転のための視覚言語モデル(VLM)の総合的な理解をベンチマークするためのフレームワークである。
このベンチマークでは、複数のビューにまたがる43の多様なシナリオが特徴で、その結果、971人の人間による検証された複数選択の質問が生まれている。
徹底的な評価により、複雑な環境における基本的なトラフィックダイナミクスを推論する既存のモデルの能力の欠点が明らかになる。
論文 参考訳(メタデータ) (2025-06-06T16:25:22Z) - Are Vision LLMs Road-Ready? A Comprehensive Benchmark for Safety-Critical Driving Video Understanding [10.242043337117005]
視覚大言語モデル(VLLM)は、画像キャプションや視覚的質問応答といった一般的な視覚的タスクにおいて、印象的な機能を示している。
しかし、自律運転のような専門的で安全に重要な分野におけるその効果は、まだ明らかにされていない。
DVBenchは、安全クリティカルな運転映像の理解において、VLLMの性能を評価するために設計された先駆的なベンチマークである。
論文 参考訳(メタデータ) (2025-04-20T07:50:44Z) - SafeAuto: Knowledge-Enhanced Safe Autonomous Driving with Multimodal Foundation Models [63.71984266104757]
我々は、構造化されていない知識と構造化されていない知識の両方を取り入れることで、MLLMベースの自動運転を強化するフレームワークであるSafeAutoを提案する。
安全知識を明示的に統合するため,交通ルールを一階述語論理に変換する推論コンポーネントを開発した。
我々のマルチモーダル検索・拡張生成モデルは、過去の運転経験から学ぶために、ビデオ、制御信号、環境特性を活用する。
論文 参考訳(メタデータ) (2025-02-28T21:53:47Z) - Are VLMs Ready for Autonomous Driving? An Empirical Study from the Reliability, Data, and Metric Perspectives [56.528835143531694]
視覚言語モデル(VLM)を評価するために設計されたベンチマークデータセットであるDriveBenchを紹介する。
以上の結果から, VLMは視覚的接地ではなく, 一般的な知識やテキストの手がかりから得られる, もっともらしい応答をしばしば生み出すことが明らかとなった。
本稿では,頑健な視覚的接地とマルチモーダル理解を優先する評価指標を提案する。
論文 参考訳(メタデータ) (2025-01-07T18:59:55Z) - Probing Multimodal LLMs as World Models for Driving [72.18727651074563]
自律運転におけるMLLM(Multimodal Large Language Models)の適用について検討する。
GPT-4oのようなモデルの開発は進んでいるが、複雑な運転環境における性能は未解明のままである。
論文 参考訳(メタデータ) (2024-05-09T17:52:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。