論文の概要: ObsDriveBench: Benchmarking Multimodal Understanding under Adverse Weather with Observability Awareness
- arxiv url: http://arxiv.org/abs/2607.23537v1
- Date: Sun, 26 Jul 2026 08:13:46 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-28 22:34:15.144397
- Title: ObsDriveBench: Benchmarking Multimodal Understanding under Adverse Weather with Observability Awareness
- Title（参考訳）: ObsDriveBench: 可観測性を考慮した逆気象下でのマルチモーダル理解のベンチマーク
- Abstract要約: 我々は、悪天候自律運転のための実世界のマルチモーダルベンチマークであるtextbfObsDriveBenchを紹介する。
我々のベンチマークは,textbfobservability awareness, textbfspatial reliability, textbfrisk-aware decision-makingの3つの機能ディメンションで設計されている。
実験により、既存の視覚言語モデルの一貫した性能劣化が明らかになった。
- 参考スコア（独自算出の注目度）: 65.3988208273595
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Autonomous driving under adverse weather remains a critical challenge, yet existing vision-language benchmarks mainly evaluate under standard conditions, synthetic corruptions, or single modality. As a result, it remains unclear how vision-language models behave under real-world adverse weather with multi-modal inputs. We argue that a key difficulty lies in degraded environmental observability: under fog, rain, snow, and low illumination, multi-modal observations become unreliable and cross-modally inconsistent, posing challenges to scene understanding, and subsequent decision-making. To study this, we introduce \textbf{ObsDriveBench}, a real-world multi-modal benchmark for adverse-weather autonomous driving. Our benchmark is designed with three capability dimensions: \textbf{observability awareness}, \textbf{spatial reliability}, and \textbf{risk-aware decision-making}, enabling fine-grained diagnosis of model behavior under degraded observations. We construct the benchmark through observability meta-annotation, scene description, and capability oriented multiple-choice tasks over synchronized camera, LiDAR, and radar inputs, forming a benchmark with over 14k training and 13k test questions. Experiments reveal consistent performance degradation of existing vision-language models. We further introduce \textbf{ObsDrive} model with normal-weather supervised fine-tuning and adverse-weather reinforcement learning, improving robustness across all three capabilities. The dataset and evaluation code will be released at \href{https://github.com/russellyq/ObsDriveBench}{\texttt{ObsDriveBench}}.
- Abstract（参考訳）: 悪天候下での自律運転は依然として重要な課題であるが、既存の視覚言語ベンチマークは主に標準条件、合成腐敗、または単一モードで評価されている。
その結果、マルチモーダル入力による現実の悪天候下での視覚言語モデルがどのように振る舞うかは明らかになっていない。
霧, 雨, 雪, 低照度の下では, マルチモーダル観測は信頼性が低く, 横断的に不整合となり, シーン理解やその後の意思決定に挑戦する。
そこで本研究では,悪天候自律運転のための実世界のマルチモーダルベンチマークである \textbf{ObsDriveBench} を紹介する。
我々のベンチマークは、3つの機能ディメンションで設計されている: \textbf{observability awareness}, \textbf{spatial reliability}, \textbf{risk-aware decision-making}。
我々は、同期カメラ、LiDAR、レーダー入力による可観測性メタアノテーション、シーン記述、機能指向の多重選択タスクを通じてベンチマークを構築し、14k以上のトレーニングと13kのテスト質問でベンチマークを作成する。
実験により、既存の視覚言語モデルの一貫した性能劣化が明らかになった。
さらに,正規ウェザー制御による微調整と悪ウェザー強化学習を併用した‘textbf{ObsDrive}モデルを導入し,これら3つの機能間の堅牢性を向上した。
データセットと評価コードは、 \href{https://github.com/russellyq/ObsDriveBench}{\textt{ObsDriveBench}}でリリースされる。
関連論文リスト
- CRUISE: Vision-Language Model-Guided Uncertainty-Aware Cross-Modal Sensor Fusion for Robust Autonomous Driving [15.316817374554828]
Cruiseは、新しい不確実性を認識したクロスモーダルセンサー融合フレームワークである。
視覚言語モデル(VLM)誘導UQモジュールを統合し、細粒度でピクセルレベルの不確実性推定を生成する。
我々は、モジュール間の依存関係を明示的にモデル化し、キャプチャする動的適応機構を導入する。
論文 参考訳（メタデータ） (2026-08-10T07:17:00Z) - EgoInertia-MI: A Multimodal Egocentric Vision and IMU Benchmark for Motor Impairment Assessment [2.7963067040946723]
EgoInertia-MIは、運動障害解析のために、エゴセントリックビデオとウェアラブルIMU信号を組み合わせたマルチモーダルベンチマークデータセットである。
エゴセントリックビデオは運動障害評価に強力な手がかりとなることを示す。
これらの知見は、エゴセントリックな視覚とウェアラブルセンシングを組み合わせることで、生態学的に妥当でプライバシーに配慮したモーターアセスメントの可能性を強調している。
論文 参考訳（メタデータ） (2026-07-04T16:02:39Z) - Beyond the Current Observation: Evaluating Multimodal Large Language Models in Controllable Non-Markov Games [69.57330692969543]
RNG-Benchは、過去の観測を再構築するベースモデルの能力を分離するために設計されたベンチマークスイートである。
RNG-Benchには2つの補完ゲームがある: マッチングペア(英語版) - 特定の場所でカードのIDを短期間明らかにする) と、エゴセントリックなビューを空間地図に統合する3D Maze である。
最も難しい構成では、約128Kのトークンと350のイメージ入力のコンテキストが必要であり、フロンティアMLLMによる飽和には程遠いままである。
論文 参考訳（メタデータ） (2026-06-17T17:59:34Z) - MM-Snowball: Evaluating and Mitigating Hallucination Snowballing in Multimodal Multi-Turn Dialogue [98.58433916474472]
MM-Snowballは,対話内における幻覚雪球の診断のための最初のベンチマークである。
本稿では,この劣化に対処するために,コンフリクト・アウェア・ビジュアル・リクティフィケーション(CAVR)を提案する。
論文 参考訳（メタデータ） (2026-05-30T08:53:34Z) - Same Answer, Different Representations: Hidden instability in VLMs [65.36933543377346]
本稿では,内部埋め込みドリフト,スペクトル感度,構造的滑らかさを計測する表現認識・周波数認識評価フレームワークを提案する。
このフレームワークを,SEEDBench,MMMU,POPEデータセットを対象とする最新のビジョン言語モデル(VLM)に適用する。
論文 参考訳（メタデータ） (2026-02-06T12:24:26Z) - CrossCheck-Bench: Diagnosing Compositional Failures in Multimodal Conflict Resolution [20.823419395675412]
CrossCheck-Benchは、マルチモーダル入力における矛盾検出を評価するための診断ベンチマークである。
タスクが知覚的マッチングから論理的矛盾検出に移行するにつれて、13の最先端の視覚言語モデルを評価し、一貫した性能低下を観察する。
論文 参考訳（メタデータ） (2025-11-19T12:17:15Z) - AccidentBench: Benchmarking Multimodal Understanding and Reasoning in Vehicle Accidents and Beyond [101.20320617562321]
AccidentBenchは、自動車事故シナリオとBeyondドメインを組み合わせた大規模なベンチマークである。
このベンチマークには、約2000のビデオと19000以上の人間による質問応答ペアが含まれている。
論文 参考訳（メタデータ） (2025-09-30T17:59:13Z) - Self-Consistency as a Free Lunch: Reducing Hallucinations in Vision-Language Models via Self-Reflection [71.8243083897721]
視覚言語モデルは、しばしば詳細を幻覚させ、既存のオブジェクトを生成するか、出力信頼性を損なう不正確な属性を生成する。
本稿では、長文応答と短文応答の自己整合性を利用して、学習のための選好ペアを生成する新しいフレームワークを提案する。
論文 参考訳（メタデータ） (2025-09-27T10:37:11Z) - PRIMEDrive-CoT: A Precognitive Chain-of-Thought Framework for Uncertainty-Aware Object Interaction in Driving Scene Scenario [1.1142444517901016]
PRIMEDrive-CoTは、駆動シナリオにおけるオブジェクトインタラクションとChain-of-Thought(CoT)推論のための新しい不確実性認識モデルである。
提案手法は,LiDARに基づく3Dオブジェクト検出とマルチビューRGB参照を組み合わせることで,解釈可能で信頼性の高いシーン理解を実現する。
論文 参考訳（メタデータ） (2025-04-08T11:06:02Z) - MultiCorrupt: A Multi-Modal Robustness Dataset and Benchmark of LiDAR-Camera Fusion for 3D Object Detection [5.462358595564476]
自動走行のためのマルチモーダル3Dオブジェクト検出モデルは、nuScenesのようなコンピュータビジョンベンチマークでは例外的な性能を示した。
しかし、密集したLiDAR点雲や精密に校正されたセンサーアレイへの依存は、現実世界のアプリケーションに課題をもたらす。
我々は,10種類の汚職に対してマルチモーダル3Dオブジェクト検出器の堅牢性を評価するためのベンチマークであるMultiCorruptを紹介する。
論文 参考訳（メタデータ） (2024-02-18T18:56:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。