論文の概要: From Accuracy to Visual Dependence: Auditing and Filtering Modality Collapse in Traffic VideoQA
- arxiv url: http://arxiv.org/abs/2606.30220v1
- Date: Mon, 29 Jun 2026 12:33:15 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-30 18:07:16.217587
- Title: From Accuracy to Visual Dependence: Auditing and Filtering Modality Collapse in Traffic VideoQA
- Title（参考訳）: 正確性から視覚依存へ:交通ビデオQAにおけるモダリティ崩壊の監査とフィルタリング
- Abstract要約: 高いベンチマーク精度は、真の視覚的証拠の使用を保証するものではない。
交通事故のビデオ質問応答(VideoQA)におけるこの問題について検討する。
テキストのみの信頼度と視覚的必要信号を組み合わせたインスタンスレベルのショートカットスコアを提案する。
- 参考スコア（独自算出の注目度）: 44.46419663487345
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: High benchmark accuracy does not guarantee genuine use of visual evidence. We study this problem in traffic accident Video Question Answering (VideoQA), where correct answers should depend on scene-specific visual evidence but may instead be inferred from textual shortcuts. Through an audit of four public benchmarks, we find that several recent open-weight Vision-Language Models (VLMs) perform competitively, and sometimes better, without video input. On the MM-AU benchmark, removing video consistently improves accuracy, and adding more frames further degrades performance. To quantify visual dependence, we introduce two dataset-level diagnostics: Blind Gap, measuring above-chance text-only performance, and Visual Gain, measuring the marginal benefit of adding video. We further propose an instance-level Shortcut Score that combines text-only confidence with visual necessity signals, enabling continuous, training-free filtering of shortcut-prone questions. The resulting subsets reduce shortcut bias and improve visual grounding. Our findings reveal large differences in grounding quality across benchmarks and show that visually grounded evaluation, not just high accuracy, is essential in safety-critical VideoQA.
- Abstract（参考訳）: 高いベンチマーク精度は、真の視覚的証拠の使用を保証するものではない。
交通事故のビデオ質問応答(VideoQA)では,シーン固有の視覚的証拠に依存するが,テキストのショートカットから推測される可能性がある。
4つの公開ベンチマークの監査により、近年のVLM(Vision-Language Models)が、ビデオ入力なしで、競争的に、時にはより良いパフォーマンスを発揮することが判明した。
MM-AUベンチマークでは、ビデオの削除は精度を一貫して改善し、より多くのフレームを追加することでパフォーマンスがさらに低下する。
視覚的依存を定量化するために、Blind GapとVisual Gainという2つのデータセットレベルの診断手法を導入する。
さらに,テキストのみの信頼度を視覚的必要信号と組み合わせたインスタンスレベルのショートカットスコアを提案する。
その結果、サブセットはショートカットバイアスを減らし、ビジュアルグラウンドを改善する。
以上の結果から, 安全性に重要なビデオQAでは, 高い精度だけでなく, 視覚的基盤評価が不可欠であることが示唆された。
関連論文リスト
- VADER: Adaptive Debiasing for Hallucination Mitigation in Video Large Language Models [30.792102059830274]
Video-Adaptive Debiasing via Evidence Reweighting (VADER)は、2つの補完モジュールを持つトレーニング不要のフレームワークである。
Visual Focus Reallocation (VFR)は、ビデオ検索の各入力に対する介入ポリシーを自動的にインスタンス化する。
SEE(Selective Evidence Erasure)は、フレーム毎に高重要性の視覚トークンを隠蔽する。
論文 参考訳（メタデータ） (2026-08-09T10:09:11Z) - VTAgent: Agentic Keyframe Anchoring for Evidence-Aware Video TextVQA [42.454642585543446]
ビデオテキストベースの視覚的質問応答 (Video TextVQA) は、ビデオに現れる視覚的テキストコンテンツについて推論することで質問に答えることを目的としている。
そこで本研究では,回答の前に関連事項を明示的にアンカーする質問誘導型エージェントフレームワークを提案する。
本研究は,ビデオテキストVQAの進行において,明示的なアンカーが重要な役割を担っていることを明らかにする。
論文 参考訳（メタデータ） (2026-05-06T13:01:52Z) - How Far Can VLMs Go for Visual Bug Detection? Studying 19,738 Keyframes from 41 Hours of Gameplay Videos [41.46982669196867]
長めのゲームプレイのためのビデオベースの品質保証(QA)は、労働集約的でエラーを起こしやすい。
近年のベンチマークでは、視覚言語モデル(VLM)は、キュレートされたデータセットの視覚的グリッチの検出において、有望な結果が得られることが示唆されている。
論文 参考訳（メタデータ） (2026-03-24T01:59:06Z) - Reducing Text Bias in Synthetically Generated MCQAs for VLMs in Autonomous Driving [1.6039614357284375]
MCQA(Multiple Choice Question Answering)ベンチマークは、運転タスクにおける視覚言語モデル(VLM)のパフォーマンスを測定するための確立された標準である。
このようなデータに基づいて微調整されたVLMは、視覚的な入力を伴わずに、人為的なベンチマークに匹敵する精度が得られることを示す。
論文 参考訳（メタデータ） (2026-01-28T20:30:26Z) - A Shortcut-aware Video-QA Benchmark for Physical Understanding via Minimal Video Pairs [19.46311809796145]
本稿では,ビデオ言語モデルの物理的理解を評価するための簡易なショートカット対応ビデオQAベンチマークを提案する。
このベンチマークは、55Kの高品質なマルチチョイスビデオQAの例で構成されている。
MVPの人的パフォーマンスは92.9%、最先端の最先端ビデオ言語モデルは40.2%である。
論文 参考訳（メタデータ） (2025-06-11T17:57:32Z) - Video SimpleQA: Towards Factuality Evaluation in Large Video Language Models [77.96693360763925]
Video SimpleQAは、ビデオコンテキストにおける事実性評価に適した最初の包括的なベンチマークである。
我々の研究は、既存のビデオベンチマークとは以下の重要な特徴によって異なる: 知識: ビデオの明示的な物語を超えた外部知識の統合を要求する。
短い形式の決定的な答え: 回答は、最小のスコアリング分散を持つ短いフォーマットで、曖昧で決定的に正しいものとして作成されます。
論文 参考訳（メタデータ） (2025-03-24T17:46:09Z) - VaQuitA: Enhancing Alignment in LLM-Assisted Video Understanding [63.075626670943116]
本稿では,映像情報とテキスト情報の相乗効果を向上するための最先端フレームワークであるVaQuitAを紹介する。
データレベルでは、フレームを均一にサンプリングする代わりに、CLIPスコアランキングでガイドされるサンプリング手法を実装している。
機能レベルでは、Visual-Query Transformerと一緒にトレーニング可能なVideo Perceiverを統合します。
論文 参考訳（メタデータ） (2023-12-04T19:48:02Z) - Characterizing Video Question Answering with Sparsified Inputs [55.7455981156755]
我々は、異なる入力間隔のタスクを特徴付け、それを行うためのツールを提供する。
具体的には、Gumbelベースの学習可能な選択モジュールを使用して、最終タスクに最適な入力を適応的に選択する。
実験の結果,5.2%～5.8%のパフォーマンス低下がみられ,ビデオの長さは10%に過ぎなかった。
論文 参考訳（メタデータ） (2023-11-27T21:00:20Z) - Towards Video Anomaly Retrieval from Video Anomaly Detection: New
Benchmarks and Model [70.97446870672069]
ビデオ異常検出(VAD)はその潜在的な応用により注目されている。
Video Anomaly Retrieval (VAR)は、関連のある動画をモダリティによって実用的に検索することを目的としている。
一般的な異常データセットの上に構築されたUCFCrime-ARとXD-Violenceの2つのベンチマークを示す。
論文 参考訳（メタデータ） (2023-07-24T06:22:37Z) - ASCNet: Self-supervised Video Representation Learning with
Appearance-Speed Consistency [62.38914747727636]
本研究では,1)明示的な監督のためのラベルの欠如,2)構造化されていない,ノイズの多い視覚情報による自己指導型映像表現学習について検討する。
既存の方法は、主にビデオクリップをインスタンスとしてコントラスト損失を使用し、互いにインスタンスを識別することで視覚的表現を学ぶ。
本稿では,ロバストな映像表現を学ぶ上で,正のサンプル間の一貫性が鍵となることを観察する。
論文 参考訳（メタデータ） (2021-06-04T08:44:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。