論文の概要: Accuracy Without Grounding: Diagnosing Visual Dependency Dissociation in Video LLM Benchmarks
- arxiv url: http://arxiv.org/abs/2607.13305v1
- Date: Tue, 14 Jul 2026 22:15:50 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-16 16:39:12.598757
- Title: Accuracy Without Grounding: Diagnosing Visual Dependency Dissociation in Video LLM Benchmarks
- Title（参考訳）: グラウンド化のない精度:ビデオLLMベンチマークにおける視覚依存解離の診断
- Abstract要約: 本稿では,視覚依存ギャップ(VDG)について紹介する。
精度と視覚的依存は分離可能であることを示す。
これらの結果は、ビデオベンチマークが視覚的基盤能力を測定するかどうかの基準監査としてVDGを動機付けている。
- 参考スコア（独自算出の注目度）: 2.0789144738685956
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Benchmark accuracy in video large language models (LLMs) is often treated as evidence of visual understanding. We audit this assumption across twenty models spanning 2-78B parameters and ten architecture families. We introduce the Visual Dependency Gap (VDG), the difference in per-question correctness between original-video and black-screen conditions. Paired McNemar tests on MVBench show that accuracy and visual dependency are separable: models differ on original video (p = 0.0003) but not on black screens (p = 0.53). Across models, task-type rankings are stable: Attribute Perception is strongly visual, whereas Temporal Reasoning approaches the language-only baseline. A diagnostic ladder from black screen to single frame, shuffled frames, and original video reveals that frame diversity supplies most of the visual benefit, while temporal order contributes near-zero accuracy across sixteen open-weight models. An ablation from 0.5 to 24 FPS rules out sparse sampling as the cause. H.264 experiments further show that stable aggregate accuracy conceals bidirectional question-level answer flips. The diagnostic also generalizes to four API-accessed models, whose VDG values range from 0.025 to 0.315. These results motivate VDG as a standard audit for whether video benchmarks measure visually grounded capability. Code is available at https://github.com/JaeLee18/accuracy-without-grounding.
- Abstract（参考訳）: ビデオ大言語モデル(LLM)のベンチマーク精度は、視覚的理解の証拠として扱われることが多い。
2-78Bパラメータと10のアーキテクチャファミリにまたがる20のモデルでこの仮定を監査する。
本稿では,視覚依存ギャップ(VDG)について紹介する。
MVBenchでのMcNemarのペアテストでは、精度と視覚的依存は分離可能である:モデルはオリジナルビデオ(p = 0.0003)では異なるが、黒画面(p = 0.53)では異なる。
属性知覚は強い視覚的であり、テンポラル推論は言語のみのベースラインにアプローチする。
ブラックスクリーンからシングルフレーム、シャッフルフレーム、オリジナルビデオへの診断はしごは、フレームの多様性が視覚的利益のほとんどを補っていることを示しているが、時間順は16のオープンウェイトモデルでほぼゼロに近い精度に寄与している。
0.5FPSから24FPSのアブレーションはスパースサンプリングを原因とする。
H.264実験はさらに、安定した集約精度は双方向の質問レベルの答えフリップを隠蔽することを示した。
また、診断は4つのAPIアクセスモデルに一般化され、VDG値は0.025から0.315の範囲である。
これらの結果は、ビデオベンチマークが視覚的基盤能力を測定するかどうかの基準監査としてVDGを動機付けている。
コードはhttps://github.com/JaeLee18/accuracy-with-grounding.comで公開されている。
関連論文リスト
- The Visual Insensitivity Gap: Diagnosing When Vision-Language Models Fail to Use Visual Evidence [1.7844382164707184]
我々はこの現象を視覚不感ギャップと呼び、サンプルごとの視覚感度指数(VSI)で定量化する。
この仮定は、6つのVLMと3つの知覚的ベンチマークで40%～97%のサンプルで失敗することを示す。
論文 参考訳（メタデータ） (2026-09-01T08:01:57Z) - From Accuracy to Visual Dependence: Auditing and Filtering Modality Collapse in Traffic VideoQA [44.46419663487345]
高いベンチマーク精度は、真の視覚的証拠の使用を保証するものではない。
交通事故のビデオ質問応答(VideoQA)におけるこの問題について検討する。
テキストのみの信頼度と視覚的必要信号を組み合わせたインスタンスレベルのショートカットスコアを提案する。
論文 参考訳（メタデータ） (2026-06-29T12:33:15Z) - Moment-Video: Diagnosing Temporal Fidelity of Video MLLMs on Momentary Visual Events [52.031070006859544]
ビデオマルチモーダル大言語モデル(MLLM)は、一般的なビデオ理解と長大なビデオ理解を急速に進歩させてきたが、短い回答クリティカルな視覚的証拠を保存できる能力はいまだに未発見のままである。
本稿では,映像MLLMの時間的忠実度を時間的視覚的事象理解によって診断するためのベンチマークであるMoment-Videoを紹介する。
論文 参考訳（メタデータ） (2026-06-01T17:32:20Z) - COPRA: Conditional Parameter Adaptation with Reinforcement Learning for Video Anomaly Detection [10.332480827185973]
映像異常検出(VAD)における視覚言語モデル(VLM)の性能は高い。
既存のVLMベースのVAD手法は、トレーニングと推論の根本的なミスマッチに悩まされる。
VLMベースのVADのための条件パラメータ適応フレームワークCOPRAを提案する。
論文 参考訳（メタデータ） (2026-05-14T18:39:40Z) - How Far Can VLMs Go for Visual Bug Detection? Studying 19,738 Keyframes from 41 Hours of Gameplay Videos [41.46982669196867]
長めのゲームプレイのためのビデオベースの品質保証(QA)は、労働集約的でエラーを起こしやすい。
近年のベンチマークでは、視覚言語モデル(VLM)は、キュレートされたデータセットの視覚的グリッチの検出において、有望な結果が得られることが示唆されている。
論文 参考訳（メタデータ） (2026-03-24T01:59:06Z) - TemporalBench: Benchmarking Fine-grained Temporal Understanding for Multimodal Video Models [75.42002690128486]
TemporalBenchは、ビデオの微細な時間的理解を評価するための新しいベンチマークだ。
ビデオクリップの時間的ダイナミクスを詳述した2Kの高品質な人間のアノテーションから派生した10KのビデオQ&Aペアで構成されている。
GPT-4oのような最先端のモデルは、TemporalBench上で38.5%の質問応答精度しか達成していない。
論文 参考訳（メタデータ） (2024-10-14T17:59:58Z) - Perception Test: A Diagnostic Benchmark for Multimodal Video Models [78.64546291816117]
本稿では,事前学習したマルチモーダルモデルの知覚と推論能力を評価するために,新しいマルチモーダルビデオベンチマークを提案する。
知覚テストは、スキル(記憶、抽象化、物理学、セマンティックス)と、ビデオ、オーディオ、テキストモダリティ間の推論(記述的、説明的、予測的、反ファクト的)のタイプに焦点を当てている。
このベンチマークは、ゼロショット/少数ショットまたは限定的な微調整方式で、転送機能の事前訓練されたモデルを探索する。
論文 参考訳（メタデータ） (2023-05-23T07:54:37Z) - Making Video Quality Assessment Models Sensitive to Frame Rate
Distortions [63.749184706461826]
映像品質評価(VQA)の一環として,フレームレートの変化に伴う歪みを捉えることの問題点を考察する。
本稿では,GREEDの時間的特徴を既存のVQAモデルと組み合わせた単純な融合フレームワークを提案する。
この結果から,効率的な時間表現を用いることで,より堅牢で正確なVQAモデルが得られることが示唆された。
論文 参考訳（メタデータ） (2022-05-21T04:13:57Z) - Deconfounded Video Moment Retrieval with Causal Intervention [80.90604360072831]
本研究は,ビデオ中の特定のモーメントをテキストクエリに従ってローカライズすることを目的とした,ビデオモーメント検索(VMR)の課題に取り組む。
既存の手法は主に複雑な相互モーダル相互作用によるクエリとモーメントのマッチング関係をモデル化する。
本稿では,クエリとビデオコンテンツが予測に与える影響を捉えるために,構造因果モデルを構築する因果性に着想を得たVMRフレームワークを提案する。
論文 参考訳（メタデータ） (2021-06-03T01:33:26Z) - ST-GREED: Space-Time Generalized Entropic Differences for Frame Rate
Dependent Video Quality Prediction [63.749184706461826]
本研究では, フレームレートが知覚品質に与える影響と, フレームレートと圧縮が, 知覚品質に与える影響について検討した。
本研究では,空間的および時間的帯域通過映像係数の統計を解析する空間時間生成エントロピー差(GREED)と呼ばれる客観的VQAモデルを提案する。
GREEDは、既存のVQAモデルと比較した場合、LIVE-YT-HFRデータベース上で最先端のパフォーマンスを達成する。
論文 参考訳（メタデータ） (2020-10-26T16:54:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。