論文の概要: Beneath the Scores: Rethinking Hallucination Evaluation for Video Understanding Models

• arxiv url: http://arxiv.org/abs/2609.28991v1
• Date: Thu, 24 Sep 2026 04:02:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-25 21:10:09.703966
• Title: Beneath the Scores: Rethinking Hallucination Evaluation for Video Understanding Models
• Title（参考訳）: ビデオ理解モデルにおける幻覚評価の再考
• Abstract要約: ビデオ理解は、時間的接地、視覚的観察、推論を分離する多段階LLMエージェントによってますます行われる。 これらの段階で既存のベンチマークを整理し、それらのスコアが一貫性のない診断信号を提供することを示す。 本稿では、下流タスクを固定しながら個々のステージを上書きする因果的ステージ干渉プロトコルを提案する。
• 参考スコア（独自算出の注目度）: 0.25489046505746704
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Video understanding is increasingly performed by multi-stage LLM agents that separate temporal grounding, visual observation, and reasoning. Yet these stages are typically evaluated on different benchmarks and distributions, making it difficult to determine where hallucinations originate. We first organize existing benchmarks around these stages and show that their scores provide inconsistent diagnostic signals: stronger stage-level performance does not reliably imply lower downstream hallucination, and even benchmarks targeting the same capability can disagree. We therefore introduce a causal stage-intervention protocol that overwrites individual stages while holding the downstream task fixed. Across 60,008 runs on three video-agent architectures, we find that grounding is the dominant source of downstream error, with roughly four times the causal impact of corrupting visual observations. Successful grounding depends primarily on locating the correct region rather than precise temporal overlap, explaining why standard mIoU metrics poorly predict downstream reliability. We further find that incorrect evidence is substantially more harmful than missing evidence. Finally, auditing existing benchmarks against these interventions reveals that their scores do not reliably predict causal cascade sensitivity and can fail under distribution shift. These results motivate intervention-based, stage-aware evaluation for trustworthy video agents.
• Abstract（参考訳）: ビデオ理解は、時間的接地、視覚的観察、推論を分離する多段階LLMエージェントによってますます行われる。 しかし、これらの段階は典型的には異なるベンチマークや分布で評価され、幻覚がどこから来たかを決定することは困難である。 より強力なステージレベルの性能は、確実に下流の幻覚を低下させませんし、同じ能力を目標とするベンチマークでさえも、相反する可能性があるのです。 そこで我々は、下流タスクを固定しながら個々のステージを上書きする因果的ステージ干渉プロトコルを導入する。 60,008回は3つのビデオエージェントアーキテクチャ上で動作し、グラウンド化が下流の誤差の主な原因であり、視覚的観察の因果的影響の約4倍であることがわかった。 グラウンディングの成功は主に、正確な時間的重複ではなく、適切な領域を特定することに依存し、標準のmIoUメトリクスが下流の信頼性を十分に予測できない理由を説明する。 さらに、誤った証拠は、欠落した証拠よりもかなり有害であることがわかった。 最後に、これらの介入に対して既存のベンチマークを監査すると、それらのスコアが因果カスケード感度を確実に予測せず、分布シフトの下で失敗する可能性があることが分かる。 これらの結果は、信頼できるビデオエージェントに対する介入に基づくステージアウェア評価を動機づける。

関連論文リスト

• What's the Catch? Evaluating Temporal Consistency in Vision-Language Models [0.11121828451787184]
  視覚言語モデル (VLM) はビデオや画像系列のベンチマークで高い性能を発揮するが、時間構造を捉えているかどうかは不明だ。 連続するフレームとフレームレベルの異常をガウス雑音に置き換えることで、時間的異常を発生させるTimeCatchを導入する。 評価の結果,フレームレベルと時間的異常検出との間にはかなりのギャップがあることが判明した。
  論文  参考訳（メタデータ） (2026-08-24T16:40:49Z)
• Spatiotemporal Sycophancy: Negation-Based Gaslighting in Video Large Language Models [54.76242207842981]
  我々は,Vid-LLMが正解し,否定に基づくガス灯下での判断を視覚的に下す失敗モードであるビデオサイファーシーを同定した。 モデルは単に答えを変更するのではなく、しばしば不正確な修正を正当化するために時間的または空間的な説明を作る。 GasVideo-1000は,視覚的根拠と時間的推論の要求を明確化して,ビデオの時間的サイコフィケーシーを探索するためのベンチマークである。
  論文  参考訳（メタデータ） (2026-04-20T06:35:26Z)
• Learning Uncertainty from Sequential Internal Dispersion in Large Language Models [52.29267172760918]
  不確実性推定は、大規模言語モデルにおける幻覚を検出するための有望なアプローチである。 最近の手法は一般に不確実性を推定するために内部状態のモデルに依存する。 本稿では,教師付き幻覚検出フレームワークであるシークエンシャル内部変数表現(SIVR)を提案する。
  論文  参考訳（メタデータ） (2026-04-17T06:31:29Z)
• STEAR: Layer-Aware Spatiotemporal Evidence Intervention for Hallucination Mitigation in Video Large Language Models [14.848157882117613]
  大型ビデオ言語モデル (Video-LLMs) は幻覚を起こす傾向があり、しばしば視覚的にサポートされない時間的関係や誤った時間的関係を生じる。 リスクの高いデコードステップを識別し,中間層からトークン条件の視覚的エビデンスを選択するSTEARを提案する。 実験により、STEARは時間的一貫性、忠実性、堅牢性を改善しながら、幻覚を一貫して減少させることが示された。
  論文  参考訳（メタデータ） (2026-04-03T13:52:57Z)
• VideoZeroBench: Probing the Limits of Video MLLMs with Spatio-Temporal Evidence Verification [73.02304272829785]
  VideoBenchは、証拠を厳格に検証する長ビデオ応答のための階層的なベンチマークだ。 これは、13のドメインに500の注釈付き質問を手動で記述し、時間間隔と空間境界ボックスを組み合わせて証拠とする。 GeminiPro-3-Proでさえ、標準のエンドツーエンドのQA設定で17%未満の質問に正しく答えている。 その結果,表面レベルでの回答の正しさと真正な証拠に基づく推論との間に大きなギャップが生じた。
  論文  参考訳（メタデータ） (2026-04-02T03:29:43Z)
• INFACT: A Diagnostic Benchmark for Induced Faithfulness and Factuality Hallucinations in Video-LLMs [69.11382230669491]
  ビデオ証拠(忠実さ)または検証可能な世界知識(事実性)のどちらかに矛盾する結果である幻覚 textscINFACTは、4つのモードでモデルを評価する。 14の代表的なビデオ-LLMの実験では、高ベースモード精度が誘導モードの信頼性に確実に変換されないことが明らかになった。
  論文  参考訳（メタデータ） (2026-03-12T03:03:16Z)
• Same Answer, Different Representations: Hidden instability in VLMs [65.36933543377346]
  本稿では,内部埋め込みドリフト,スペクトル感度,構造的滑らかさを計測する表現認識・周波数認識評価フレームワークを提案する。 このフレームワークを,SEEDBench,MMMU,POPEデータセットを対象とする最新のビジョン言語モデル(VLM)に適用する。
  論文  参考訳（メタデータ） (2026-02-06T12:24:26Z)
• NOAH: Benchmarking Narrative Prior driven Hallucination and Omission in Video Large Language Models [8.6767620170781]
  ビデオ大言語モデル(ビデオLLM)は、最近、キャプション、要約、質問応答といったタスクにおいて、強力なパフォーマンスを実現している。 多くのモデルやトレーニング手法は、物語の一貫性を高めるためにイベント間の連続性を明示的に奨励する。 我々は、このバイアスを、物語を先に呼ぶ2つの誤りの鍵となる要因として挙げる:幻覚(幻覚)、非存在事象、または既存の事象が誤って解釈される場合、そして、事実事象が周囲の状況と不一致しているため抑制される場合である。
  論文  参考訳（メタデータ） (2025-11-09T17:41:11Z)
• A Closer Look at Debiased Temporal Sentence Grounding in Videos: Dataset, Metric, and Approach [53.727460222955266]
  テンポラル・センテンス・グラウンディング・イン・ビデオ(TSGV)は、未編集のビデオに自然言語文を埋め込むことを目的としている。 最近の研究では、現在のベンチマークデータセットには明らかなモーメントアノテーションバイアスがあることが判明している。 偏りのあるデータセットによる膨らませ評価を緩和するため、基礎的リコールスコアを割引する新しい評価基準「dR@n,IoU@m」を導入する。
  論文  参考訳（メタデータ） (2022-03-10T08:58:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。