論文の概要: Can We Trust Video Hallucination Detectors? VidHalLoc for Evaluating the Evaluators
- arxiv url: http://arxiv.org/abs/2609.09895v1
- Date: Wed, 09 Sep 2026 08:52:23 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-10 19:44:08.957579
- Title: Can We Trust Video Hallucination Detectors? VidHalLoc for Evaluating the Evaluators
- Title（参考訳）: ビデオ幻覚検出器を信頼できるか : 評価器評価のためのVidHalLoc
- Abstract要約: 本稿では,統合診断評価プロトコルの下で幻覚検出手法を評価するベンチマークであるVidHalを紹介する。
我々は,オントロジー動的タスクにまたがるビデオ質問応答とビデオキャプションのカテゴリで,2000の対向幻覚サンプルを使用する。
4つの専用検出器は総じて34.63%の精度でピークに達し、ビデオ幻覚の種類によって信頼性が制限された。
- 参考スコア（独自算出の注目度）: 8.85375978943261
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Video-language models and video agents can produce hallucinations that conflict with spatiotemporal evidence. Existing benchmarks mainly evaluate model hallucinations, and heterogeneous mechanisms make detector reliability difficult to compare. We introduce VidHalLoc, a benchmark that evaluates hallucination detection methods under a unified diagnostic evaluation protocol using 2,000 adversarial hallucination samples across Video Question Answering and Video Captioning tasks, spanning Ontology and Dynamic hallucination categories. To construct VidHalLoc efficiently, we introduce VideoHALO, a Harness Engineering-informed multi-agent workflow that decomposes data construction into four executable stages supported by a memory system and a communication protocol. Evaluation of fifteen methods reveals that the four dedicated detectors peak at an Overall accuracy of only 34.63%, indicating limited reliability across video hallucination types [Dataset Repository: https://huggingface.co/datasets/wesfggfd/VidHalLoc].
- Abstract（参考訳）: ビデオ言語モデルとビデオエージェントは、時空間的証拠と矛盾する幻覚を生み出すことができる。
既存のベンチマークでは、主にモデル幻覚を評価し、異種機構は検出器の信頼性を比較するのを困難にしている。
VidHalLocは,ビデオ質問応答とビデオキャプションタスクにまたがる2000の対向幻覚サンプルを用いて,統一診断評価プロトコルの下で幻覚検出手法を評価するベンチマークである。
VidHalLocを効率的に構築するために、メモリシステムと通信プロトコルによってサポートされている4つの実行可能なステージにデータ構築を分解する、Harness EngineeringによるマルチエージェントワークフローであるVideoHALOを紹介する。
15の手法の評価により、4つの専用検出器は34.63%の精度でピークに達し、ビデオ幻覚のタイプ(データセットリポジトリ: https://huggingface.co/datasets/wesfggfd/VidHalLoc]の信頼性に限界があることが示された。
関連論文リスト
- MotionHalluc: Diagnosing Kinematic Hallucinations in Fine-Grained Motion Reasoning [4.895176146260259]
我々は、ペアビデオ比較において、運動幻覚を評価するためのベンチマークであるMotionHallucを紹介する。
MotionHallucは553の動画対に対して1540のきめ細かい質問からなり、(1)幻覚、(2)帰属幻覚、(3)時間幻覚の3つの中核次元に沿った幻覚を評価する。
以上の結果から, 映像間比較における幻覚の低減には, 明瞭な定量測定による動作推論が重要な要因であることが示唆された。
論文 参考訳（メタデータ） (2026-06-22T09:13:19Z) - Exploring Audio Hallucination in Egocentric Video Understanding [66.1760617001607]
最先端の大規模音声視覚言語モデル(AV-LLM)はマルチモーダルな記述を生成することができる。
本研究では、視覚的手がかりから音を推測するが、聴くことができない。
論文 参考訳（メタデータ） (2026-04-26T20:06:58Z) - Distorted or Fabricated? A Survey on Hallucination in Video LLMs [47.26218191727747]
本稿では,ビデオ大言語モデル(Vid-LLM)における幻覚の包括的分析について述べる。
幻覚を動的歪みと内容形成の2つの中核タイプに分類する系統分類を導入している。
動的歪みとコンテンツ形成の根本原因を解析し,時間的表現能力の限界から生じることが多い。
論文 参考訳（メタデータ） (2026-04-14T16:37:57Z) - INFACT: A Diagnostic Benchmark for Induced Faithfulness and Factuality Hallucinations in Video-LLMs [69.11382230669491]
ビデオ証拠(忠実さ)または検証可能な世界知識(事実性)のどちらかに矛盾する結果である幻覚
textscINFACTは、4つのモードでモデルを評価する。
14の代表的なビデオ-LLMの実験では、高ベースモード精度が誘導モードの信頼性に確実に変換されないことが明らかになった。
論文 参考訳（メタデータ） (2026-03-12T03:03:16Z) - Learning to Decode Against Compositional Hallucination in Video Multimodal Large Language Models [44.84227796501077]
ビデオマルチモーダル大言語モデル(VLLM)における孤立幻覚と構成幻覚の両方を評価するためのベンチマークであるOmniVCHallを紹介する。
3方向キャリブレーション機構を備えたコントラストデコーディングフレームワークであるTriCDを提案する。
実験の結果,TriCDは2つの代表的なバックボーンで連続的に性能を向上し,平均精度が10%以上向上した。
論文 参考訳（メタデータ） (2026-01-31T06:50:43Z) - Dr.V: A Hierarchical Perception-Temporal-Cognition Framework to Diagnose Video Hallucination by Fine-grained Spatial-Temporal Grounding [103.74753205276336]
本稿では,映像幻覚の診断における知覚的,時間的,認知的レベルをカバーする階層的枠組みであるDr.Vを提案する。
Dr.Vは、ベンチマークデータセットDr.V-Benchと衛星ビデオエージェントDr.V-Agentの2つの重要なコンポーネントで構成されている。
Dr.V-Agentは、知覚的、時間的レベルできめ細かな空間的時間的接地を施し、次いで認知的レベルの推論によって幻覚を検出する。
論文 参考訳（メタデータ） (2025-09-15T12:39:19Z) - Generate, but Verify: Reducing Hallucination in Vision-Language Models with Retrospective Resampling [78.78822033285938]
VLM(Vision-Language Models)は視覚的理解に優れ、視覚幻覚に悩まされることが多い。
本研究では,幻覚を意識したトレーニングとオンザフライの自己検証を統合した統合フレームワークREVERSEを紹介する。
論文 参考訳（メタデータ） (2025-04-17T17:59:22Z) - VideoHallucer: Evaluating Intrinsic and Extrinsic Hallucinations in Large Video-Language Models [59.05674402770661]
本稿では,大規模ビデオ言語モデル(LVLM)における幻覚検出のための最初の総合的ベンチマークであるVideoHallucerを紹介する。
VideoHallucerは幻覚を2つの主なタイプに分類する。
論文 参考訳（メタデータ） (2024-06-24T06:21:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。