論文の概要: Catching Hallucinated Citations in Video-LLM Question Answering: A Self-Verification Pipeline and Verifier Ablation Study
- arxiv url: http://arxiv.org/abs/2608.15574v1
- Date: Sun, 16 Aug 2026 06:42:11 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-18 19:59:03.342062
- Title: Catching Hallucinated Citations in Video-LLM Question Answering: A Self-Verification Pipeline and Verifier Ablation Study
- Title(参考訳): ビデオLLM質問応答におけるHalucated Citation: 自己検証パイプラインと検証器アブレーションによる検討
- Abstract要約: ビデオ質問応答システムは、引用フレームがサポートしていない場合でも、高信頼のタイムスタンプ付きクレームを生成することが多い。
この偽りの幻覚は、タイムスタンプが正確さを保証せず、ユーザーの信頼を増すが正確さを示さないために生じる。
検索拡張言語モデルドラフトは、評価タイムスタンプ毎の引用で回答し、各引用フレームは、ユーザに表示される前に独立して再検査される。
- 参考スコア(独自算出の注目度): 2.648500779572419
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Video question answering systems built on vision-language models often produce timestamped claims with high confidence even when unsupported by the cited frame. This deceptive hallucination arises because timestamps imply grounding without ensuring correctness, increasing user trust but not accuracy. We introduce a pipeline that closes this loop. A retrieval-augmented language model drafts answers with per-claim timestamp citations, and each cited frame is independently re-examined before being shown to the user. We compare against a plain baseline and ablate three verification designs, evaluated on both Apple Silicon (MLX) and Google Colab (HF Transformers, CUDA). Directly asking the vision model whether a frame supports a claim fails completely (0% catch rate on 40 claims) due to sycophancy. Blind re-captioning plus a general LLM judge improves results but is unstable, oscillating between 0% and 100% flagged depending on prompt phrasing. Replacing that judge with a small natural language inference model yields a stable, interpretable verifier that catches 79% of fabricated claims on adversarial false-premise questions while leaving true claims untouched. We release the full pipeline, evaluation harness, and implementations for both Apple Silicon and Colab. Code is available at https://github.com/yogesh-iitj/grounded-video-qa.
- Abstract(参考訳): ヴィジュアル言語モデル上に構築されたビデオ質問応答システムは、引用フレームがサポートしていない場合でも、高信頼のタイムスタンプ付きクレームを生成することが多い。
この偽りの幻覚は、タイムスタンプが正確さを保証せず、ユーザーの信頼を増すが正確さを示さないために生じる。
このループを閉じるパイプラインを導入します。
検索拡張言語モデルドラフトは、評価タイムスタンプ毎の引用で回答し、各引用フレームは、ユーザに表示される前に独立して再検査される。
Apple Silicon (MLX) と Google Colab (HF Transformers, CUDA) で評価された3つの検証設計を比較した。
フレームがクレームをサポートするかどうかを視覚モデルに直接問うと、梅毒によって完全に(40クレームで0%のキャッチレート)失敗する。
ブラインド再カプセル化と一般LLM判定器は結果を改善するが不安定であり、即発のフレーズによって0%から100%のフラグが発する。
小さい自然言語推論モデルで判断すると、安定して解釈可能な検証器が生成され、真理の主張をそのまま残しながら、敵の虚偽の前提問題に対する偽の主張の79%を捕捉する。
Apple SiliconとColabの完全なパイプライン、評価ハーネス、実装をリリースしています。
コードはhttps://github.com/yogesh-iitj/grounded-video-qa.comで公開されている。
関連論文リスト
- Omni-Streaming Thinking [57.37011317711198]
オームニモーダルモデルのストリーミングは、これまで観察されたビデオチャンクと同期オーディオから何といつ答えるかを決定する必要がある。
我々は,これまでに観察された証拠,今後の証拠の予測,及びこの証拠に基づく主張を含む構造化された出力を生成するOmni-Streaming Thinking (OST)を提案する。
論文 参考訳(メタデータ) (2026-09-14T07:05:04Z) - Measuring LLM Sycophancy under Sustained Multi-Turn Pressure [16.810854941543926]
大規模言語モデル(LLM)は、ユーザーが押し戻すと正しい位置を放棄し、梅毒と呼ばれる障害モードを示す。
本研究では,LLMプロキシが永続的だが誤動作するベンチマークであるSPINEを導入し,最大25ターンの目標モデルに適応的に挑戦する。
論文 参考訳(メタデータ) (2026-09-08T17:35:04Z) - Caved or Convinced: Temporal Sampling Gates Claim Deference in Video Large Language Models [19.81998459094009]
2つのイベントのうちどれが最初に来たかを尋ねると、ビデオモデルは2つの方法で失敗する可能性があることを示す。
事前の作業は、最初にのみ測定し、モデルの信頼性を低下させることによって緩和する。
そこで本研究では,サンプルフレームを前向きに,逆向きに評価し,クレームを読まずに解答,再サンプリング,あるいは棄却することで,モデルの順序をキャンセルするリバーサルテストを提案する。
論文 参考訳(メタデータ) (2026-08-04T05:47:44Z) - Zero Hallucination, by Construction: Hallucination-Aware Layered Oversight for Trustworthy Enterprise AI [39.17006317116773]
我々は、「ゼロ幻覚」はモデルが持つ性質ではなく、システムが強制する性質であると主張する。
本稿では,幻覚を最小限の障害モードではなく,持続可能な障害モードとして扱う保証アーキテクチャであるHALOを提案する。
論文 参考訳(メタデータ) (2026-07-20T12:34:44Z) - VisualFLIP: Do Predictions Depend on Task-Critical Visual Evidence in Multimodal Reasoning? [79.44137632338062]
マルチモーダルな大規模言語モデルが視覚的推論問題に正しく答える場合、その予測はタスククリティカルな視覚的証拠によって実際に支持されているか?
VisualFLIPは1,374枚の画像が基数,属性,空間,論理的タスクにまたがって同一の問合せペアとして配置されたベンチマークである。
ペアの両面を解く必要がある24個のMLLMと、少なくとも一方の面を解くモデルが両方の画像に対して同じ空でない答えを繰り返す頻度を測定するCR(Collapse Rate)を評価した。
論文 参考訳(メタデータ) (2026-06-05T22:06:07Z) - Senses Wide Shut: A Representation-Action Gap in Omnimodal LLMs [41.451167369762544]
Representation-Action Gap: 隠された状態が前提認識ミスマッチを確実にエンコードする。
振る舞い的には、モデルはアンダーリジェクションとオーバーリジェクションの2つの障害モードに分類される。
初期診断介入として、プローブ誘導ロジット調整は、符号化されたミスマッチ信号を再注入して復号する。
論文 参考訳(メタデータ) (2026-05-13T16:14:44Z) - Spatiotemporal Sycophancy: Negation-Based Gaslighting in Video Large Language Models [54.76242207842981]
我々は,Vid-LLMが正解し,否定に基づくガス灯下での判断を視覚的に下す失敗モードであるビデオサイファーシーを同定した。
モデルは単に答えを変更するのではなく、しばしば不正確な修正を正当化するために時間的または空間的な説明を作る。
GasVideo-1000は,視覚的根拠と時間的推論の要求を明確化して,ビデオの時間的サイコフィケーシーを探索するためのベンチマークである。
論文 参考訳(メタデータ) (2026-04-20T06:35:26Z) - AssertBench: A Benchmark for Evaluating Self-Assertion in Large Language Models [12.515874333424929]
AssertBench氏は、事実的に真のステートメントの方向性のフレーミングがモデル合意にどのように影響するかを論じている。
私たちは2つのフレーミングプロンプトを構築します。1つは、ユーザがそのステートメントが事実正しいと主張するもので、もう1つは、ユーザがそのステートメントが正しくないと主張するものです。
次に、モデルの合意と推論を記録します。
論文 参考訳(メタデータ) (2025-06-08T14:08:22Z) - Pelican: Correcting Hallucination in Vision-LLMs via Claim Decomposition and Program of Thought Verification [13.081342795985003]
Pelicanは、クレーム検証を通じて幻覚を検出し緩和するために設計されたフレームワークである。
実験の結果,MMHal-Benchの幻覚緩和法と比較して,幻覚率8%~32%低下し,27%低下した。
論文 参考訳(メタデータ) (2024-07-02T15:17:44Z) - Mitigating LLM Hallucinations via Conformal Abstention [70.83870602967625]
我々は,大言語モデルが一般ドメインでの応答をいつ無視すべきかを決定するための,原則化された手順を開発する。
我々は、幻覚率(エラー率)の厳密な理論的保証の恩恵を受けるため、共形予測手法を活用して、禁忌手順を開発する。
実験によって得られた共形禁忌法は, 種々の閉書, オープンドメイン生成質問応答データセットに, 幻覚率を確実に拘束する。
論文 参考訳(メタデータ) (2024-04-04T11:32:03Z) - FactCHD: Benchmarking Fact-Conflicting Hallucination Detection [64.4610684475899]
FactCHD は LLM からファクトコンフリクトの幻覚を検出するために設計されたベンチマークである。
FactCHDは、バニラ、マルチホップ、比較、セット操作など、さまざまな事実パターンにまたがる多様なデータセットを備えている。
Llama2 に基づくツール強化 ChatGPT と LoRA-tuning による反射的考察を合成する Truth-Triangulator を提案する。
論文 参考訳(メタデータ) (2023-10-18T16:27:49Z) - Realistic Conversational Question Answering with Answer Selection based
on Calibrated Confidence and Uncertainty Measurement [54.55643652781891]
対話型質問回答モデル(ConvQA)は,会話中に複数回発生した質問文と過去の質問文のペアを用いて質問に回答することを目的としている。
本稿では,会話履歴における不正確な回答を,ConvQAモデルから推定された信頼度と不確実性に基づいてフィルタリングすることを提案する。
我々は2つの標準ConvQAデータセット上で、回答選択に基づくリアルな会話質問回答モデルの有効性を検証する。
論文 参考訳(メタデータ) (2023-02-10T09:42:07Z) - AmbiFC: Fact-Checking Ambiguous Claims with Evidence [57.7091560922174]
実世界の情報ニーズから10kクレームを抽出したファクトチェックデータセットであるAmbiFCを提示する。
アンビFCの証拠に対する主張を比較する際に,曖昧さから生じる不一致を分析した。
我々は,このあいまいさをソフトラベルで予測するモデルを開発した。
論文 参考訳(メタデータ) (2021-04-01T17:40:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。