論文の概要: Before the Token Commits: Trajectory-Level Benchmarking of Visual Hallucinations in Diffusion VLMs

• arxiv url: http://arxiv.org/abs/2609.34772v1
• Date: Mon, 28 Sep 2026 09:50:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-03 02:59:18.221435
• Title: Before the Token Commits: Trajectory-Level Benchmarking of Visual Hallucinations in Diffusion VLMs
• Title（参考訳）: トケンコミット前:拡散VLMにおける視覚幻覚の軌道レベルベンチマーク
• Abstract要約: マルチモーダル拡散言語モデルは反復的にトークンを解き放つことで応答を生成する。 幻覚ベンチマークは最終的な出力のみを評価する。 アノテーションをベースとしたバイナリビジュアル命題のトラジェクトリレベルのベンチマークであるDynaHallを紹介する。
• 参考スコア（独自算出の注目度）: 19.08038959353131
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multimodal diffusion language models generate responses by iteratively unmasking tokens, making each answer the endpoint of a multi-step trajectory rather than an immediate commitment. Hallucination benchmarks built for autoregressive models evaluate only the final output, and therefore cannot determine whether an unsupported claim in diffusion VLMs appears late or has already stabilized before any answer token is revealed. We introduce DynaHall, a trajectory-level benchmark of annotation-backed binary visual propositions covering object existence, counting, attributes, and relations, with controlled hard negatives graded by visual prior. DynaHall is paired with a commitment-aware protocol that records the intermediate answer tendency at every unmasking step alongside the committed output. Across five diffusion VLMs from three architecture families, visual hallucination is settled before commitment: an unsupported answer is already the preferred state while the answer position is still masked, and later unmasking steps rarely reverse it, so the failure is not introduced at the write step. This holds across decoding schedules, answer formats, and open-ended generation. DynaHall also exposes failures hidden by final-output metrics, including counting and relation collapse, prior-driven false positives, and attribute errors whose direction changes by type. Guided by this diagnosis, PGS (Pre-commitment Gradient Steering) edits still-masked answer states to reduce false positives, bringing the affirmation rate close to balance, and transfers to another architecture without degrading general ability. DynaHall and PGS suggest that hallucination should be measured and mitigated along the generation trajectory of diffusion VLMs, not only at the final answer.
• Abstract（参考訳）: マルチモーダル拡散言語モデルは、反復的にトークンを解き放つことで応答を生成し、各応答は即時コミットメントではなく、多段階軌道の終点となる。 自己回帰モデルのために構築された幻覚ベンチマークは、最終的な出力のみを評価するため、拡散VLMの保証されたクレームが遅すぎるか、解答トークンが明らかにされる前に既に安定化されているかを決定することはできない。 我々は、オブジェクトの存在、カウント、属性、関係を対象とする、アノテーションをベースとした2値視覚命題のトラジェクトリレベルのベンチマークであるDynaHallを紹介した。 DynaHallはコミット対応のプロトコルと組み合わせられ、コミットされたアウトプットと並行して、不正なステップ毎に中間的な回答傾向を記録する。 3つのアーキテクチャファミリからの5つの拡散VLMに対して、視覚的な幻覚はコミットメントの前に解決される: サポートなしの回答はすでに望ましい状態であり、解答位置は依然としてマスクされている。 これは、デコードスケジュール、応答フォーマット、オープンな生成にまたがる。 DynaHallはまた、カウントとリレーションの崩壊、事前駆動の偽陽性、型によって方向が変わる属性エラーなど、ファイナルアウトプットメトリクスによって隠された障害を公開する。 この診断によって、PSG (Pre-commitment Gradient Steering) は、偽陽性を減らすために、未解決の回答状態を編集し、肯定率をバランスに近づけ、一般的な能力を低下させることなく他のアーキテクチャに転送する。 DynaHall と PGS は、幻覚は最終回答だけでなく拡散 VLM の生成軌道に沿って測定・緩和されるべきであると示唆した。

関連論文リスト

• FLIP: Final Layer Inference-Time Probing for Vision-Language Models [0.0]
  FLIPは、ロジット対応の介入サイトが構造化されたタスクリンク型計算をサポートするかどうかをテストするための最終層推論時プローブである。 介入効果の解釈を導出するための4基準プローブ・アンド・スイーププロトコルを定式化する。
  論文  参考訳（メタデータ） (2026-09-25T08:38:54Z)
• UniProbe: A Learnable Token-Level Hallucination Detector for Large VLMs using Multi-Structural Internal Representations [61.85916280854257]
  LVLM(Large Vision-Language Models)は印象的な視覚的推論と対話機能を実現するが、視覚入力によるコンテンツサポートを幻覚させることが多い。 textbfUniProbeは軽量で統一された学習可能な検出器で、凍ったLVLMの不均一な計算トレースを1つの前方パスからモデル化する。
  論文  参考訳（メタデータ） (2026-08-11T12:01:59Z)
• Look Clearly Before Answering: Mitigating Hallucinations in LVLMs via Saliency-Driven Perceptual Realignment [45.92240827409312]
  Saliency-Driven Perceptual Realignment (SDPR) は、推論全体を通して視覚的認知の低下を緩和するトレーニング不要のフレームワークである。 提案するSDPRは,全発生経路における視覚的認知の全体的アライメントのため,幻覚に対して頑健である。
  論文  参考訳（メタデータ） (2026-07-18T14:39:16Z)
• Self-Augmenting Retrieval for Diffusion Language Models [22.049744034827242]
  捨てられたトークンは、実際に検索拡張生成に有用なルックアヘッド信号であることを示す。 我々はこれを拡散言語モデル(SARDI)の自己拡張検索によって活用する。 SARDIはトレーニングフリーで、レトリバーに依存しず、任意の推論可能な離散拡散言語モデルに適用できる。
  論文  参考訳（メタデータ） (2026-06-04T17:56:27Z)
• MM-Snowball: Evaluating and Mitigating Hallucination Snowballing in Multimodal Multi-Turn Dialogue [98.58433916474472]
  MM-Snowballは,対話内における幻覚雪球の診断のための最初のベンチマークである。 本稿では,この劣化に対処するために,コンフリクト・アウェア・ビジュアル・リクティフィケーション(CAVR)を提案する。
  論文  参考訳（メタデータ） (2026-05-30T08:53:34Z)
• Hallucination Begins Where Saliency Drops [18.189047289404325]
  幻覚は、前の出力トークンが次のトークンの予測に対して低い正当性を示すときにしばしば起こる。 LVLMs-Saliencyは,各出力トークンの視覚的グラウンドリング強度を定量化する,勾配認識型診断フレームワークである。 本手法は, 流速とタスク性能を保ちながら幻覚率を大幅に低減し, 堅牢かつ解釈可能なソリューションを提供する。
  論文  参考訳（メタデータ） (2026-01-28T05:50:52Z)
• Diffusion Language Models Know the Answer Before Decoding [56.96815863705218]
  拡散言語モデル (DLM) は自己回帰的アプローチの代替として登場した。 我々の研究は、DLMの早期回答収束の見過ごされた特性を強調し、活用する。 Prophetは、早期コミット復号を可能にするトレーニングフリーの高速復号化パラダイムである。
  論文  参考訳（メタデータ） (2025-08-27T15:40:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。