論文の概要: VIGOR: Visual Gain Ordering for Hallucination Mitigation in Multimodal Discrete Diffusion Language Models

• arxiv url: http://arxiv.org/abs/2611.05066v1
• Date: Tue, 03 Nov 2026 15:28:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-07 14:41:40.342989
• Title: VIGOR: Visual Gain Ordering for Hallucination Mitigation in Multimodal Discrete Diffusion Language Models
• Title（参考訳）: VIGOR:多モード離散拡散言語モデルにおける幻覚緩和のための視覚利得順序付け
• Abstract要約: 多モード離散拡散言語モデル (dLLMs) は反復マスク予測により応答を生成する。 彼らはまだ幻覚に悩まされており、言語に先立ってはあり得ないが、画像には不十分なアウトプットを生み出している。 視覚的ゲイン順序付け(VIGOR, Visual Gain Ordering, VIGOR)を提案する。
• 参考スコア（独自算出の注目度）: 16.45026612901502
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multimodal discrete diffusion language models (dLLMs) generate responses through iterative mask prediction and offer a promising alternative to autoregressive large vision-language models. However, they still suffer from hallucination, producing outputs that are plausible under language priors but insufficiently grounded in the image. We argue that hallucination in multimodal dLLMs is not only a token prediction problem, but also a premature commitment problem: during iterative denoising, some masked positions are unmasked too early because their confidence is driven more by language priors than by visual evidence, and these early commitments can bias later generation. To address this issue, we propose Visual Gain Ordering (VIGOR), a training-free and plug-and-play inference strategy that reorders masked positions according to counterfactual visual evidence. At each denoising step, VIGOR compares the confidence of each candidate token under the original image-conditioned pass and an additional visual-ablation pass, and prioritizes positions whose predictions are more strongly supported by the image. Experiments on LLaDA-V and Lumina-DiMOO show that VIGOR consistently reduces hallucination and improves multimodal reasoning performance across benchmarks. Code is available at https://github.com/THU-BPM/Vigor.
• Abstract（参考訳）: マルチモーダル離散拡散言語モデル(dLLM)は、反復マスク予測を通じて応答を生成し、自己回帰的な大規模視覚言語モデルに代わる有望な代替手段を提供する。 しかし、彼らはまだ幻覚に悩まされており、言語に先立ってはあり得ないが、画像には不十分なアウトプットを生み出している。 我々は,マルチモーダルdLLMの幻覚はトークン予測の問題であるだけでなく,早期のコミットメントの問題でもあると主張している。 この問題に対処するために,視覚的ゲイン順序付け(VIGOR)を提案する。 各認知ステップにおいて、VIGORは、元の画像条件パスと追加のビジュアルアブレーションパスの下の各候補トークンの信頼度を比較し、画像によりより強く支持された位置を優先する。 LLaDA-V と Lumina-DiMOO の実験は、VIGOR が常に幻覚を減らし、ベンチマーク間のマルチモーダル推論性能を改善することを示した。 コードはhttps://github.com/THU-BPM/Vigor.comで入手できる。

関連論文リスト

• What Do Hallucinations Reveal About Multimodal Reasoning? Diagnosing Visual Grounding Failures via Contrastive Decoding Probes [1.9916820095972823]
  視覚と視覚に適応した生成経路を対比した,学習不要な復号化フレームワークSAFEを紹介する。 この信号は二重の役割を担い、視覚的にアングラウンドされたトークンを検出するための実用的なプロキシとして、また復号時罰の基礎として機能する。 対照的なプローブを設計することは、科学的理解のための道具としてモデルを使用することという、より広範なミッションを実証するものだ、と我々は主張する。
  論文  参考訳（メタデータ） (2026-09-15T05:07:01Z)
• FADE: Mitigating Hallucinations by Reducing Language-Prior Dominance in Large Vision-Language Models [48.51649944704363]
  各トランス層を流れる情報の流れを調べた結果,注目モジュールが常に視覚的証拠を蓄積していることが判明した。 FADE(FFN Attenuation for Decoding)は、FFN出力を減衰させ、言語優先の優位性を低下させる訓練不要な手法である。
  論文  参考訳（メタデータ） (2026-06-28T14:48:08Z)
• Prefill-Time Intervention for Mitigating Hallucination in Large Vision-Language Models [14.32953618311784]
  Prefill-Time Intervention (PTI)は、プレフィル期間中に一度だけ介入する新しいステアリングパラダイムである。 PTIはモダリティを意識し、視覚的およびテキスト的表現の異なる方向を導出する。
  論文  参考訳（メタデータ） (2026-04-28T13:42:27Z)
• Decoding by Perturbation: Mitigating MLLM Hallucinations via Dynamic Textual Perturbation [36.57014987764294]
  Decode by Perturbation (DeP)は、事前誘発幻覚を緩和するトレーニング不要のフレームワークである。 動的プローブを用いて、多レベルテキストの摂動を潜在言語に応用する。 大規模な実験により、DePは幻覚を効果的に減らし、複数のベンチマークで優れたパフォーマンスを達成することが確認された。
  論文  参考訳（メタデータ） (2026-04-14T08:15:44Z)
• PerturboLLaVA: Reducing Multimodal Hallucinations with Perturbative Visual Training [56.172959986096316]
  本稿では,マルチモーダル大規模言語モデル(MLLM)における幻覚の課題を解決することを目的とする。 HalFscoreは言語グラフ上に構築された新しい計量であり、密度の高いキャプションの精度と完全性の両方を粒度レベルで評価するように設計されている。 PerturboLLaVAは、生成されたキャプションの忠実度を著しく改善し、マルチモーダル幻覚に対する既存のアプローチよりも優れている。
  論文  参考訳（メタデータ） (2025-03-09T07:07:03Z)
• Looking Beyond Text: Reducing Language bias in Large Vision-Language Models via Multimodal Dual-Attention and Soft-Image Guidance [67.26434607115392]
  大規模視覚言語モデル(LVLM)は様々な視覚言語タスクにおいて印象的な成果を上げている。 LVLMは言語バイアスによる幻覚に悩まされ、画像や非効果的な視覚的理解に焦点が当てられなくなった。 MDA (Multimodal duAl-attention meChanIsm) aNd soft-image Guidance (IFG) を用いたLVLMの言語バイアスに対処するためのLACingを提案する。
  論文  参考訳（メタデータ） (2024-11-21T16:33:30Z)
• Thinking Before Looking: Improving Multimodal LLM Reasoning via Mitigating Visual Hallucination [13.706325901731665]
  MLLM(Multimodal large language model)は、視覚的・言語的モダリティの統合を推進している。 思考の連鎖(CoT)推論のような現在のアプローチは、大規模言語モデル(LLM)の認知能力を増強している。 しかし、MLLMへの適応は、相互モダリティ理解における幻覚のリスクの増大によって妨げられている。
  論文  参考訳（メタデータ） (2024-11-15T21:01:37Z)
• Mitigating Hallucinations in Large Vision-Language Models via Summary-Guided Decoding [14.701135083174918]
  LVLM(Large Vision-Language Models)は、視覚入力から詳細でコヒーレントな応答を生成する。 言語に対する依存度が高すぎるため、幻覚を起こす傾向にある。 そこで我々は,SumGD (Slide-Guided Decoding) という新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-10-17T08:24:27Z)
• Multi-Modal Hallucination Control by Visual Information Grounding [121.6983694815504]
  本稿では,VLM(Generative Vision-Language Models)が,入力画像に常に接するとは限らない,可聴性のあるテキスト応答を生成する傾向があることを示す。 即時増幅のための新しいサンプリング手法であるM3ID(Multi-Modal Mutual-Information Decoding)を導入する。 M3IDは、言語に対する参照画像の影響を増幅し、視覚的プロンプトと高い相互情報を持つトークンの生成を優先する。
  論文  参考訳（メタデータ） (2024-03-20T22:05:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。