論文の概要: Fighting Hallucinations with Counterfactuals: Diffusion-Guided Perturbations for LVLM Hallucination Suppression

• arxiv url: http://arxiv.org/abs/2603.10470v1
• Date: Wed, 11 Mar 2026 06:40:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-12 16:22:32.812513
• Title: Fighting Hallucinations with Counterfactuals: Diffusion-Guided Perturbations for LVLM Hallucination Suppression
• Title（参考訳）: LVLM幻覚抑制のための拡散誘導摂動
• Authors: Hamidreza Dastmalchi, Aijun An, Ali Cheraghian, Hamed Barzamini,
• Abstract要約: そこで我々は,軽量な特徴レベルの補正によって視覚誘発幻覚を抑制する訓練不要なCIPHERを提案する。 CIPHERは、主にテキストによる幻覚に焦点を当てた以前のトレーニングなしのアプローチとは異なり、視覚的モダリティから生じる幻覚を明示的にターゲットとしている。 複数のベンチマーク実験により、CIPHERはタスク性能を維持しながら幻覚率を大幅に低下させることが示された。
• 参考スコア（独自算出の注目度）: 3.2584778174972295
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: While large vision-language models (LVLMs) achieve strong performance on multimodal tasks, they frequently generate hallucinations -- unfaithful outputs misaligned with the visual input. To address this issue, we introduce CIPHER (Counterfactual Image Perturbations for Hallucination Extraction and Removal), a training-free method that suppresses vision-induced hallucinations via lightweight feature-level correction. Unlike prior training-free approaches that primarily focus on text-induced hallucinations, CIPHER explicitly targets hallucinations arising from the visual modality. CIPHER operates in two phases. In the offline phase, we construct OHC-25K (Object-Hallucinated Counterfactuals, 25,000 samples), a counterfactual dataset consisting of diffusion-edited images that intentionally contradict the original ground-truth captions. We pair these edited images with the unchanged ground-truth captions and process them through an LVLM to extract hallucination-related representations. Contrasting these representations with those from authentic (image, caption) pairs reveals structured, systematic shifts spanning a low-rank subspace characterizing vision-induced hallucination. In the inference phase, CIPHER suppresses hallucinations by projecting intermediate hidden states away from this subspace. Experiments across multiple benchmarks show that CIPHER significantly reduces hallucination rates while preserving task performance, demonstrating the effectiveness of counterfactual visual perturbations for improving LVLM faithfulness. Code and additional materials are available at https://hamidreza-dastmalchi.github.io/cipher-cvpr2026/.
• Abstract（参考訳）: 大規模視覚言語モデル(LVLM)はマルチモーダルタスクにおいて高いパフォーマンスを達成するが、視覚入力と不一致な出力である幻覚を頻繁に生成する。 この問題に対処するために,軽量な特徴レベルの補正によって視覚誘発幻覚を抑制する訓練不要なCIPHER(Counterfactual Image Perturbations for Hallucination extract and removal)を提案する。 CIPHERは、主にテキストによる幻覚に焦点を当てた以前のトレーニングなしのアプローチとは異なり、視覚的モダリティから生じる幻覚を明示的にターゲットとしている。 CIPHERは2つのフェーズで動作する。 オフラインの段階では,OHC-25K (Object-Hallucinated Counterfactuals, 25,000 samples) という,原文の接頭辞に意図的に矛盾する拡散編集画像からなる対物データセットを構築した。 編集した画像と異なる接頭辞の字幕を組み合わせ、LVLMを通して処理して幻覚関連表現を抽出する。 これらの表現と、真正(イメージ、キャプション)のペアの表現とは対照的に、視覚誘発幻覚を特徴づける低ランクのサブスペースにまたがる、構造化された体系的なシフトが示される。 推論フェーズでは、CIPHERは、この部分空間から中間隠れた状態を投影することで幻覚を抑制する。 複数のベンチマークで実験したところ、CIPHERはタスク性能を維持しながら幻覚率を著しく低下させ、LVLMの忠実性を改善するための対実的な視覚摂動の有効性を示した。 コードと追加資料はhttps://hamidreza-dastmalchi.github.io/cipher-cvpr2026/で公開されている。

関連論文リスト

• CRoPS: A Training-Free Hallucination Mitigation Framework for Vision-Language Models [3.0991186209192794]
  幻覚コンテンツは、現実世界での使用において信頼性を損なう。 新しいモデルは、キーテキストトークンを選択的に削除することで幻覚効果をキャプチャする。 一般化されたコントラストデコーディングは、多様な幻覚源を表現するために複数の幻覚モデルを統合する。
  論文  参考訳（メタデータ） (2026-01-02T11:39:00Z)
• Mitigating Object and Action Hallucinations in Multimodal LLMs via Self-Augmented Contrastive Alignment [40.48528326378281]
  動的ビデオにおけるオブジェクトとアクションの忠実性を実現するためのフレームワークを提案する。 SANTAは幻覚を識別するために幻覚的自己増強スキームを採用している。 本研究では,局所的対象と関係誘導行動と対応する視覚的・時間的フレーズとを一致させるために,トラックレット・フレーズのコントラストアライメントを開発する。
  論文  参考訳（メタデータ） (2025-12-04T01:05:16Z)
• Exposing Hallucinations To Suppress Them: VLMs Representation Editing With Generative Anchors [8.089908150148554]
  マルチモーダル大規模言語モデル (MLLM) は様々な視覚言語タスクにおいて顕著な成功を収めている。 MLLMは幻覚に非常に敏感であり、視覚的証拠とは相容れない内容を生み出す。 本研究では,幻覚の緩和のための訓練不要で自己指導的な方法を提案する。
  論文  参考訳（メタデータ） (2025-09-26T07:24:28Z)
• HELPD: Mitigating Hallucination of LVLMs by Hierarchical Feedback Learning with Vision-enhanced Penalty Decoding [36.360171373963716]
  LVLM(Large Vision-Language Models)は多くの視覚言語タスクにおいて顕著な性能を示している。 これらのモデルはまだマルチモーダル幻覚に悩まされており、それは画像に反するオブジェクトやコンテンツの生成を意味する。 本稿では、この問題に対処するために、視力強化されたペナルティ復号法(HELPD)を用いた階層的フィードバック学習を提案する。
  論文  参考訳（メタデータ） (2024-09-30T15:52:05Z)
• Does Object Grounding Really Reduce Hallucination of Large Vision-Language Models? [53.89380284760555]
  大型視覚言語モデル(LVLM)は、画像に見つからない概念に言及するキャプションを生成する。 これらの幻覚は、LVLMの信頼性を損なうものであり、ユビキタス採用の主な障害であることは間違いない。 最近の研究は、画像領域やオブジェクトをテキストスパンに明示的にアライメントする、接地目的の追加は、LVLM幻覚の量を減らすことを示唆している。
  論文  参考訳（メタデータ） (2024-06-20T16:56:11Z)
• Visual Description Grounding Reduces Hallucinations and Boosts Reasoning in LVLMs [52.497823009176074]
  LVLM(Large Vision-Language Models)はしばしば、幻覚として知られる事実情報を誤認する応答を生成する。 視覚的知覚の向上とLVLMの推論能力の向上を目的とした学習自由度手法であるVisual Description Grounded Decoding (VDGD)を紹介した。
  論文  参考訳（メタデータ） (2024-05-24T16:21:59Z)
• Alleviating Hallucinations in Large Vision-Language Models through Hallucination-Induced Optimization [123.54980913741828]
  大規模ビジュアル言語モデル(LVLM)は、マルチモーダルデータの理解において、例外的な能力を示した。 彼らは必然的に幻覚に悩まされ、生成されたテキストと対応するイメージを切断する。 現在の視覚的コントラスト復号法のほとんどは、視覚的不確実性情報を導入して幻覚を緩和しようとするものである。 しかし、彼らは幻覚トークンを正確に誘導するのに苦労し、幻覚を緩和する効果を著しく制限した。
  論文  参考訳（メタデータ） (2024-05-24T08:46:31Z)
• ESREAL: Exploiting Semantic Reconstruction to Mitigate Hallucinations in Vision-Language Models [6.014286500397164]
  視覚言語モデルにおける幻覚は、特に長いキャプションの生成において、その信頼性に重大な課題をもたらす。 本研究では,幻覚の正確な局在化と罰則化による幻覚の発生抑制を目的とした,新しい教師なし学習フレームワークであるESREALを紹介する。 LLaVA, InstructBLIP, mPLUG-Owl2の幻覚を32.81%, 27.08%, 7.46%減少させる。
  論文  参考訳（メタデータ） (2024-03-24T14:21:06Z)
• Mitigating Object Hallucinations in Large Vision-Language Models through Visual Contrastive Decoding [125.05295513481035]
  本稿では,オリジナルおよび歪曲された視覚入力から出力分布を対比する,シンプルでトレーニングのないVisual Contrastive Decoding(VCD)を紹介する。 提案したVCDは, 対象幻覚の2つの重要な原因である, 統計的偏見と単調な先行性に対する信頼度を効果的に低減する。 実験の結果,付加的なトレーニングや外部ツールの使用がなければ,異なるLVLMファミリーにおける物体幻覚の問題を著しく軽減できることがわかった。
  論文  参考訳（メタデータ） (2023-11-28T16:26:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。