論文の概要: DARE to Mitigate Hallucination: Dual-path Auto-Regressive-aware Editing

• arxiv url: http://arxiv.org/abs/2609.36440v1
• Date: Tue, 29 Sep 2026 00:58:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-30 21:28:47.083093
• Title: DARE to Mitigate Hallucination: Dual-path Auto-Regressive-aware Editing
• Title（参考訳）: 幻覚を緩和するDARE:デュアルパス自動回帰認識編集
• Abstract要約: 視覚言語モデル(LVLM)は視覚入力と矛盾しない記述を生成する。 最近の研究は、訓練不要な表現編集を通じて幻覚を緩和している。 DAREは2つの相補的なコントラスト経路を統合するハイブリッド幻覚編集フレームワークである。
• 参考スコア（独自算出の注目度）: 23.922706660672727
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large vision-language models (LVLMs) have recently achieved remarkable progress across multimodal tasks, yet object hallucination remains a persistent challenge where models generate descriptions inconsistent with the visual input. Recent work mitigates hallucinations through training-free representation editing, typically by constructing hallucination-related directions from teacher-forcing (TF) contrasts between hallucinated and truthful responses. However, LVLMs operate through autoregressive (AR) decoding during generation, raising the question of whether TF-based analysis fully reflects the generation dynamics that lead to hallucinated outputs. In this paper, we analyze the relationship between TF-based editing and AR generation behavior and find that TF-based editing alone may be insufficient to capture both decoding dynamics and multimodal interactions associated with hallucinations. To address this limitation, we propose DARE (Dual-path Auto-Regressive-aware Editing), a hybrid hallucination editing framework that integrates two complementary contrast pathways: textual contrasts and image contrasts, together with autoregressive-aware representation signals. Specifically, DARE constructs hallucination editing directions from (1) TF-based textual contrasts, (2) AR-aware representation transitions during decoding, and (3) controlled visual differences between paired images. Extensive experiments on multiple LVLM hallucination benchmarks demonstrate that DARE consistently reduces object hallucinations while preserving multimodal perception capability and inference efficiency. Our implementation code is available at https://github.com/KU-VGI/DARE.
• Abstract（参考訳）: 大規模視覚言語モデル(LVLM)は、近年、多モーダルタスク間で顕著な進歩を遂げているが、オブジェクト幻覚は、モデルが視覚入力と矛盾する記述を生成するという永続的な課題である。 最近の研究は、訓練不要な表現編集を通じて幻覚を緩和し、典型的には、幻覚と真理の反応の対比から幻覚に関連する方向を構築する。 しかし、LVLMは生成中の自己回帰(AR)デコーディングを通じて動作し、TFに基づく解析が幻覚出力につながる生成ダイナミクスを完全に反映するかどうかという疑問を提起する。 本稿では、TFベースの編集とAR生成行動の関係を分析し、TFベースの編集だけでは幻覚に関連する復号力学とマルチモーダル相互作用の両方を捉えるには不十分であることを示す。 この制限に対処するために,テキストコントラストと画像コントラストという2つの相補的なコントラスト経路と,自己回帰認識表現信号を統合するハイブリッド幻覚編集フレームワークであるDARE(Dual-path Auto-Regressive-aware Editing)を提案する。 具体的には、(1)TFベースのテキストコントラスト、(2)デコード中のAR認識表現遷移、(3)ペア画像間の視覚的差異から幻覚編集方向を構築する。 複数のLVLM幻覚ベンチマークにおいて、DAREはマルチモーダル認識能力と推論効率を保ちながら、オブジェクト幻覚を一貫して減少させることを示した。 実装コードはhttps://github.com/KU-VGI/DAREで公開されています。

関連論文リスト

• Fighting Hallucinations with Counterfactuals: Diffusion-Guided Perturbations for LVLM Hallucination Suppression [3.2584778174972295]
  そこで我々は,軽量な特徴レベルの補正によって視覚誘発幻覚を抑制する訓練不要なCIPHERを提案する。 CIPHERは、主にテキストによる幻覚に焦点を当てた以前のトレーニングなしのアプローチとは異なり、視覚的モダリティから生じる幻覚を明示的にターゲットとしている。 複数のベンチマーク実験により、CIPHERはタスク性能を維持しながら幻覚率を大幅に低下させることが示された。
  論文  参考訳（メタデータ） (2026-03-11T06:40:50Z)
• Generate, but Verify: Reducing Hallucination in Vision-Language Models with Retrospective Resampling [78.78822033285938]
  VLM(Vision-Language Models)は視覚的理解に優れ、視覚幻覚に悩まされることが多い。 本研究では,幻覚を意識したトレーニングとオンザフライの自己検証を統合した統合フレームワークREVERSEを紹介する。
  論文  参考訳（メタデータ） (2025-04-17T17:59:22Z)
• VaLiD: Mitigating the Hallucination of Large Vision Language Models by Visual Layer Fusion Contrastive Decoding [38.23310445372371]
  LVLM(Large Vision-Language Models)はマルチモーダルタスク推論において顕著な機能を示す。 彼らはしばしば、幻覚として知られる視覚的内容が正確に反映されていないように思われる応答を生成する。 近年のアプローチでは、推論段階における復号化戦略を調整することで幻覚を緩和するための訓練不要な手法が導入されている。 textbfVisutextbfal textbfLayer Fustextbfion textbfD
  論文  参考訳（メタデータ） (2024-11-24T13:42:02Z)
• HELPD: Mitigating Hallucination of LVLMs by Hierarchical Feedback Learning with Vision-enhanced Penalty Decoding [36.360171373963716]
  LVLM(Large Vision-Language Models)は多くの視覚言語タスクにおいて顕著な性能を示している。 これらのモデルはまだマルチモーダル幻覚に悩まされており、それは画像に反するオブジェクトやコンテンツの生成を意味する。 本稿では、この問題に対処するために、視力強化されたペナルティ復号法(HELPD)を用いた階層的フィードバック学習を提案する。
  論文  参考訳（メタデータ） (2024-09-30T15:52:05Z)
• ConVis: Contrastive Decoding with Hallucination Visualization for Mitigating Hallucinations in Multimodal Large Language Models [11.75855265467876]
  トレーニング不要なコントラスト復号法であるConVisを導入する。 一般的な5つのベンチマーク実験により、ConVisは様々なMLLMの幻覚を効果的に低減することを示した。
  論文  参考訳（メタデータ） (2024-08-25T18:02:36Z)
• Alleviating Hallucinations in Large Vision-Language Models through Hallucination-Induced Optimization [123.54980913741828]
  大規模ビジュアル言語モデル(LVLM)は、マルチモーダルデータの理解において、例外的な能力を示した。 彼らは必然的に幻覚に悩まされ、生成されたテキストと対応するイメージを切断する。 現在の視覚的コントラスト復号法のほとんどは、視覚的不確実性情報を導入して幻覚を緩和しようとするものである。 しかし、彼らは幻覚トークンを正確に誘導するのに苦労し、幻覚を緩和する効果を著しく制限した。
  論文  参考訳（メタデータ） (2024-05-24T08:46:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。