論文の概要: Countering the Over-Reliance Trap: Mitigating Object Hallucination for LVLMs via a Self-Validation Framework

• arxiv url: http://arxiv.org/abs/2601.22451v1
• Date: Fri, 30 Jan 2026 01:37:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-02 18:28:15.154778
• Title: Countering the Over-Reliance Trap: Mitigating Object Hallucination for LVLMs via a Self-Validation Framework
• Title（参考訳）: 過信頼トラップの対処:自己検証フレームワークによるLVLMの物体幻覚の軽減
• Authors: Shiyu Liu, Xinyi Wen, Zhibin Lan, Ante Wang, Jinsong Su,
• Abstract要約: 大規模視覚言語モデル(LVLM)は、既存のオブジェクトの記述を生成し、その信頼性を損なう。 以前の作業は、LVLMが言語事前に過度に依存していることと、ロジットキャリブレーションによってそれを緩和しようとすることによる。 我々は,LVLMがオブジェクトの存在の信頼性を忠実に検証できるように,Language-Prior-Free Verificationを提案する。
• 参考スコア（独自算出の注目度）: 35.29785249891566
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Despite progress in Large Vision Language Models (LVLMs), object hallucination remains a critical issue in image captioning task, where models generate descriptions of non-existent objects, compromising their reliability. Previous work attributes this to LVLMs' over-reliance on language priors and attempts to mitigate it through logits calibration. However, they still lack a thorough analysis of the over-reliance. To gain a deeper understanding of over-reliance, we conduct a series of preliminary experiments, indicating that as the generation length increases, LVLMs' over-reliance on language priors leads to inflated probability of hallucinated object tokens, consequently exacerbating object hallucination. To circumvent this issue, we propose Language-Prior-Free Verification to enable LVLMs to faithfully verify the confidence of object existence. Based on this, we propose a novel training-free Self-Validation Framework to counter the over-reliance trap. It first validates objects' existence in sampled candidate captions and further mitigates object hallucination via caption selection or aggregation. Experiment results demonstrate that our framework mitigates object hallucination significantly in image captioning task (e.g., 65.6% improvement on CHAIRI metric with LLaVA-v1.5-7B), surpassing the previous SOTA methods. This result highlights a novel path towards mitigating hallucination by unlocking the inherent potential within LVLMs themselves.
• Abstract（参考訳）: LVLM(Large Vision Language Models)の進歩にもかかわらず、オブジェクト幻覚は画像キャプションタスクにおいて重要な問題であり、モデルが存在しないオブジェクトの記述を生成し、その信頼性を損なう。 以前の作業は、LVLMが言語事前に過度に依存していることと、ロジットキャリブレーションによってそれを緩和しようとすることによる。 しかし、彼らはまだ過度な信頼性の徹底的な分析を欠いている。 過剰依存の理解を深めるため, 生成長が増加するにつれて, LVLMの言語先行性への依存度が増大し, 幻覚トークンが膨らむ確率が増大し, 結果として幻覚が悪化することを示す, 一連の予備実験を行った。 この問題を回避するために,LVLMがオブジェクトの存在の信頼性を忠実に検証できるようにするLanguage-Prior-Free Verificationを提案する。 そこで本研究では,過度信頼トラップに対処するための,新たな学習自由なセルフバリデーションフレームワークを提案する。 まず、サンプル化された候補キャプションにおけるオブジェクトの存在を検証し、キャプションの選択やアグリゲーションを通じてオブジェクト幻覚を緩和する。 実験の結果,従来のSOTA法を上回り,画像キャプションタスク(例:65.6%改善,LLaVA-v1.5-7B)において,物体の幻覚を著しく軽減することがわかった。 この結果は、LVLM自体に固有のポテンシャルを解き放つことによって、幻覚を緩和する新たな経路を浮き彫りにしている。

関連論文リスト

• HELPD: Mitigating Hallucination of LVLMs by Hierarchical Feedback Learning with Vision-enhanced Penalty Decoding [36.360171373963716]
  LVLM(Large Vision-Language Models)は多くの視覚言語タスクにおいて顕著な性能を示している。 これらのモデルはまだマルチモーダル幻覚に悩まされており、それは画像に反するオブジェクトやコンテンツの生成を意味する。 本稿では、この問題に対処するために、視力強化されたペナルティ復号法(HELPD)を用いた階層的フィードバック学習を提案する。
  論文  参考訳（メタデータ） (2024-09-30T15:52:05Z)
• Does Object Grounding Really Reduce Hallucination of Large Vision-Language Models? [53.89380284760555]
  大型視覚言語モデル(LVLM)は、画像に見つからない概念に言及するキャプションを生成する。 これらの幻覚は、LVLMの信頼性を損なうものであり、ユビキタス採用の主な障害であることは間違いない。 最近の研究は、画像領域やオブジェクトをテキストスパンに明示的にアライメントする、接地目的の追加は、LVLM幻覚の量を減らすことを示唆している。
  論文  参考訳（メタデータ） (2024-06-20T16:56:11Z)
• MetaToken: Detecting Hallucination in Image Descriptions by Meta Classification [1.3654846342364308]
  トークンレベルの幻覚を無視可能なコストで検出する軽量バイナリ分類器であるMetaTokenを紹介する。 統計的解析から,大規模視覚言語モデルにおける幻覚の重要な要因を明らかにする。 提案手法の有効性を示す4種類のLVLMについて検討した。
  論文  参考訳（メタデータ） (2024-05-29T15:28:42Z)
• Analyzing and Mitigating Object Hallucination in Large Vision-Language Models [110.12460299261531]
  大規模視覚言語モデル(LVLM)は、人間の言語で視覚情報を理解する際、顕著な能力を示した。 LVLMは依然として物体幻覚に悩まされており、画像に実際に存在しない物体を含む記述を生成するという問題である。 そこで我々は,LVLMの幻覚を再現するアルゴリズム LVLM Hallucination Revisor (LURE) を提案する。
  論文  参考訳（メタデータ） (2023-10-01T18:10:53Z)
• Evaluating Object Hallucination in Large Vision-Language Models [122.40337582958453]
  本研究は,大規模視覚言語モデル(LVLM)の物体幻覚に関する最初の体系的研究である。 LVLMは、記述中の対象画像と矛盾しないオブジェクトを生成する傾向がある。 対象の幻覚を評価するために,POPEと呼ばれるポーリングに基づくクエリ手法を提案する。
  論文  参考訳（メタデータ） (2023-05-17T16:34:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。