論文の概要: Mechanisms of Prompt-Induced Hallucination in Vision-Language Models

• arxiv url: http://arxiv.org/abs/2601.05201v1
• Date: Thu, 08 Jan 2026 18:23:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-09 17:01:53.333811
• Title: Mechanisms of Prompt-Induced Hallucination in Vision-Language Models
• Title（参考訳）: 視覚・言語モデルにおけるプロンプト誘発幻覚のメカニズム
• Authors: William Rudman, Michal Golovanevsky, Dana Arad, Yonatan Belinkov, Ritambhara Singh, Carsten Eickhoff, Kyle Mahowald,
• Abstract要約: 制御されたオブジェクトカウント設定において、プロンプトが画像中のオブジェクト数をオーバーステートする障害モードについて検討する。 刺激誘発幻覚 (PIH) を, 追加訓練を伴わずに40%以上減少させる小さなアテンションヘッドのセットを同定した。 本研究は, 刺激による幻覚を誘発する内的メカニズムについての知見を提示し, モデル特異的な行動の実施方法の違いを明らかにした。
• 参考スコア（独自算出の注目度）: 58.991412160253276
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large vision-language models (VLMs) are highly capable, yet often hallucinate by favoring textual prompts over visual evidence. We study this failure mode in a controlled object-counting setting, where the prompt overstates the number of objects in the image (e.g., asking a model to describe four waterlilies when only three are present). At low object counts, models often correct the overestimation, but as the number of objects increases, they increasingly conform to the prompt regardless of the discrepancy. Through mechanistic analysis of three VLMs, we identify a small set of attention heads whose ablation substantially reduces prompt-induced hallucinations (PIH) by at least 40% without additional training. Across models, PIH-heads mediate prompt copying in model-specific ways. We characterize these differences and show that PIH ablation increases correction toward visual evidence. Our findings offer insights into the internal mechanisms driving prompt-induced hallucinations, revealing model-specific differences in how these behaviors are implemented.
• Abstract（参考訳）: 大きな視覚言語モデル(VLM)は高い能力を持つが、しばしば視覚的証拠よりもテキストによるプロンプトを好んで幻覚させる。 制御されたオブジェクトカウント設定において、この障害モードを研究し、プロンプトが画像中のオブジェクトの数をオーバーステートする(例:モデルに3つしか存在しない場合に4つの水たまりを記述するよう要求する)。 低いオブジェクト数では、モデルはしばしば過大評価を補正するが、オブジェクトの数が増加するにつれて、不一致に関わらず、プロンプトに適合する。 3つのVLMの機械的解析により、アブレーションにより刺激誘発幻覚(PIH)を少なくとも40%減少させる小さな注意ヘッドのセットを、追加の訓練なしで同定する。 モデル全体で、PIHヘッドはモデル固有の方法でプロンプトコピーを仲介する。 これらの違いを特徴付け、PIHアブレーションが視覚的証拠に対する補正を増加させることを示す。 本研究は, 刺激による幻覚を誘発する内的メカニズムについて考察し, モデル特異的な行動の実施方法の違いを明らかにした。

関連論文リスト

• HEAL: An Empirical Study on Hallucinations in Embodied Agents Driven by Large Language Models [27.72821031361892]
  本研究では,大規模な言語モデルにおいて,シーン・タスクの不整合下での長時間の作業を行う幻覚に関する最初の体系的研究について述べる。 私たちのゴールは、幻覚の発生範囲、どのような不整合が引き起こされるか、現在のモデルがどのように反応するかを理解することです。
  論文  参考訳（メタデータ） (2025-06-18T02:13:41Z)
• Mitigating Low-Level Visual Hallucinations Requires Self-Awareness: Database, Model and Training Strategy [53.07517728420411]
  低レベル視覚タスクにおける幻覚に焦点を当てた最初のインストラクションデータベースを提案する。 低レベル視覚タスクにおけるモデルの知覚と理解能力を向上させるための自己認識障害除去(SAFEQA)モデルを提案する。 低レベルの視覚課題に対する総合的な実験を行い、提案手法がこれらの課題におけるモデルの自己認識を著しく向上し、幻覚を低減させることを示す。
  論文  参考訳（メタデータ） (2025-03-26T16:05:01Z)
• Towards a Systematic Evaluation of Hallucinations in Large-Vision Language Models [57.58426038241812]
  LVLM(Large Vision-Language Models)は、複雑なマルチモーダルタスクにおいて顕著な性能を示す。 これらのモデルは、画像から様々な視覚的実体を暗黙的に認識または推測する必要がある場合、まだ幻覚に悩まされている。 本稿では,視覚的質問応答(VQA)ベンチマークを提案する。
  論文  参考訳（メタデータ） (2024-12-29T23:56:01Z)
• H-POPE: Hierarchical Polling-based Probing Evaluation of Hallucinations in Large Vision-Language Models [0.0]
  対象物の存在と属性の幻覚を評価する粗粒度ベンチマークであるH-POPEを提案する。 評価の結果,モデルが物体の存在に幻覚を与える傾向がみられ,さらに微粒な属性が生じる傾向が示唆された。
  論文  参考訳（メタデータ） (2024-11-06T17:55:37Z)
• Quantity Matters: Towards Assessing and Mitigating Number Hallucination in Large Vision-Language Models [57.42800112251644]
  本研究では,画像中の特定の物体の数を誤って識別するモデルを参照しながら,特定の種類の幻覚数幻覚に焦点を当てた。 そこで,本研究では,数幻覚を減らすための一貫性向上を目的としたトレーニング手法を考案し,直接微調整法よりも8%の性能向上を図った。
  論文  参考訳（メタデータ） (2024-03-03T02:31:11Z)
• Plausible May Not Be Faithful: Probing Object Hallucination in Vision-Language Pre-training [66.0036211069513]
  大規模視覚言語事前学習モデルは、テキストを生成する際に、存在しない視覚オブジェクトを幻覚させる傾向がある。 標準メトリクスでより良いスコアを得るモデルは、オブジェクトをより頻繁に幻覚させる可能性があることを示す。 驚いたことに、パッチベースの機能が最も良く、より小さなパッチ解決は、オブジェクト幻覚の非自明な減少をもたらす。
  論文  参考訳（メタデータ） (2022-10-14T10:27:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。