論文の概要: PVFH-Bench: Benchmarking Premise-Induced Visual Fixation Hallucinations in Vision-Language Models
- arxiv url: http://arxiv.org/abs/2610.14635v1
- Date: Sat, 10 Oct 2026 06:34:01 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-20 12:32:23.711491
- Title: PVFH-Bench: Benchmarking Premise-Induced Visual Fixation Hallucinations in Vision-Language Models
- Title(参考訳): PVFH-Bench:視覚言語モデルにおけるプリミズ誘発視覚固定幻覚のベンチマーク
- Abstract要約: PVFH(Premise-induced Visual Fixation Hallucination)と呼ばれる新しい障害モードについて検討する。
PVFH(PVFH)は、モデルが視覚的に不確実な証拠に固定される前提による推論誤差を指す。
評価されたモデルはすべて、Premiseによる視覚的修正幻覚に対して非常に脆弱であることを示す。
- 参考スコア(独自算出の注目度): 21.720870004925164
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large Vision-Language Models (LVLMs) have achieved remarkable progress across a wide range of multimodal tasks. However, object hallucination remains a persistent challenge, undermining model reliability in applications such as visual question answering, embodied agents, and human-AI decision support systems. In this paper, inspired by cognitive science studies on perceptual bias, we investigate a new failure mode termed Premise-Induced Visual Fixation Hallucination (PVFH). Specifically, PVFH refers to a premise-induced reasoning error in which models become anchored to visually confusable evidence, accept a false textual premise, and subsequently generate responses about an absent yet visually plausible object. To systematically study this phenomenon, we introduce PVFH-Bench, a benchmark that automatically constructs visually confusable but absent targets and pairs the core hallucination setting with diagnostic subsets to trace how models move from object recognition to Premise-Induced Visual Fixation Hallucination. Experimental results on 10 state-of-the-art LVLMs demonstrate that all evaluated models are highly vulnerable to Premise-Induced Visual Fixation Hallucination. Moreover, we find that explicit chain-of-thought reasoning can further exacerbate this failure mode by encouraging models to overinterpret weak visual cues as supporting evidence for hallucinated objects.
- Abstract(参考訳): LVLM(Large Vision-Language Models)は、様々なマルチモーダルタスクにおいて顕著な進歩を遂げている。
しかし、オブジェクト幻覚は引き続き永続的な課題であり、視覚的質問応答、具体的エージェント、人間とAIによる意思決定支援システムなどの応用におけるモデルの信頼性を損なう。
本稿では,知覚バイアスに関する認知科学研究に触発されて,Premise-induced Visual Fixation Hallucination(PVFH)と呼ばれる新しい障害モードについて検討する。
具体的には、PVFHは前提によって引き起こされる推論誤差を指し、モデルが視覚的に不明瞭な証拠に固定され、偽のテキスト的前提を受け入れ、その後、不完全かつ視覚的に可視な対象に関する応答を生成する。
この現象を体系的に研究するために、PVFH-Benchという、視覚的に不自由な目標を自動的に構築し、コア幻覚設定を診断サブセットと組み合わせて、モデルがオブジェクト認識からPremise-induced Visual Fixation Hallucinationへどのように移動するかを追跡するベンチマークを導入する。
最新の10個のLVLM実験の結果、全ての評価されたモデルは、Premiseによる視覚的固定幻覚に対して非常に脆弱であることが示された。
さらに, 暗黙的なチェーン・オブ・シント推論は, モデルに幻覚的物体の証拠として弱い視覚的手がかりを過度に解釈するように促すことにより, この障害モードをさらに悪化させる可能性がある。
関連論文リスト
- HIVE: Understanding Post-Hallucination Reasoning in Vision Language Models [70.67112531913669]
視覚言語モデルにおける幻覚は、一般的に意味的誤りとして扱われる。
それまでの研究は主に、世代ごとの幻覚の検出や抑制に重点を置いていた。
幻覚的意味論がモデルの推論コンテキストに入る段階である PHR (Post Hallucination Reasoning) について検討する。
論文 参考訳(メタデータ) (2026-07-08T15:02:11Z) - Cognitive Pivot Points and Visual Anchoring: Unveiling and Rectifying Hallucinations in Multimodal Reasoning Models [65.57985131861399]
幻覚は、しばしば高いエントロピー状態を示す認知的分岐点と強く相関している。
本稿では,視覚的に認識可能な推論機能の内部化を目的とした,軽量で総合的なトレーニングパラダイムであるV-STARを提案する。
論文 参考訳(メタデータ) (2026-04-11T13:59:05Z) - Mechanisms of Prompt-Induced Hallucination in Vision-Language Models [58.991412160253276]
制御されたオブジェクトカウント設定において、プロンプトが画像中のオブジェクト数をオーバーステートする障害モードについて検討する。
刺激誘発幻覚 (PIH) を, 追加訓練を伴わずに40%以上減少させる小さなアテンションヘッドのセットを同定した。
本研究は, 刺激による幻覚を誘発する内的メカニズムについての知見を提示し, モデル特異的な行動の実施方法の違いを明らかにした。
論文 参考訳(メタデータ) (2026-01-08T18:23:03Z) - Two Causes, Not One: Rethinking Omission and Fabrication Hallucinations in MLLMs [31.601057368065877]
既存の手法は、省略と製造幻覚が共通の原因を共有するという欠点のある仮定に基づいており、しばしば省略を減らし、より多くの製造を誘発する。
本研究は,視覚的特徴を言語表現にマッピングする場合に,排他的幻覚が不十分な自信から生じることを示すことによって,この見解を覆すものである。
本研究では,物体の存在や不在を視覚的証拠がどのように推測するかを明らかにする概念的枠組みである視覚意味的注意力場を提案する。
論文 参考訳(メタデータ) (2025-08-30T05:47:41Z) - HEAL: An Empirical Study on Hallucinations in Embodied Agents Driven by Large Language Models [27.72821031361892]
本研究では,大規模な言語モデルにおいて,シーン・タスクの不整合下での長時間の作業を行う幻覚に関する最初の体系的研究について述べる。
私たちのゴールは、幻覚の発生範囲、どのような不整合が引き起こされるか、現在のモデルがどのように反応するかを理解することです。
論文 参考訳(メタデータ) (2025-06-18T02:13:41Z) - A Comprehensive Analysis for Visual Object Hallucination in Large Vision-Language Models [30.037505914306504]
視覚言語モデル(LVLM)はマルチモーダルタスクにおいて顕著な機能を示す。
LVLMはクエリ入力に基づいて不正確なビジュアルオブジェクト関連情報を生成し、安全性と信頼性に関する誤った情報や懸念を引き起こす可能性がある。
本稿では,LLaVAライクなLVLMの各コンポーネントを分析し,潜在的なエラーの発生源とその影響を同定する。
論文 参考訳(メタデータ) (2025-05-04T01:47:58Z) - Mitigating Low-Level Visual Hallucinations Requires Self-Awareness: Database, Model and Training Strategy [53.07517728420411]
低レベル視覚タスクにおける幻覚に焦点を当てた最初のインストラクションデータベースを提案する。
低レベル視覚タスクにおけるモデルの知覚と理解能力を向上させるための自己認識障害除去(SAFEQA)モデルを提案する。
低レベルの視覚課題に対する総合的な実験を行い、提案手法がこれらの課題におけるモデルの自己認識を著しく向上し、幻覚を低減させることを示す。
論文 参考訳(メタデータ) (2025-03-26T16:05:01Z) - Towards a Systematic Evaluation of Hallucinations in Large-Vision Language Models [57.58426038241812]
LVLM(Large Vision-Language Models)は、複雑なマルチモーダルタスクにおいて顕著な性能を示す。
これらのモデルは、画像から様々な視覚的実体を暗黙的に認識または推測する必要がある場合、まだ幻覚に悩まされている。
本稿では,視覚的質問応答(VQA)ベンチマークを提案する。
論文 参考訳(メタデータ) (2024-12-29T23:56:01Z) - H-POPE: Hierarchical Polling-based Probing Evaluation of Hallucinations in Large Vision-Language Models [0.0]
対象物の存在と属性の幻覚を評価する粗粒度ベンチマークであるH-POPEを提案する。
評価の結果,モデルが物体の存在に幻覚を与える傾向がみられ,さらに微粒な属性が生じる傾向が示唆された。
論文 参考訳(メタデータ) (2024-11-06T17:55:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。