論文の概要: Two Causes, Not One: Rethinking Omission and Fabrication Hallucinations in MLLMs

• arxiv url: http://arxiv.org/abs/2509.00371v1
• Date: Sat, 30 Aug 2025 05:47:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-04 15:17:03.199831
• Title: Two Causes, Not One: Rethinking Omission and Fabrication Hallucinations in MLLMs
• Title（参考訳）: 2つの原因、1つではない:MLLMにおける排便と幻覚の再考
• Authors: Guangzong Si, Hao Yin, Xianfei Li, Qing Ding, Wenlong Liao, Tao He, Pai Peng,
• Abstract要約: 既存の手法は、省略と製造幻覚が共通の原因を共有するという欠点のある仮定に基づいており、しばしば省略を減らし、より多くの製造を誘発する。 本研究は,視覚的特徴を言語表現にマッピングする場合に,排他的幻覚が不十分な自信から生じることを示すことによって,この見解を覆すものである。 本研究では,物体の存在や不在を視覚的証拠がどのように推測するかを明らかにする概念的枠組みである視覚意味的注意力場を提案する。
• 参考スコア（独自算出の注目度）: 31.601057368065877
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multimodal Large Language Models (MLLMs) have achieved impressive advances, yet object hallucination remains a persistent challenge. Existing methods, based on the flawed assumption that omission and fabrication hallucinations share a common cause, often reduce omissions only to trigger more fabrications. In this work, we overturn this view by demonstrating that omission hallucinations arise from insufficient confidence when mapping perceived visual features to linguistic expressions, whereas fabrication hallucinations result from spurious associations within the cross-modal representation space due to statistical biases in the training corpus. Building on findings from visual attention intervention experiments, we propose the Visual-Semantic Attention Potential Field, a conceptual framework that reveals how the model constructs visual evidence to infer the presence or absence of objects. Leveraging this insight, we introduce Visual Potential Field Calibration (VPFC), a plug-and-play hallucination mitigation method that effectively reduces omission hallucinations without introducing additional fabrication hallucinations. Our findings reveal a critical oversight in current object hallucination research and chart new directions for developing more robust and balanced hallucination mitigation strategies.
• Abstract（参考訳）: MLLM(Multimodal Large Language Models)は目覚ましい進歩を遂げている。 既存の手法は、省略と製造幻覚が共通の原因を共有するという欠点のある仮定に基づいており、しばしば省略を減らし、より多くの製造を誘発する。 本研究は,視覚的特徴を言語表現にマッピングする際に,排他的幻覚が不十分な信頼感から生じることを示すことによって,この見解を覆すものである。 視覚的注意介入実験から得られた知見に基づいて,対象の有無を推測するために,モデルがどのように視覚的証拠を構築しているかを明らかにする概念的枠組みである視覚的意味的注意力場(Visual-Semantic Attention potential Field)を提案する。 この知見を生かした視覚野校正(VPFC)は,追加の造形幻覚を導入することなく効果的に排便幻覚を低減できる,プラグアンドプレイ幻覚緩和法である。 本研究は,現在の幻覚研究において重要な課題であり,より堅牢でバランスの取れた幻覚緩和戦略を開発するための新たな方向性を示すものである。

関連論文リスト

• MIRAGE: Assessing Hallucination in Multimodal Reasoning Chains of MLLM [58.2298313720146]
  マルチモーダル幻覚は多源性であり、様々な原因から生じる。 既存のベンチマークでは、知覚誘発幻覚と推論誘発幻覚を適切に区別することができない。
  論文  参考訳（メタデータ） (2025-05-30T05:54:36Z)
• Towards a Systematic Evaluation of Hallucinations in Large-Vision Language Models [57.58426038241812]
  LVLM(Large Vision-Language Models)は、複雑なマルチモーダルタスクにおいて顕著な性能を示す。 これらのモデルは、画像から様々な視覚的実体を暗黙的に認識または推測する必要がある場合、まだ幻覚に悩まされている。 本稿では,視覚的質問応答(VQA)ベンチマークを提案する。
  論文  参考訳（メタデータ） (2024-12-29T23:56:01Z)
• Combating Multimodal LLM Hallucination via Bottom-Up Holistic Reasoning [151.4060202671114]
  マルチモーダル大規模言語モデル(MLLM)は、視覚言語タスクを前進させる前例のない能力を示した。 本稿では,MLLMにおける幻覚に対処するためのボトムアップ推論フレームワークを提案する。 本フレームワークは、認識レベル情報と認知レベルコモンセンス知識を検証・統合することにより、視覚とテキストの両方の入力における潜在的な問題に体系的に対処する。
  論文  参考訳（メタデータ） (2024-12-15T09:10:46Z)
• Who Brings the Frisbee: Probing Hidden Hallucination Factors in Large Vision-Language Model via Causality Analysis [14.033320167387194]
  現実の応用における大きな課題は幻覚であり、LVLMは存在しない視覚要素を生成し、ユーザの信頼を損なう。 我々は、オブジェクト、コンテキスト、セマンティックフォアグラウンド・バックグラウンド構造といった隠れた要因が幻覚を引き起こすという仮説を立てた。 画像・テキスト・プロンプト・ネットワーク・サリエンシの因果関係を解析することにより,これらの要因をブロックするための介入を系統的に検討する。
  論文  参考訳（メタデータ） (2024-12-04T01:23:57Z)
• From Pixels to Tokens: Revisiting Object Hallucinations in Large Vision-Language Models [15.401221354325672]
  大型視覚モデル(LVLM)における幻覚は、視覚入力に表示されない物体を生成するという重要な課題である。 最近の研究では、幻覚は視覚的な入力の理解の欠如に起因しているが、より根本的な問題は無視されている。 本稿では,LVLMの幻覚をアーキテクチャの観点から再検討し,視覚エンコーダ(機能抽出)とモーダルアライメントモジュール(機能デカップリング)の主な原因について検討する。
  論文  参考訳（メタデータ） (2024-10-09T11:46:32Z)
• Investigating and Mitigating Object Hallucinations in Pretrained Vision-Language (CLIP) Models [22.42712853647949]
  本稿では,CLIPモデル内での物体幻覚問題について詳細に検討する。 孤立しても、CLIPモデルは対象の幻覚に傾向があり、幻覚問題は単に視覚と言語モダリティの相互作用によるものではないことを示唆する。 拡張モデルは視覚エンコーダとして利用でき、LVLMにおける物体幻覚の問題を効果的に緩和できることを示す。
  論文  参考訳（メタデータ） (2024-10-04T06:24:49Z)
• Interpreting and Mitigating Hallucination in MLLMs through Multi-agent Debate [34.17353224636788]
  MLLMにおける幻覚は、部分的には、これらのモデルにおいてゆっくり考え、異なる考えが欠如しているためである、と我々は主張する。 我々のアプローチは幻覚だけでなく、それらがなぜ起こるのかを解釈し、幻覚の特異点を詳述する。
  論文  参考訳（メタデータ） (2024-07-30T02:41:32Z)
• Quantity Matters: Towards Assessing and Mitigating Number Hallucination in Large Vision-Language Models [57.42800112251644]
  本研究では,画像中の特定の物体の数を誤って識別するモデルを参照しながら,特定の種類の幻覚数幻覚に焦点を当てた。 そこで,本研究では,数幻覚を減らすための一貫性向上を目的としたトレーニング手法を考案し,直接微調整法よりも8%の性能向上を図った。
  論文  参考訳（メタデータ） (2024-03-03T02:31:11Z)
• HalluciDoctor: Mitigating Hallucinatory Toxicity in Visual Instruction Data [102.56792377624927]
  機械生成データに固有の幻覚は未発見のままである。 本稿では,クロスチェックパラダイムに基づく新しい幻覚検出・除去フレームワークであるHaluciDoctorを提案する。 LLaVAに比べて44.6%の幻覚を緩和し,競争性能を維持した。
  論文  参考訳（メタデータ） (2023-11-22T04:52:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。