論文の概要: GHOST: Hallucination-Inducing Image Generation for Multimodal LLMs

• arxiv url: http://arxiv.org/abs/2509.25178v1
• Date: Mon, 29 Sep 2025 17:59:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-01 17:09:04.154435
• Title: GHOST: Hallucination-Inducing Image Generation for Multimodal LLMs
• Title（参考訳）: GHOST:マルチモーダルLLMのための幻覚誘導画像生成
• Authors: Aryan Yazdan Parast, Parsa Hosseini, Hesam Asadollahzadeh, Arshia Soltani Moakhar, Basim Azam, Soheil Feizi, Naveed Akhtar,
• Abstract要約: 本稿では,幻覚を誘発する画像を積極的に生成することにより,MLLMをストレステストする手法であるGHOSTを紹介する。 GHOSTは完全に自動化されており、人間の監督や事前の知識を必要としない。 GLM-4.1V-Thinkingのような推論モデルを含む様々なモデルにおいて本手法の評価を行い,従来のデータ駆動探索法と比較して28%以上の幻覚成功率を達成する。
• 参考スコア（独自算出の注目度）: 61.829473661517675
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Object hallucination in Multimodal Large Language Models (MLLMs) is a persistent failure mode that causes the model to perceive objects absent in the image. This weakness of MLLMs is currently studied using static benchmarks with fixed visual scenarios, which preempts the possibility of uncovering model-specific or unanticipated hallucination vulnerabilities. We introduce GHOST (Generating Hallucinations via Optimizing Stealth Tokens), a method designed to stress-test MLLMs by actively generating images that induce hallucination. GHOST is fully automatic and requires no human supervision or prior knowledge. It operates by optimizing in the image embedding space to mislead the model while keeping the target object absent, and then guiding a diffusion model conditioned on the embedding to generate natural-looking images. The resulting images remain visually natural and close to the original input, yet introduce subtle misleading cues that cause the model to hallucinate. We evaluate our method across a range of models, including reasoning models like GLM-4.1V-Thinking, and achieve a hallucination success rate exceeding 28%, compared to around 1% in prior data-driven discovery methods. We confirm that the generated images are both high-quality and object-free through quantitative metrics and human evaluation. Also, GHOST uncovers transferable vulnerabilities: images optimized for Qwen2.5-VL induce hallucinations in GPT-4o at a 66.5% rate. Finally, we show that fine-tuning on our images mitigates hallucination, positioning GHOST as both a diagnostic and corrective tool for building more reliable multimodal systems.
• Abstract（参考訳）: MLLM(Multimodal Large Language Models)におけるオブジェクト幻覚(Object Hallucination in Multimodal Large Language Models)は、画像に存在しないオブジェクトを知覚する永続的な障害モードである。 MLLMのこの弱点は、現在、固定された視覚シナリオを持つ静的なベンチマークを用いて研究されている。 GHOST (Generating Hallucinations via Optimizing Stealth Tokens) は,幻覚を誘発する画像を積極的に生成することにより,MLLMをストレステストする手法である。 GHOSTは完全に自動化されており、人間の監督や事前の知識を必要としない。 画像埋め込み空間を最適化し、対象オブジェクトを欠如させながらモデルを誤解させると共に、埋め込みに条件付けられた拡散モデルを誘導し、自然な画像を生成する。 結果として得られた画像は、視覚的に自然なままで、元の入力に近いが、モデルが幻覚を引き起こす微妙な誤解を招く手がかりが導入された。 GLM-4.1V-Thinkingのような推論モデルを含む様々なモデルにおいて本手法の評価を行い,従来のデータ駆動探索法と比較して28%以上の幻覚成功率を達成する。 生成した画像は,定量的な測定と人的評価により,高品質かつオブジェクトフリーであることを確認した。 また、GHOSTは転送可能な脆弱性を明らかにし、Qwen2.5-VLに最適化された画像はGPT-4oの幻覚を66.5%の速度で誘発する。 最後に,画像の微調整は幻覚を緩和し,より信頼性の高いマルチモーダルシステムを構築するための診断・修正ツールとしてGHOSTを位置づけた。

関連論文リスト

• Generate, but Verify: Reducing Hallucination in Vision-Language Models with Retrospective Resampling [67.14942827452161]
  VLM(Vision-Language Models)は視覚的理解に優れ、視覚幻覚に悩まされることが多い。 本研究では,幻覚を意識したトレーニングとオンザフライの自己検証を統合した統合フレームワークREVERSEを紹介する。
  論文  参考訳（メタデータ） (2025-04-17T17:59:22Z)
• Hallucinatory Image Tokens: A Training-free EAZY Approach on Detecting and Mitigating Object Hallucinations in LVLMs [15.479587108655393]
  LVLM(Large Vision-Language Models)は、まだオブジェクト幻覚の課題に直面している。 我々の研究は、画像入力源に焦点を移し、特定の画像トークンが幻覚にどのように貢献するかを調べる。 本稿では,幻覚器画像トークンをゼロにすることで,hAllucinationsを自動的に識別し,除去する新しい学習自由化手法EAZYを紹介する。
  論文  参考訳（メタデータ） (2025-03-10T18:53:39Z)
• Towards a Systematic Evaluation of Hallucinations in Large-Vision Language Models [57.58426038241812]
  LVLM(Large Vision-Language Models)は、複雑なマルチモーダルタスクにおいて顕著な性能を示す。 これらのモデルは、画像から様々な視覚的実体を暗黙的に認識または推測する必要がある場合、まだ幻覚に悩まされている。 本稿では,視覚的質問応答(VQA)ベンチマークを提案する。
  論文  参考訳（メタデータ） (2024-12-29T23:56:01Z)
• AutoHallusion: Automatic Generation of Hallucination Benchmarks for Vision-Language Models [91.78328878860003]
  視覚言語モデル(LVLM)は幻覚の傾向が強い。 ベンチマークは多くの場合、障害パターンが一般化できない手作りのコーナーケースに依存します。 最初の自動ベンチマーク生成手法であるAutoHallusionを開発した。
  論文  参考訳（メタデータ） (2024-06-16T11:44:43Z)
• Detecting and Mitigating Hallucination in Large Vision Language Models via Fine-Grained AI Feedback [40.930238150365795]
  我々は,LVLM(Large Vision Language Models)における幻覚の検出と緩和について,きめ細かいAIフィードバックを用いて提案する。 プロプライエタリモデルによる小型幻覚アノテーションデータセットを生成する。 そこで本研究では,幻覚緩和モデルの訓練のための選好データセットを自動構築する検出テーマ書き換えパイプラインを提案する。
  論文  参考訳（メタデータ） (2024-04-22T14:46:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。