論文の概要: Mitigating Hallucinations in Large Vision-Language Models by Self-Injecting Hallucinations

• arxiv url: http://arxiv.org/abs/2509.11287v1
• Date: Sun, 14 Sep 2025 14:26:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-16 17:26:23.013461
• Title: Mitigating Hallucinations in Large Vision-Language Models by Self-Injecting Hallucinations
• Title（参考訳）: 自己注入型幻覚による視覚言語モデルにおける幻覚の緩和
• Authors: Yifan Lu, Ziqi Zhang, Chunfeng Yuan, Jun Gao, Congxuan Zhang, Xiaojuan Qi, Bing Li, Weiming Hu,
• Abstract要約: 幻覚緩和法は主に嗜好アライメントに基づいており、嗜好データ収集には外部の人間のアノテーションや補助モデルが必要である。 本稿では,外部依存を伴わない幻覚を緩和する新規で一般化可能な手法である自己注入による自律的選好アライメント(APASI)を提案する。 APASIはターゲットのLVLMを利用して、生成した応答に幻覚を自己注入し、好みのレベルが異なるペアの応答を生成する。
• 参考スコア（独自算出の注目度）: 73.37711261605271
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large Vision-Language Models (LVLMs) suffer from serious hallucination problems, where the model-generated responses are inconsistent with the visual inputs. Existing hallucination mitigation methods are mainly based on preference alignment and require external human annotations or auxiliary models for preference data collection, which increase costs and limit sustainable improvement. To tackle these challenges, we propose Autonomous Preference Alignment via Self-Injection (APASI), a novel and generalizable method that mitigates hallucinations without external dependencies. APASI leverages the target LVLM to self-inject hallucinations into a generated response, creating a pair of responses with varying preference levels. During the self-injection process, the dis-preferred response is generated based on three key observations of hallucinations, ensuring it simulates real hallucination patterns. This fidelity offers an accurate learning signal for hallucination mitigation. Moreover, APASI incorporates an iterative alignment training strategy combined with curriculum learning to periodically update the preference data with increasing challenge, enabling stable and continuous enhancement of the LVLM. Extensive experiments across six benchmarks show that APASI not only effectively mitigates hallucinations for three baseline models but also achieves comparable or even superior performance to alignment-based methods with external dependency, thereby demonstrating its effectiveness and generalization capability. The code is available at https://github.com/davidluciolu/APASI.
• Abstract（参考訳）: LVLM(Large Vision-Language Models)は、モデル生成応答が視覚入力と矛盾する深刻な幻覚に悩まされる。 既存の幻覚緩和法は、主に好みのアライメントに基づいており、コストの増大と持続的な改善の限界を抑えるために、外部の人間のアノテーションや嗜好データ収集の補助モデルを必要とする。 これらの課題に対処するために,外部依存を伴わない幻覚を緩和する,新規で一般化可能な手法であるAPASI(Autonomous Preference Alignment via Self-Injection)を提案する。 APASIはターゲットのLVLMを利用して、生成した応答に幻覚を自己注入し、好みのレベルが異なるペアの応答を生成する。 自己注入過程において、非推奨応答は幻覚の3つの重要な観察に基づいて生成され、実際の幻覚パターンをシミュレートする。 この忠実度は幻覚軽減のための正確な学習信号を提供する。 さらに、APASIは、反復的なアライメントトレーニング戦略とカリキュラム学習を組み合わせることで、優先データを定期的に更新し、課題を増大させ、LVLMの安定的かつ継続的な拡張を可能にする。 6つのベンチマークにわたる大規模な実験により、APASIは3つのベースラインモデルに対する幻覚を効果的に緩和するだけでなく、外部依存性を持つアライメントベースのメソッドと同等またはそれ以上の性能を達成し、その効果と一般化能力を示すことが示されている。 コードはhttps://github.com/davidluciolu/APASIで公開されている。

関連論文リスト

• OViP: Online Vision-Language Preference Learning [26.54737360667123]
  大型視覚言語モデル(LVLM)は幻覚に弱いままであり、しばしば視覚入力と一致しないコンテンツを生成する。 本稿では,モデル独自の幻覚出力に基づいて,コントラスト学習データを動的に構築するオンラインビジョン言語嗜好学習フレームワークを提案する。 幻覚と一般的なベンチマークの実験は、OViPがコアマルチモーダル能力を保ちながら幻覚を効果的に減少させることを示した。
  論文  参考訳（メタデータ） (2025-05-21T19:26:09Z)
• HalluLens: LLM Hallucination Benchmark [49.170128733508335]
  大規模言語モデル(LLM)は、しばしばユーザ入力やトレーニングデータから逸脱する応答を生成する。 本稿では,新たな内因性評価タスクと既存内因性評価タスクを併用した総合幻覚ベンチマークを提案する。
  論文  参考訳（メタデータ） (2025-04-24T13:40:27Z)
• Generate, but Verify: Reducing Hallucination in Vision-Language Models with Retrospective Resampling [67.14942827452161]
  VLM(Vision-Language Models)は視覚的理解に優れ、視覚幻覚に悩まされることが多い。 本研究では,幻覚を意識したトレーニングとオンザフライの自己検証を統合した統合フレームワークREVERSEを紹介する。
  論文  参考訳（メタデータ） (2025-04-17T17:59:22Z)
• Detecting and Mitigating Hallucination in Large Vision Language Models via Fine-Grained AI Feedback [40.930238150365795]
  我々は,LVLM(Large Vision Language Models)における幻覚の検出と緩和について,きめ細かいAIフィードバックを用いて提案する。 プロプライエタリモデルによる小型幻覚アノテーションデータセットを生成する。 そこで本研究では,幻覚緩和モデルの訓練のための選好データセットを自動構築する検出テーマ書き換えパイプラインを提案する。
  論文  参考訳（メタデータ） (2024-04-22T14:46:10Z)
• AutoHall: Automated Hallucination Dataset Generation for Large Language Models [56.92068213969036]
  本稿では,AutoHallと呼ばれる既存のファクトチェックデータセットに基づいて,モデル固有の幻覚データセットを自動的に構築する手法を提案する。 また,自己コントラディションに基づくゼロリソース・ブラックボックス幻覚検出手法を提案する。
  論文  参考訳（メタデータ） (2023-09-30T05:20:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。