論文の概要: Mitigating Object Hallucinations via Sentence-Level Early Intervention

• arxiv url: http://arxiv.org/abs/2507.12455v2
• Date: Sat, 26 Jul 2025 18:41:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-29 14:15:46.97346
• Title: Mitigating Object Hallucinations via Sentence-Level Early Intervention
• Title（参考訳）: 文レベル早期介入による物体の幻覚の緩和
• Authors: Shangpin Peng, Senqiao Yang, Li Jiang, Zhuotao Tian,
• Abstract要約: マルチモーダルな大言語モデル(MLLM)は、多モーダルな理解に革命をもたらしたが、幻覚と闘い続けている。 人間のアノテーションに依存しないフレームワークであるSENTINELを提案する。 文レベルの早期iNtervention through IN- domain preference Learningは、オリジナルのモデルと比較して幻覚を90%以上減らすことができる。
• 参考スコア（独自算出の注目度）: 10.642552315531404
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multimodal large language models (MLLMs) have revolutionized cross-modal understanding but continue to struggle with hallucinations - fabricated content contradicting visual inputs. Existing hallucination mitigation methods either incur prohibitive computational costs or introduce distribution mismatches between training data and model outputs. We identify a critical insight: hallucinations predominantly emerge at the early stages of text generation and propagate through subsequent outputs. To address this, we propose SENTINEL (Sentence-level Early iNtervention Through IN-domain prEference Learning), a framework that eliminates dependency on human annotations. Specifically, we first bootstrap high-quality in-domain preference pairs by iteratively sampling model outputs, validating object existence through cross-checking with two open-vocabulary detectors, and classifying sentences into hallucinated/non-hallucinated categories. Subsequently, we use context-coherent positive samples and hallucinated negative samples to build context-aware preference data iteratively. Finally, we train models using a context-aware preference loss (C-DPO) that emphasizes discriminative learning at the sentence level where hallucinations initially manifest. Experimental results show that SENTINEL can reduce hallucinations by over 90% compared to the original model and outperforms the previous state-of-the-art method on both hallucination benchmarks and general capabilities benchmarks, demonstrating its superiority and generalization ability. The models, datasets, and code are available at https://github.com/pspdada/SENTINEL.
• Abstract（参考訳）: マルチモーダル・大規模言語モデル(MLLM)は、相互モーダル理解に革命をもたらしたが、視覚的な入力と矛盾するコンテンツである幻覚に苦慮し続けている。 既存の幻覚緩和手法は、禁忌な計算コストを発生させるか、トレーニングデータとモデル出力の分布ミスマッチを導入する。 幻覚は、主にテキスト生成の初期段階に現れ、その後の出力を通じて伝播する。 そこで本研究では,SENTINEL(Sentence-level Early iNtervention Through IN- domain preference Learning)を提案する。 具体的には、モデル出力を反復サンプリングして高品質なドメイン選択ペアをブートストラップし、2つのオープンボキャブラリ検出器とのクロスチェックによりオブジェクトの存在を検証し、文を幻覚/非ハロゲン化カテゴリに分類する。 その後、コンテキストコヒーレントなポジティブなサンプルと幻覚的なネガティブなサンプルを用いて、コンテキスト認識の嗜好データを反復的に構築する。 最後に,最初に幻覚が現れる文レベルでの識別学習を強調する文脈認識的嗜好損失(C-DPO)を用いてモデルを訓練する。 実験結果から,SENTINELはオリジナルのモデルと比較して幻覚を90%以上低減し,幻覚ベンチマークと一般機能ベンチマークの両方において従来の最先端手法よりも優れており,その優位性と一般化能力を示している。 モデル、データセット、コードはhttps://github.com/pspdada/SENTINEL.comで公開されている。

関連論文リスト

• Generate, but Verify: Reducing Hallucination in Vision-Language Models with Retrospective Resampling [67.14942827452161]
  VLM(Vision-Language Models)は視覚的理解に優れ、視覚幻覚に悩まされることが多い。 本研究では,幻覚を意識したトレーニングとオンザフライの自己検証を統合した統合フレームワークREVERSEを紹介する。
  論文  参考訳（メタデータ） (2025-04-17T17:59:22Z)
• Detecting and Mitigating Hallucination in Large Vision Language Models via Fine-Grained AI Feedback [40.930238150365795]
  我々は,LVLM(Large Vision Language Models)における幻覚の検出と緩和について,きめ細かいAIフィードバックを用いて提案する。 プロプライエタリモデルによる小型幻覚アノテーションデータセットを生成する。 そこで本研究では,幻覚緩和モデルの訓練のための選好データセットを自動構築する検出テーマ書き換えパイプラインを提案する。
  論文  参考訳（メタデータ） (2024-04-22T14:46:10Z)
• Alleviating Hallucinations of Large Language Models through Induced Hallucinations [67.35512483340837]
  大規模言語モデル(LLM)は、不正確な情報や製造された情報を含む応答を生成するために観察されている。 幻覚を緩和するための単純なtextitInduce-then-Contrast Decoding (ICD) 戦略を提案する。
  論文  参考訳（メタデータ） (2023-12-25T12:32:49Z)
• Detecting and Preventing Hallucinations in Large Vision Language Models [4.7264116948935975]
  M-HalDetectは、詳細な画像記述のための最初のマルチモーダル幻覚検出データセットである。 InstructBLIPから細粒度マルチモーダル報酬モデルを訓練し,その有効性を評価する。 LLaVAとmPLUG-OWLの幻覚をそれぞれ15%と57%低減する。
  論文  参考訳（メタデータ） (2023-08-11T21:35:20Z)
• Detecting Hallucinated Content in Conditional Neural Sequence Generation [165.68948078624499]
  出力シーケンスの各トークンが(入力に含まれていない)幻覚化されているかどうかを予測するタスクを提案する。 また、合成データに微調整された事前学習言語モデルを用いて幻覚を検出する方法についても紹介する。
  論文  参考訳（メタデータ） (2020-11-05T00:18:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。