論文の概要: DHI: Leveraging Diverse Hallucination Induction for Enhanced Contrastive Factuality Control in Large Language Models

• arxiv url: http://arxiv.org/abs/2601.01156v1
• Date: Sat, 03 Jan 2026 10:55:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-06 16:25:22.058136
• Title: DHI: Leveraging Diverse Hallucination Induction for Enhanced Contrastive Factuality Control in Large Language Models
• Title（参考訳）: DHI:大規模言語モデルにおける拡張コントラストファクチュアリティ制御のための多言語幻覚誘導の活用
• Authors: Jiani Guo, Xiangke Zeng, Jie Wu, Zuchao Li,
• Abstract要約: 大型言語モデル(LLM)は、しばしば「幻覚」として知られる不正確な情報や偽造情報を生成する。 DHI(Diverse Hallucination induction)は,事前の注釈付きデータに頼らずにより広い範囲の幻覚を生成する新しい学習フレームワークである。 DHIは、複数の幻覚ベンチマークにまたがる他のコントラストなデコーディングベースのアプローチよりも大きなパフォーマンス向上を実現している。
• 参考スコア（独自算出の注目度）: 33.2779808039684
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) frequently produce inaccurate or fabricated information, known as "hallucinations," which compromises their reliability. Existing approaches often train an "Evil LLM" to deliberately generate hallucinations on curated datasets, using these induced hallucinations to guide contrastive decoding against a reliable "positive model" for hallucination mitigation. However, this strategy is limited by the narrow diversity of hallucinations induced, as Evil LLMs trained on specific error types tend to reproduce only these particular patterns, thereby restricting their overall effectiveness. To address these limitations, we propose DHI (Diverse Hallucination Induction), a novel training framework that enables the Evil LLM to generate a broader range of hallucination types without relying on pre-annotated hallucination data. DHI employs a modified loss function that down-weights the generation of specific factually correct tokens, encouraging the Evil LLM to produce diverse hallucinations at targeted positions while maintaining overall factual content. Additionally, we introduce a causal attention masking adaptation to reduce the impact of this penalization on the generation of subsequent tokens. During inference, we apply an adaptive rationality constraint that restricts contrastive decoding to tokens where the positive model exhibits high confidence, thereby avoiding unnecessary penalties on factually correct tokens. Extensive empirical results show that DHI achieves significant performance gains over other contrastive decoding-based approaches across multiple hallucination benchmarks.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、しばしば「幻覚(hallucinations)」と呼ばれる不正確な情報や偽造情報を生成し、信頼性を損なう。 既存のアプローチでは、しばしば "Evil LLM" を訓練して、キュレートされたデータセットに対する幻覚を意図的に生成し、これらの誘発幻覚を使って、幻覚の緩和のために信頼できる"陽性モデル"に対して対照的な復号を導く。 しかしながら、この戦略は、特定のエラータイプで訓練されたEvil LLMがこれらの特定のパターンのみを再現する傾向にあり、それによって全体的な効果が制限されるため、幻覚の狭い多様性によって制限される。 これらの制約に対処するため,我々は,Evil LLMが事前に注釈付けされた幻覚データに頼ることなく,より広範囲の幻覚を生成できる新しいトレーニングフレームワークであるDHI(Diverse Hallucination Injection)を提案する。 DHIは、特定の事実的正当なトークンの生成を軽視する修正された損失関数を採用しており、Evil LLMは、全体的事実的内容を維持しながら、標的位置で多様な幻覚を発生させることを奨励している。 さらに,この罰則がその後のトークン生成に与える影響を低減するために,因果注意マスキング適応を導入する。 推論において、正のモデルが高い信頼を示すトークンに対して、対照的な復号化を制限する適応的合理性制約を適用し、したがって、実際に正しいトークンに対する不要な罰則を回避する。 広汎な実験結果から、DHIは複数の幻覚ベンチマークにまたがる他の対照的な復号法よりも大きな性能向上を達成していることがわかる。

関連論文リスト

• PruneHal: Reducing Hallucinations in Multi-modal Large Language Models through Adaptive KV Cache Pruning [87.35309934860938]
  大型言語モデル(MLLM)における幻覚は、視覚トークンに割り当てられた注意不足と強く関連している。 我々は、適応的なKVキャッシュプルーニングを活用し、重要な視覚情報に焦点をあてるトレーニングフリーでシンプルで効果的な方法である textbfPruneHal を提案する。
  論文  参考訳（メタデータ） (2025-10-22T02:41:07Z)
• Exposing Hallucinations To Suppress Them: VLMs Representation Editing With Generative Anchors [8.089908150148554]
  マルチモーダル大規模言語モデル (MLLM) は様々な視覚言語タスクにおいて顕著な成功を収めている。 MLLMは幻覚に非常に敏感であり、視覚的証拠とは相容れない内容を生み出す。 本研究では,幻覚の緩和のための訓練不要で自己指導的な方法を提案する。
  論文  参考訳（メタデータ） (2025-09-26T07:24:28Z)
• Decoupling Contrastive Decoding: Robust Hallucination Mitigation in Multimodal Large Language Models [23.846371966667927]
  マルチモーダル大言語モデル(MLLM)は、明白な視覚的または事実的証拠と一致しない出力を生成する。 DCD(Decoupling Contrastive Decoding)という新しいフレームワークを提案する。 DCDは選好データセットにおける正と負のサンプルの学習を分離し、訓練はMLLM内で正と負のイメージ投影を分離する。
  論文  参考訳（メタデータ） (2025-04-09T02:59:18Z)
• Alleviating Hallucinations in Large Vision-Language Models through Hallucination-Induced Optimization [123.54980913741828]
  大規模ビジュアル言語モデル(LVLM)は、マルチモーダルデータの理解において、例外的な能力を示した。 彼らは必然的に幻覚に悩まされ、生成されたテキストと対応するイメージを切断する。 現在の視覚的コントラスト復号法のほとんどは、視覚的不確実性情報を導入して幻覚を緩和しようとするものである。 しかし、彼らは幻覚トークンを正確に誘導するのに苦労し、幻覚を緩和する効果を著しく制限した。
  論文  参考訳（メタデータ） (2024-05-24T08:46:31Z)
• Mitigating Hallucinations in Large Vision-Language Models with Instruction Contrastive Decoding [25.489832294197797]
  本稿では,LVLM推論における幻覚の低減を目的とした,命令コントラストデコーディング(ICD)手法を提案する。 本手法は,マルチモーダル核融合モジュールにおいて,外乱指示が幻覚を著しく悪化させるという観察に着想を得たものである。
  論文  参考訳（メタデータ） (2024-03-27T16:04:47Z)
• Alleviating Hallucinations of Large Language Models through Induced Hallucinations [67.35512483340837]
  大規模言語モデル(LLM)は、不正確な情報や製造された情報を含む応答を生成するために観察されている。 幻覚を緩和するための単純なtextitInduce-then-Contrast Decoding (ICD) 戦略を提案する。
  論文  参考訳（メタデータ） (2023-12-25T12:32:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。