論文の概要: Why Fine-Tuning Encourages Hallucinations and How to Fix It

• arxiv url: http://arxiv.org/abs/2604.15574v1
• Date: Thu, 16 Apr 2026 23:08:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-20 22:00:19.673503
• Title: Why Fine-Tuning Encourages Hallucinations and How to Fix It
• Title（参考訳）: 微調整で幻覚を和らげる理由と修正方法
• Authors: Guy Kaplan, Zorik Gekhman, Zhen Zhu, Lotem Rozner, Yuval Reif, Swabha Swayamdipta, Derek Hoiem, Roy Schwartz,
• Abstract要約: 大規模な言語モデルは、事実的に誤った文を幻覚させる傾向がある。 Supervised Fine-tuning (SFT) は、事前訓練中に獲得した知識に対する幻覚を増加させる。 本稿では,幻覚を最小化しつつ,効果的な事実学習を容易にする自己蒸留型SFT法を提案する。
• 参考スコア（独自算出の注目度）: 27.74051038037123
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models are prone to hallucinating factually incorrect statements. A key source of these errors is exposure to new factual information through supervised fine-tuning (SFT), which can increase hallucinations w.r.t. knowledge acquired during pre-training. In this work, we explore whether SFT-induced hallucinations can be mitigated using established tools from the continual learning literature, since they arise as a by-product of knowledge degradation during training. We propose a self-distillation-based SFT method that facilitates effective factual learning while minimizing hallucinations w.r.t. pre-existing knowledge by regularizing output-distribution drift. We also show that, in settings where new knowledge acquisition is unnecessary, suppressing factual plasticity by freezing parameter groups, can preserve task performance while reducing hallucinations. Lastly, we investigate the mechanism behind SFT-induced hallucinations through three hypotheses: capacity limitations, behavior cloning, and localized interference. Our experiments show that a main driver is interference among overlapping semantic representations, and that self-distillation succeeds by mitigating this interference.
• Abstract（参考訳）: 大規模な言語モデルは、事実的に誤った文を幻覚させる傾向がある。 これらの誤りの主な原因は、教師付き微調整(SFT)を通じて新しい事実情報に触れることである。 本研究では,SFTによる幻覚は,学習中の知識劣化の副産物として生じるため,継続学習文献から確立されたツールを用いて緩和することができるかを検討する。 本稿では,実効的な事実学習を容易にする自己蒸留に基づくSFT手法を提案する。 また,新たな知識獲得が不要な環境では,パラメータ群を凍結することにより,現実の可塑性を抑えることができ,幻覚を低減しつつタスク性能を維持できることを示す。 最後に, SFT誘発幻覚のメカニズムについて, 容量制限, 行動クローニング, 局所的干渉の3つの仮説を用いて検討した。 実験の結果,主ドライバは重なり合う意味表現間の干渉であり,自己蒸留はこの干渉を緩和することに成功した。

関連論文リスト

• Understanding New-Knowledge-Induced Factual Hallucinations in LLMs: Analysis, Solution, and Interpretation [41.83870063693278]
  従来の研究では、大規模言語モデル(LLM)の微調整中に新しい知識を導入することで、既知の情報に基づいてテストした場合、誤った出力が発生することが示されている。 我々は,知識質問応答(QA)と知識推論タスクを含む,複数の知識タイプと2つのタスクタイプにわたるきめ細かい分析を行う。 特定の知識タイプがすべて新しい知識で構成されているデータセットに微調整を行うと、LLMは幻覚の傾向を著しく高める。 我々は,学習後期に少数の知識サンプルをパッチし,新しい知識による幻覚を効果的に緩和するKnownPatchを提案する。
  論文  参考訳（メタデータ） (2025-11-04T14:55:24Z)
• HACK: Hallucinations Along Certainty and Knowledge Axes [66.66625343090743]
  本稿では,2つの軸に沿って幻覚を分類する枠組みを提案する。 内部的に正しい知識を持っているにもかかわらず、モデルが確実に幻覚する幻覚のサブセットを特に特定する。
  論文  参考訳（メタデータ） (2025-10-28T09:34:31Z)
• Triggering Hallucinations in LLMs: A Quantitative Study of Prompt-Induced Hallucination in Large Language Models [0.0]
  大規模言語モデル(LLM)における幻覚は、現実世界のアプリケーションにまたがる課題が増えていることを示している。 幻覚を系統的に引き起こし定量化するプロンプトベースのフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-05-01T14:33:47Z)
• HalluLens: LLM Hallucination Benchmark [49.170128733508335]
  大規模言語モデル(LLM)は、しばしばユーザ入力やトレーニングデータから逸脱する応答を生成する。 本稿では,新たな内因性評価タスクと既存内因性評価タスクを併用した総合幻覚ベンチマークを提案する。
  論文  参考訳（メタデータ） (2025-04-24T13:40:27Z)
• Trust Me, I'm Wrong: LLMs Hallucinate with Certainty Despite Knowing the Answer [51.7407540261676]
  本研究では,モデルが常に正しい解答を行うことのできる幻覚の別のタイプについて検討するが,一見自明な摂動は,高い確実性で幻覚応答を生じさせる。 この現象は特に医学や法学などの高度な領域において、モデルの確実性はしばしば信頼性の代用として使用される。 CHOKEの例は、プロンプト間で一貫性があり、異なるモデルやデータセットで発生し、他の幻覚と根本的に異なることを示す。
  論文  参考訳（メタデータ） (2025-02-18T15:46:31Z)
• On Large Language Models' Hallucination with Regard to Known Facts [74.96789694959894]
  大規模な言語モデルはファクトイドの質問に答えることに成功したが、幻覚を起こす傾向がある。 正しい解答知識を持つLLMの現象を推論力学の観点から検討する。 我々の研究は、LLMの幻覚が既知の事実について、そしてより重要なのは、幻覚を正確に予測する理由を理解することに光を当てた。
  論文  参考訳（メタデータ） (2024-03-29T06:48:30Z)
• In-Context Sharpness as Alerts: An Inner Representation Perspective for Hallucination Mitigation [36.31646727970656]
  大規模言語モデル(LLM)は、しばしば幻覚を起こし、事実の誤りを引き起こす。 正しい世代は、不正な世代に比べて、コンテキスト内のトークンの隠された状態において、よりシャープなコンテキストアクティベーションを持つ傾向がある。 本研究では,テキスト内隠れ状態のシャープネス'を定量化し,デコード処理に組み込むエントロピーに基づく計量法を提案する。
  論文  参考訳（メタデータ） (2024-03-03T15:53:41Z)
• HalluciDoctor: Mitigating Hallucinatory Toxicity in Visual Instruction Data [102.56792377624927]
  機械生成データに固有の幻覚は未発見のままである。 本稿では,クロスチェックパラダイムに基づく新しい幻覚検出・除去フレームワークであるHaluciDoctorを提案する。 LLaVAに比べて44.6%の幻覚を緩和し,競争性能を維持した。
  論文  参考訳（メタデータ） (2023-11-22T04:52:58Z)
• Inspecting the Factuality of Hallucinated Entities in Abstractive Summarization [36.052622624166894]
  State-of-the-art abstractive summarization system(最先端の抽象的な要約システム)は、しばしば、源文から直接推測できない内容(Emphhallucination)を生成する。 本研究では,実体の非現実的幻覚から事実を分離する新たな検出手法を提案する。
  論文  参考訳（メタデータ） (2021-08-30T15:40:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。