論文の概要: Understanding New-Knowledge-Induced Factual Hallucinations in LLMs: Analysis, Solution, and Interpretation

• arxiv url: http://arxiv.org/abs/2511.02626v1
• Date: Tue, 04 Nov 2025 14:55:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-05 18:47:06.08297
• Title: Understanding New-Knowledge-Induced Factual Hallucinations in LLMs: Analysis, Solution, and Interpretation
• Title（参考訳）: LLMにおける新しい知識によるファクチュアル・ハロシンの理解:分析,解法,解釈
• Authors: Renfei Dang, Peng Hu, Changjiang Gao, Shujian Huang,
• Abstract要約: 従来の研究では、大規模言語モデル(LLM)の微調整中に新しい知識を導入することで、既知の情報に基づいてテストした場合、誤った出力が発生することが示されている。 我々は,知識質問応答(QA)と知識推論タスクを含む,複数の知識タイプと2つのタスクタイプにわたるきめ細かい分析を行う。 特定の知識タイプがすべて新しい知識で構成されているデータセットに微調整を行うと、LLMは幻覚の傾向を著しく高める。 我々は,学習後期に少数の知識サンプルをパッチし,新しい知識による幻覚を効果的に緩和するKnownPatchを提案する。
• 参考スコア（独自算出の注目度）: 41.83870063693278
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Previous studies show that introducing new knowledge during large language models (LLMs) fine-tuning can lead to the generation of erroneous output when tested on known information, thereby triggering factual hallucinations. However, existing studies have not deeply investigated the specific manifestations and underlying mechanisms of these hallucinations. Our work addresses this gap by designing a controlled dataset Biography-Reasoning, and conducting a fine-grained analysis across multiple knowledge types and two task types, including knowledge question answering (QA) and knowledge reasoning tasks. We find that when fine-tuned on a dataset in which a specific knowledge type consists entirely of new knowledge, LLMs exhibit significantly increased hallucination tendencies. This suggests that the high unfamiliarity of a particular knowledge type, rather than the overall proportion of new knowledge, is a stronger driver of hallucinations, and these tendencies can even affect other knowledge types in QA tasks. To mitigate such factual hallucinations, we propose KnownPatch, which patches a small number of known knowledge samples in the later stages of training, effectively alleviating new-knowledge-induced hallucinations. Through attention analysis, we find that learning new knowledge reduces the model's attention to key entities in the question, thus causing excessive focus on the surrounding context, which may increase the risk of hallucination. Moreover, the attention pattern can propagate to similar contexts, facilitating the spread of hallucinations to textually similar questions. Our method effectively mitigates the disruption of new knowledge learning to the model's attention on key entities, accompanied by improved performance.
• Abstract（参考訳）: 従来の研究では、大規模言語モデル(LLM)の微調整中に新しい知識を導入することで、既知の情報でテストした場合に誤った出力が発生する可能性があることが示されており、事実の幻覚を引き起こす可能性がある。 しかし、既存の研究では、これらの幻覚の具体的な発現とメカニズムについて深く研究されていない。 我々の研究は、制御されたデータセットのバイオグラフィー推論を設計し、知識質問応答(QA)や知識推論タスクを含む複数の知識タイプと2つのタスクタイプにわたるきめ細かい分析を行うことによって、このギャップに対処する。 特定の知識タイプがすべて新しい知識で構成されたデータセットに微調整を施すと、LLMは幻覚傾向が著しく増大することがわかった。 これは、新しい知識の全体比率よりも、特定の知識タイプの不慣れ度が高いことが幻覚の強い要因であり、これらの傾向がQAタスクの他の知識タイプにも影響を及ぼすことを示唆している。 このような事実の幻覚を軽減するために,学習後期に少数の知識サンプルをパッチし,新たな知識による幻覚を効果的に緩和するKnownPatchを提案する。 注意分析により,新たな知識を学習することで,問題の主要エンティティに対するモデルの注意を減らし,周囲のコンテキストに過度な集中を生じさせることで,幻覚のリスクが増大することを見出した。 さらに、注意パターンは同様の文脈に伝播し、幻覚をテキスト的に類似した質問に拡散させる。 提案手法は,新たな知識学習の中断を効果的に軽減し,モデルが重要なエンティティに注目する上で,性能の向上を伴う。

関連論文リスト

• HACK: Hallucinations Along Certainty and Knowledge Axes [66.66625343090743]
  本稿では,2つの軸に沿って幻覚を分類する枠組みを提案する。 内部的に正しい知識を持っているにもかかわらず、モデルが確実に幻覚する幻覚のサブセットを特に特定する。
  論文  参考訳（メタデータ） (2025-10-28T09:34:31Z)
• Pierce the Mists, Greet the Sky: Decipher Knowledge Overshadowing via Knowledge Circuit Analysis [41.744536797387376]
  大型言語モデル(LLM)は幻覚によって妨げられている。 知識のオーバーシャドーイングは、ある活性化された知識が、必然的に別の関連する知識を隠蔽するときに起こる。 本稿では,知識の隠蔽を包括的に分析し,検出するためのフレームワークPhantomCircuitを紹介する。
  論文  参考訳（メタデータ） (2025-05-20T14:20:30Z)
• KSHSeek: Data-Driven Approaches to Mitigating and Detecting Knowledge-Shortcut Hallucinations in Generative Models [17.435794516702256]
  大規模言語モデル(LLM)は自然言語処理(NLP)の開発に大きく進歩している。 モデル幻覚は、複雑な原因のため、自然言語生成(NLG)タスクにおいて依然として大きな課題である。 この研究は、生成モデルにおける特定の幻覚の問題を緩和し、実世界のアプリケーションにおけるその堅牢性と信頼性を高めるための新しいパラダイムを導入する。
  論文  参考訳（メタデータ） (2025-03-25T09:18:27Z)
• The Law of Knowledge Overshadowing: Towards Understanding, Predicting, and Preventing LLM Hallucination [85.18584652829799]
  本稿では,知識のシェードイングをモデル化することで,事実の幻覚を定量化する新しい枠組みを提案する。 オーバシャドウ(27.9%)、MemoTrap(13.1%)、NQ-Swap(18.3%)のモデル事実性を顕著に向上させる。
  論文  参考訳（メタデータ） (2025-02-22T08:36:06Z)
• Combating Multimodal LLM Hallucination via Bottom-Up Holistic Reasoning [151.4060202671114]
  マルチモーダル大規模言語モデル(MLLM)は、視覚言語タスクを前進させる前例のない能力を示した。 本稿では,MLLMにおける幻覚に対処するためのボトムアップ推論フレームワークを提案する。 本フレームワークは、認識レベル情報と認知レベルコモンセンス知識を検証・統合することにより、視覚とテキストの両方の入力における潜在的な問題に体系的に対処する。
  論文  参考訳（メタデータ） (2024-12-15T09:10:46Z)
• Does Fine-Tuning LLMs on New Knowledge Encourage Hallucinations? [33.702498916775426]
  既存の知識を活用するための微調整モデルの能力に及ぼす新しい知識の影響について検討する。 大規模な言語モデルは、微調整によって新しい事実知識を取得するのに苦労していることを実証する。 新たな知識のサンプルが最終的に学習されるにつれて、モデルが幻覚化する傾向がリニアに増加する。
  論文  参考訳（メタデータ） (2024-05-09T17:00:22Z)
• Does the Generator Mind its Contexts? An Analysis of Generative Model Faithfulness under Context Transfer [42.081311699224585]
  本研究は,文脈知識に根ざした情報を生成するための知識増強ジェネレータについて紹介する。 我々の目的は、文脈的知識が変化した際のパラメトリック記憶から生じる幻覚の存在を探ることである。
  論文  参考訳（メタデータ） (2024-02-22T12:26:07Z)
• Knowledge Verification to Nip Hallucination in the Bud [69.79051730580014]
  本研究では、アライメントデータに存在する外部知識と基礎LPM内に埋め込まれた固有の知識との矛盾を検証し、最小化することにより、幻覚を緩和する可能性を示す。 本稿では,知識一貫性アライメント(KCA, Knowledge Consistent Alignment)と呼ばれる新しい手法を提案する。 6つのベンチマークで幻覚を減らし, バックボーンとスケールの異なる基礎的LCMを利用することで, KCAの優れた効果を実証した。
  論文  参考訳（メタデータ） (2024-01-19T15:39:49Z)
• Towards Mitigating Hallucination in Large Language Models via Self-Reflection [63.2543947174318]
  大規模言語モデル(LLM)は、質問応答(QA)タスクを含む生成的および知識集約的なタスクを約束している。 本稿では,広範に採用されているLCMとデータセットを用いた医療再生QAシステムにおける幻覚現象を解析する。
  論文  参考訳（メタデータ） (2023-10-10T03:05:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。