論文の概要: Popular Knowledge Propagates More Errors in LLM Knowledge Updating

• arxiv url: http://arxiv.org/abs/2609.08067v1
• Date: Tue, 08 Sep 2026 00:23:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-11 19:42:45.311208
• Title: Popular Knowledge Propagates More Errors in LLM Knowledge Updating
• Title（参考訳）: LLMの知識更新において、一般的な知識がより多くのエラーを伝搬する
• Abstract要約: 微調整による言語モデルの知識の更新は、事実的忘れと新たな幻覚を引き起こす可能性がある。 我々は、他のアップデートにおいて、どの事実が担保的腐敗に最も弱いかを調査する。 本稿では,ごく少数の人気事実を保存し,忘れを少なくする軽量なリハーサル戦略であるPopAnchor(PopAnchor)を提案する。
• 参考スコア（独自算出の注目度）: 64.62006223921576
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Updating a language model's knowledge through fine-tuning is essential for keeping its outputs current, yet can also induce factual forgetting and new hallucinations. Prior work shows that long-tail knowledge is harder to acquire and newly memorized long-tail facts are difficult to retain during later fine-tuning. We study a complementary question: among facts that a model has encoded correctly, which are most vulnerable to collateral corruption during other updates? To investigate this question under a realistic factual distribution, we construct a large-scale graph FACTPROP of verified Wikipedia facts by linking triples that share head or tail entities, thereby preserving connections among factual knowledge. We fine-tune models on factual statements and measure correct-to-incorrect facts after each update. Our results reveal a pattern distinct from prior findings on long-tail vulnerability during acquisition and retention: among facts that models already answer correctly, those associated with highly connected entities are more likely to be corrupted by neighboring updates, and updates to such facts propagate errors more broadly. Structural popularity therefore predicts both vulnerability and downstream damage. Inspired by this finding, we propose Popularity-based Anchoring (PopAnchor), a lightweight rehearsal strategy that preserves a small set of popular facts and reduces forgetting.
• Abstract（参考訳）: 言語モデルの知識を微調整で更新することは、アウトプットを現在の状態に保つのに不可欠だが、事実を忘れたり、新しい幻覚を引き起こすこともある。 先行研究は、長い尾の知識は取得が困難であり、新しく記憶された長い尾の事実は後続の微調整の間保持が困難であることを示している。 モデルが正しくエンコードされたという事実の中で、他の更新の際の担保的腐敗に対して最も脆弱なことは何か? この問題を現実的な事実分布下で調査するため,本研究では,頭部や尾の実体を共有する3つの要素をリンクすることで,検証済みのウィキペディア事実の大規模グラフFACTPROPを構築し,事実知識間の関連性を維持する。 各更新後に、ファクトステートメントのモデルを微調整し、正誤事実を計測する。 モデルがすでに正解している事実のうち、高度に連結されたエンティティに関連するものは、近隣の更新によって破損しやすくなり、そのような事実に対する更新は、より広範囲にエラーを伝播する。 したがって、構造的な人気は、脆弱性と下流の損傷の両方を予測する。 この発見に触発されて、我々は、少数の人気事実を保存し、忘れを少なくする軽量なリハーサル戦略であるPopAnchor(PopAnchor)を提案する。

関連論文リスト

• NewsEdits 2.0: Learning the Intentions Behind Updating News [74.84017890548259]
  イベントが進むにつれて、ニュース記事は新しい情報で更新されることが多い。 本研究では,言語的特徴が事実流動性を示すことを仮定し,ニュース記事のテキストのみを用いて,どの事実が更新されるかを予測する。
  論文  参考訳（メタデータ） (2024-11-27T23:35:23Z)
• Learning and Unlearning of Fabricated Knowledge in Language Models [16.971082623826263]
  共通知識と矛盾する事実が数万のトレーニングステップで記憶されていることを示す。 LMにおける知識共用事実の影響は,長期にわたる可能性があるが,マルチステップスパース更新の新たな適用により,ほぼ消去可能であることを示す。
  論文  参考訳（メタデータ） (2024-10-29T05:33:14Z)
• Understanding Finetuning for Factual Knowledge Extraction [45.398982602347765]
  本研究は,事前学習中に不備な既知事実の微調整は,事前学習中にすべての事実が見られた場合でも,既知事実の微調整よりもはるかに悪い事実性を示すものであることを示す。 その結果,事前学習した知識と微調整データとの相互作用に光を当て,知識集約的なタスクを微調整する場合に,事実が事前学習されたモデルにどのように格納されているかを考慮することが重要であることを示した。
  論文  参考訳（メタデータ） (2024-06-20T23:27:06Z)
• Outdated Issue Aware Decoding for Reasoning Questions on Edited Knowledge [93.54427119091174]
  本稿では,従来のISsueを意識した復号化手法を提案する。 元のモデルと編集されたモデルとの確率分布の差を捉える。 我々は、古くなった問題を緩和するために、編集されたモデルにおけるトークン予測の違いを増幅する。
  論文  参考訳（メタデータ） (2024-06-05T03:00:15Z)
• Does Fine-Tuning LLMs on New Knowledge Encourage Hallucinations? [33.702498916775426]
  既存の知識を活用するための微調整モデルの能力に及ぼす新しい知識の影響について検討する。 大規模な言語モデルは、微調整によって新しい事実知識を取得するのに苦労していることを実証する。 新たな知識のサンプルが最終的に学習されるにつれて、モデルが幻覚化する傾向がリニアに増加する。
  論文  参考訳（メタデータ） (2024-05-09T17:00:22Z)
• Know When To Stop: A Study of Semantic Drift in Text Generation [9.76171773410722]
  現代のLSMは、まず正しい事実を生成し、次に「引き離し」、後に誤った事実を生成する傾向があることを示す。 この誤生成パターンは、いつ生成を中止すべきかを知ることで、事実精度を向上させることができることを示している。
  論文  参考訳（メタデータ） (2024-04-08T11:25:30Z)
• MuLan: A Study of Fact Mutability in Language Models [50.626787909759976]
  信頼できる言語モデルは、理想的には変更可能な事実をそのようなものとして識別し、それに従って処理する。 MuLanは、英語モデルが時間一貫性を予測できる能力を評価するためのベンチマークです。
  論文  参考訳（メタデータ） (2024-04-03T19:47:33Z)
• Mitigating Temporal Misalignment by Discarding Outdated Facts [58.620269228776294]
  大規模な言語モデルは、しばしば時間的ミスアライメントの下で使われ、現在に関する質問に答える。 我々は、ある事実がいつまで真実であるかを予測するタスクとして、事実期間予測を提案する。 私たちのデータとコードはhttps://github.com/mikejqzhang/mitigating_misalignment.comで公開されています。
  論文  参考訳（メタデータ） (2023-05-24T07:30:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。