論文の概要: When Forgetting is not Catastrophic: On the Mechanics of Spurious Forgetting

• arxiv url: http://arxiv.org/abs/2610.08718v1
• Date: Tue, 06 Oct 2026 17:25:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 02:58:30.146906
• Title: When Forgetting is not Catastrophic: On the Mechanics of Spurious Forgetting
• Title（参考訳）: 偽造が破滅的でないとき--偽造の仕組みについて
• Abstract要約: 微調整の間、言語モデルが忘れているように見える知識は、しばしば保存され、回復することができる。 私たちはそのような忘れ物が破滅的でないことを理解しようと努力している。
• 参考スコア（独自算出の注目度）: 52.03476298310503
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: Knowledge that a language model appears to forget during finetuning often remains stored and can be recovered, a phenomenon called spurious forgetting. Finetuning on new facts can even produce forgetting that undoes itself: recall of the old facts collapses, recovers as training continues on new facts alone, and only then erodes for good. We seek to understand when such forgetting is not catastrophic. A minimal associative memory reproduces these dynamics with three ingredients: keys with shared structure, concentrated new values, and normalization in the network. Finetuning moves all old representations along a common direction, hiding the old facts while preserving their relative geometry; normalization withdraws this shift once the new facts are learned, whereas fact-specific changes accumulate and cause the erosion. Moreover, subtracting the common shift eliminates the collapse in a Transformer trained on synthetic data, and removing a single direction from each weight update restores old facts in a pretrained language model. Forgetting thus combines a shared, reversible loss of access with a slow erosion of individual facts, and only the second is catastrophic. Which one dominates depends on whether the new data move old memories together or apart.
• Abstract（参考訳）: 微調整の間、言語モデルが忘れているように見える知識は、しばしば保存され、回復することができる。 古い事実の記憶は崩壊し、新しい事実だけを訓練し続けると回復する。 私たちはそのような忘れ物が破滅的でないことを理解しようと努力している。 最小連想メモリは、共有構造を持つキー、集中した新しい値、ネットワークにおける正規化の3つの要素でこれらのダイナミクスを再現する。 ファインタニングはすべての古い表現を共通の方向に沿って移動させ、それらの相対幾何学を保ちながら古い事実を隠蔽する。 さらに、共通シフトの減算は、合成データに基づいて訓練されたトランスフォーマーの崩壊を排除し、各重み更新から単一の方向を除去することで、事前訓練された言語モデルにおける古い事実を復元する。 これにより、共有された可逆的なアクセス損失と個々の事実の緩やかな侵食が組み合わされ、そして2つ目だけが破滅的なものである。 どちらが支配するかは、新しいデータが古い記憶を一緒に移動させるかどうかによって決まる。

関連論文リスト

• Popular Knowledge Propagates More Errors in LLM Knowledge Updating [64.62006223921576]
  微調整による言語モデルの知識の更新は、事実的忘れと新たな幻覚を引き起こす可能性がある。 我々は、他のアップデートにおいて、どの事実が担保的腐敗に最も弱いかを調査する。 本稿では,ごく少数の人気事実を保存し,忘れを少なくする軽量なリハーサル戦略であるPopAnchor(PopAnchor)を提案する。
  論文  参考訳（メタデータ） (2026-09-08T00:23:27Z)
• Continual Learning via Sparse Memory Finetuning [58.163704181154834]
  本稿では,スパースパラメータの更新が大惨事な忘れをせずに学習を可能にするかどうかを考察する。 事前学習データの使用に関する新しい知識によって活性化されるメモリスロットのみを更新することにより、新しい知識とモデルの既存の能力との干渉を減らすことができる。 スパースメモリの微調整は、忘れることを大幅に減らしながら、新しい知識を学習することを発見した。
  論文  参考訳（メタデータ） (2025-10-16T19:44:38Z)
• Learning and Unlearning of Fabricated Knowledge in Language Models [16.971082623826263]
  共通知識と矛盾する事実が数万のトレーニングステップで記憶されていることを示す。 LMにおける知識共用事実の影響は,長期にわたる可能性があるが,マルチステップスパース更新の新たな適用により,ほぼ消去可能であることを示す。
  論文  参考訳（メタデータ） (2024-10-29T05:33:14Z)
• Diagnosing Catastrophe: Large parts of accuracy loss in continual learning can be accounted for by readout misalignment [0.0]
  データ分散の変更に関するニューラルネットワークのトレーニングは、古いタスクのパフォーマンスを急速に低下させる。 本稿では,この性能を損なう表現的変化について検討し,この現象を考慮に入れた3つの異なる過程を同定する。
  論文  参考訳（メタデータ） (2023-10-09T11:57:46Z)
• Mitigating Temporal Misalignment by Discarding Outdated Facts [58.620269228776294]
  大規模な言語モデルは、しばしば時間的ミスアライメントの下で使われ、現在に関する質問に答える。 我々は、ある事実がいつまで真実であるかを予測するタスクとして、事実期間予測を提案する。 私たちのデータとコードはhttps://github.com/mikejqzhang/mitigating_misalignment.comで公開されています。
  論文  参考訳（メタデータ） (2023-05-24T07:30:08Z)
• Retentive or Forgetful? Diving into the Knowledge Memorizing Mechanism of Language Models [49.39276272693035]
  大規模事前学習型言語モデルは、顕著な記憶能力を示している。 プレトレーニングのないバニラニューラルネットワークは、破滅的な忘れ物問題に悩まされていることが長年観察されてきた。 1)バニラ言語モデルは忘れがちである; 2)事前学習は暗黙の言語モデルにつながる; 3)知識の妥当性と多様化は記憶形成に大きな影響を及ぼす。
  論文  参考訳（メタデータ） (2023-05-16T03:50:38Z)
• Brain-inspired feature exaggeration in generative replay for continual learning [4.682734815593623]
  新しいクラスを学ぶとき、以前に学んだクラスの内部表現はしばしば上書きされる。 神経科学の最近の進歩は、脳が自身の記憶干渉を避ける方法を発見した。 本稿では,クラス増分学習データセットCIFAR100の早期クラス分類における最先端性能について述べる。
  論文  参考訳（メタデータ） (2021-10-26T10:49:02Z)
• Association: Remind Your GAN not to Forget [11.653696510515807]
  本稿では,連想学習過程を模倣して連続学習を実現する脳様アプローチを提案する。 画像から画像への翻訳作業における破滅的忘れを緩和する手法の有効性を実験により実証した。
  論文  参考訳（メタデータ） (2020-11-27T04:43:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。