論文の概要: Don't Forget! Decomposing the Training Dynamics of Memorization in Language Models
- arxiv url: http://arxiv.org/abs/2609.34933v1
- Date: Mon, 28 Sep 2026 11:31:23 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-03 01:40:18.638485
- Title: Don't Forget! Decomposing the Training Dynamics of Memorization in Language Models
- Title（参考訳）: 忘れるな! 言語モデルにおける記憶のトレーニングダイナミクスの分解
- Abstract要約: 我々は、記憶されたシーケンスの損失軌跡をトレーニングやモデルパラメータよりも分解することで、記憶の微粒化を考察する。
ピキア族全体では、重複した訓練配列(リサイクリング)と稀な訓練配列(リコール)の記憶について研究する。
- 参考スコア（独自算出の注目度）: 40.3905987483166
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Memorization has been proposed as a mechanism to explain how language models fit the tail of their training distributions, but its training dynamics are not understood well. In this work, we take a fine-grained look at memorization by decomposing the loss trajectory of memorized sequences over training and model parameters. Across the Pythia family, we study memorization of duplicated training sequences (recitation) and rare ones (recollection). We find that memorization in both cases is characterized by sequence-level gradient alignment, though recitation suffers from misalignment with other training influences which causes forgetting, explaining the necessity for higher duplication of these examples. We further show that the lower model layers are the most involved in memorization and forgetting. Predicting memorization, our decomposition improves over a cross-entropy baseline, especially in larger models and early in training. Intervening on a small set of highly influential parameters we are able to ablate memorization in the final model. Together, these findings advance our understanding of how memorization develops during training and offer insights for predicting and intervening on it.
- Abstract（参考訳）: メモリ化は、言語モデルがトレーニング分布の尾にどのように適合するかを説明するメカニズムとして提案されているが、そのトレーニングダイナミクスはよく理解されていない。
本研究では,記憶されたシーケンスの損失軌跡をトレーニングやモデルパラメータよりも分解することで,記憶の微粒化を考察する。
Pythia familyでは, 重複したトレーニングシーケンス(リサイクリング)と稀なトレーニングシーケンス(リコール)の記憶について検討した。
いずれの場合も暗記はシーケンスレベルのアライメントアライメントによって特徴づけられるが,リサイクリングは他のトレーニングの影響と不一致に悩まされ,これらの例の重複度を高くする必要性が説明できる。
さらに、下層のモデル層が記憶と忘れに最も関与していることも示します。
メモリ化を予測し, クロスエントロピーベースライン, 特に大規模モデル, 早期トレーニングにおいて, 分解速度が向上する。
非常に影響力のあるパラメータの小さなセットに介入することで、最終モデルでの暗記を緩和することができます。
これらの発見は、トレーニング中の記憶の発達に関する理解を深め、その予測と介入のための洞察を提供する。
関連論文リスト
- Beyond Frequency: The Role of Redundancy in Large Language Model Memorization [13.044826650528192]
大規模言語モデルの記憶は、これらのシステムが数十億のパラメータにスケールするにつれて、プライバシと公正性にとって重大なリスクをもたらす。
また,非記憶標本の頻度は最小限に抑えられるが,非記憶試料の頻度は著しく増大することを示した。
以上の結果から,データ前処理における冗長性に配慮したアプローチの可能性を示唆し,プライバシのリスクを低減し,バイアスを軽減し,モデル展開の公正性を確保する。
論文 参考訳（メタデータ） (2025-06-14T03:02:42Z) - Demystifying Verbatim Memorization in Large Language Models [67.49068128909349]
大きな言語モデル(LLM)は、しばしば長いシーケンスを冗長に記憶し、しばしば深刻な法的およびプライバシー上の意味を持つ。
我々は, Pythia チェックポイントからのプレトレーニングをインジェクトシーケンスで継続することにより, 制御された環境下での動詞の暗記を学習する枠組みを開発する。
その結果,(1) 動詞の暗記には非自明な繰り返しが必要であり,(2) 後続の(おそらくはより良い)チェックポイントは,アウト・オブ・ディストリビューション・シーケンスであっても,動詞の列を暗記する傾向にあることがわかった。
論文 参考訳（メタデータ） (2024-07-25T07:10:31Z) - Emergent and Predictable Memorization in Large Language Models [23.567027014457775]
メモリ化、あるいはトレーニングデータから全シーケンスを出力する大規模言語モデルの傾向は、安全に言語モデルをデプロイする上で重要な関心事である。
我々は,大規模モデルのフルトレインタイム前にどのシーケンスを記憶するかを,低速トライアルの実行時の記憶挙動を外挿することによって予測する。
モデルとデータ間のメモリ化スコアの分布に関する新たな発見を提供する。
論文 参考訳（メタデータ） (2023-04-21T17:58:31Z) - Preventing Verbatim Memorization in Language Models Gives a False Sense
of Privacy [91.98116450958331]
我々は、動詞の暗記の定義があまりに制限的であり、より微妙な暗記の形式を捉えることができないと論じる。
具体的には、全ての動詞の暗記を完全に防止する効率的な防御を設計し、実装する。
我々は、潜在的な代替定義について議論し、なぜ記憶の定義がニューラルネットワークモデルにとって難しいが決定的なオープンな問題であるのかを論じる。
論文 参考訳（メタデータ） (2022-10-31T17:57:55Z) - Memorization Without Overfitting: Analyzing the Training Dynamics of
Large Language Models [64.22311189896888]
因果的および仮面的言語モデリング、モデルサイズ、およびトレーニングプロセス全体における正確な記憶について検討する。
驚くべきことに、大きなモデルは過度に適合する前にデータの大部分を記憶し、トレーニングプロセスを通して忘れる傾向にある。
論文 参考訳（メタデータ） (2022-05-22T07:43:50Z) - Quantifying Memorization Across Neural Language Models [61.58529162310382]
大規模言語モデル(LM)は、トレーニングデータの一部を記憶するために示され、適切に誘導されると、記憶されたデータを冗長に出力する。
これは、暗記がプライバシーを侵害し(ユーザーデータをエクスポーティングする)、実用性を低下させ(繰り返し覚えやすいテキストは、しばしば品質が低い)、公平性を損なうため、望ましくない。
本稿では、LMが記憶されたトレーニングデータを出力する度合いを定量化する3つの対数線形関係について述べる。
論文 参考訳（メタデータ） (2022-02-15T18:48:31Z) - Counterfactual Memorization in Neural Language Models [91.8747020391287]
様々なNLPタスクで広く使用されている現代のニューラルネットワークモデルは、トレーニングデータからセンシティブな情報を記憶するリスクがある。
言語モデル記憶の以前の研究におけるオープンな疑問は、「一般的な」記憶の除去方法である。
トレーニング中に特定の文書が省略された場合、モデルの予測がどのように変化するかを特徴付ける反事実記憶の概念を定式化する。
論文 参考訳（メタデータ） (2021-12-24T04:20:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。