論文の概要: Memory Dial: A Training Framework for Controllable Memorization in Language Models
- arxiv url: http://arxiv.org/abs/2604.05074v1
- Date: Mon, 06 Apr 2026 18:19:58 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-08 17:42:09.436297
- Title: Memory Dial: A Training Framework for Controllable Memorization in Language Models
- Title（参考訳）: メモリダイアル: 言語モデルにおける制御可能な記憶のトレーニングフレームワーク
- Authors: Xiangbo Zhang, Ali Emami,
- Abstract要約: Memory Dialは、暗記圧力を明示的で制御可能な変数にするトレーニングフレームワークである。
その結果, 目視精度は単調に上昇する一方, 目視精度は安定であり, 確実に記憶圧を制御できることが示唆された。
さらなる分析により、この効果は急激な温度範囲で頑健であり、単温度のクロスエントロピーと定性的に異なり、多言語設定に遷移し、自然発生の単発配列でも検出可能であることが示された。
- 参考スコア（独自算出の注目度）: 13.390284247792783
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Memorization in language models is widely studied but remains difficult to isolate and control. Understanding when and what models memorize is essential for explaining their predictions, yet existing approaches are post-hoc: they can detect memorization in trained models, but cannot disentangle its effects from architecture, data, or optimization. We introduce Memory Dial, a training framework that makes memorization pressure an explicit, controllable variable. Memory Dial interpolates between standard cross-entropy and a temperature-sharpened objective via a single parameter $α$, producing a family of models identical in architecture and training setup (within each sweep), differing only in memorization pressure. Experiments across six architectures and five benchmarks demonstrate that: (1) $α$ reliably controls memorization pressure, with seen-example accuracy increasing monotonically while unseen accuracy remains stable; (2) larger models are more responsive to memorization pressure; and (3) frequent sequences are easier to memorize than rare ones. Additional analyses show that the effect is robust across a range of sharpening temperatures, differs qualitatively from single-temperature cross-entropy, transfers to multilingual settings, and is detectable even on naturally occurring single-occurrence sequences. Memory Dial provides a controlled experimental framework for studying how memorization behavior emerges and interacts with generalization in language models.
- Abstract（参考訳）: 言語モデルの記憶は広く研究されているが、分離や制御は困難である。
トレーニングされたモデルの記憶を検出できるが、その効果をアーキテクチャ、データ、最適化から切り離すことはできない。
メモリダイアル(Memory Dial)は、暗記圧力を明示的で制御可能な変数にするトレーニングフレームワークである。
メモリダイアルは、標準のクロスエントロピーと1つのパラメータ($α$)を介して温度の制限された目的を補間し、アーキテクチャとトレーニング設定(各スイープ)で同一のモデルのファミリを生成し、メモリ化圧力でのみ異なる。
6つのアーキテクチャと5つのベンチマークの実験では、(1)$α$は暗記圧力を確実に制御し、目視精度は単調に上昇するが、目視精度は安定し、(2)大型モデルは暗記圧力に応答しやすく、(3)頻繁なシーケンスは希少なものよりも覚えやすいことが示されている。
さらなる分析により、この効果は急激な温度範囲で頑健であり、単温度のクロスエントロピーと定性的に異なり、多言語設定に遷移し、自然発生の単発配列でも検出可能であることが示された。
Memory Dialは、メモリ化の振る舞いがどのように出現し、言語モデルにおける一般化と相互作用するかを研究するための制御された実験フレームワークを提供する。
関連論文リスト
- Beyond Memorization: Extending Reasoning Depth with Recurrence, Memory and Test-Time Compute Scaling [60.63703438729223]
異なるアーキテクチャとトレーニング手法がモデル多段階推論能力にどのように影響するかを示す。
我々は,逐次計算においてモデル深度の増加が重要な役割を担っていることを確認した。
論文 参考訳（メタデータ） (2025-08-22T18:57:08Z) - Beyond Frequency: The Role of Redundancy in Large Language Model Memorization [13.044826650528192]
大規模言語モデルの記憶は、これらのシステムが数十億のパラメータにスケールするにつれて、プライバシと公正性にとって重大なリスクをもたらす。
また,非記憶標本の頻度は最小限に抑えられるが,非記憶試料の頻度は著しく増大することを示した。
以上の結果から,データ前処理における冗長性に配慮したアプローチの可能性を示唆し,プライバシのリスクを低減し,バイアスを軽減し,モデル展開の公正性を確保する。
論文 参考訳（メタデータ） (2025-06-14T03:02:42Z) - Demystifying Verbatim Memorization in Large Language Models [67.49068128909349]
大きな言語モデル(LLM)は、しばしば長いシーケンスを冗長に記憶し、しばしば深刻な法的およびプライバシー上の意味を持つ。
我々は, Pythia チェックポイントからのプレトレーニングをインジェクトシーケンスで継続することにより, 制御された環境下での動詞の暗記を学習する枠組みを開発する。
その結果,(1) 動詞の暗記には非自明な繰り返しが必要であり,(2) 後続の(おそらくはより良い)チェックポイントは,アウト・オブ・ディストリビューション・シーケンスであっても,動詞の列を暗記する傾向にあることがわかった。
論文 参考訳（メタデータ） (2024-07-25T07:10:31Z) - Causal Estimation of Memorisation Profiles [58.20086589761273]
言語モデルにおける記憶の理解は、実践的および社会的意味を持つ。
覚書化(英: Memorisation)とは、モデルがそのインスタンスを予測できる能力に対して、あるインスタンスでトレーニングを行うことによる因果的影響である。
本稿では,計量学の差分差分設計に基づく,新しい,原理的,効率的な記憶推定法を提案する。
論文 参考訳（メタデータ） (2024-06-06T17:59:09Z) - ROME: Memorization Insights from Text, Logits and Representation [17.458840481902644]
本稿では、トレーニングデータの直接処理をバイパスするROMEという革新的な手法を提案する。
具体的には、コンテキスト非依存、従来型、事実の3つの異なるタイプに分類されるデータセットを選択します。
そこで本研究では,生成したテキストのロジットと表現を調べることで,記憶されたサンプルと記憶されていないサンプルの相違に着目した。
論文 参考訳（メタデータ） (2024-03-01T13:15:30Z) - Exploring Memorization in Fine-tuned Language Models [53.52403444655213]
我々は,タスク間の微調整中に,言語モデルの暗記を探索する最初の包括的分析を行う。
オープンソースと、さまざまなタスクにまたがる独自の微調整LMによる研究は、暗記が様々な微調整タスクの間に強い相違を示すことを示している。
本稿では,この課題の相違をスパース符号化理論を用いて直感的に説明し,暗記と注目スコア分布との強い相関関係を明らかにする。
論文 参考訳（メタデータ） (2023-10-10T15:41:26Z) - Emergent and Predictable Memorization in Large Language Models [23.567027014457775]
メモリ化、あるいはトレーニングデータから全シーケンスを出力する大規模言語モデルの傾向は、安全に言語モデルをデプロイする上で重要な関心事である。
我々は,大規模モデルのフルトレインタイム前にどのシーケンスを記憶するかを,低速トライアルの実行時の記憶挙動を外挿することによって予測する。
モデルとデータ間のメモリ化スコアの分布に関する新たな発見を提供する。
論文 参考訳（メタデータ） (2023-04-21T17:58:31Z) - Memorization Without Overfitting: Analyzing the Training Dynamics of
Large Language Models [64.22311189896888]
因果的および仮面的言語モデリング、モデルサイズ、およびトレーニングプロセス全体における正確な記憶について検討する。
驚くべきことに、大きなモデルは過度に適合する前にデータの大部分を記憶し、トレーニングプロセスを通して忘れる傾向にある。
論文 参考訳（メタデータ） (2022-05-22T07:43:50Z) - Counterfactual Memorization in Neural Language Models [91.8747020391287]
様々なNLPタスクで広く使用されている現代のニューラルネットワークモデルは、トレーニングデータからセンシティブな情報を記憶するリスクがある。
言語モデル記憶の以前の研究におけるオープンな疑問は、「一般的な」記憶の除去方法である。
トレーニング中に特定の文書が省略された場合、モデルの予測がどのように変化するかを特徴付ける反事実記憶の概念を定式化する。
論文 参考訳（メタデータ） (2021-12-24T04:20:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。