論文の概要: Memorization Sinks: Isolating Memorization during LLM Training

• arxiv url: http://arxiv.org/abs/2507.09937v1
• Date: Mon, 14 Jul 2025 05:23:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-15 18:48:24.355302
• Title: Memorization Sinks: Isolating Memorization during LLM Training
• Title（参考訳）: 覚醒シンク: LLM トレーニングにおけるアイソレーション記憶
• Authors: Gaurav R. Ghosal, Pratyush Maini, Aditi Raghunathan,
• Abstract要約: 大規模な言語モデルは、繰り返しのシーケンスを記憶し、プライバシと著作権の懸念を訴えることに影響を受けやすい。 本稿では,設計による記憶の分離を促進するMemSinksの新しいパラダイムを提案する。 これは、同時一般化と分離が達成可能であることを示す実データに関する最初の概念実証である。
• 参考スコア（独自算出の注目度）: 20.682505625638203
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models are susceptible to memorizing repeated sequences, posing privacy and copyright concerns. A popular mitigation strategy is to remove memorized information from specific neurons post-hoc. However, such approaches have shown limited success so far. In a controlled setting, we show that the memorization of natural sequences (those that resemble linguistically plausible text) become mechanistically entangled with general language abilities, thereby becoming challenging to remove post-hoc. In this work, we put forward a new paradigm of MemSinks that promotes isolation of memorization by design. We leverage a sequence identifier that activates a unique set of memorization neurons for each sequence across repetitions. By analyzing the dynamics of learning and forgetting, we argue that MemSinks facilitates isolation of memorized content, making it easier to remove without compromising general language capabilities. We implement MemSinks at the billion-parameter and billion-token scale, and observe both effective isolation and strong generalization. To our knowledge, this is the first proof-of-concept on real data demonstrating that simultaneous generalization and isolation is achievable. We open-source our code at http://github.com/grghosal/MemSinks.
• Abstract（参考訳）: 大規模な言語モデルは、繰り返しのシーケンスを記憶し、プライバシと著作権の懸念を訴えることに影響を受けやすい。 一般的な緩和戦略は、特定の神経細胞から記憶された情報をポストホックから取り除くことである。 しかし、このようなアプローチは今のところ成功は限られている。 制御された環境では,言語学的に可塑性テキストに類似した自然列の記憶が,一般的な言語能力と機械的に絡み合うようになり,ポストホックの除去が困難になることを示す。 本研究では,設計による記憶の分離を促進するMemSinksの新しいパラダイムを提案する。 我々は、繰り返しにまたがる各シーケンスに対して、ユニークな記憶ニューロンの集合を活性化するシーケンス識別子を利用する。 学習と忘れのダイナミクスを解析することにより、MemSinksは記憶されたコンテンツの分離を容易にし、一般的な言語能力を損なうことなく削除しやすくなると論じる。 我々はMemSinksを10億パラメータと10億トークンのスケールで実装し、効果的な分離と強力な一般化の両方を観察する。 我々の知る限り、これは実データに対する最初の概念実証であり、同時一般化と分離が達成可能であることを示すものである。 ソースコードはhttp://github.com/grghosal/MemSinks.comで公開しています。

関連論文リスト

• Rethinking Memorization Measures and their Implications in Large Language Models [14.04812038444537]
  言語を最適に学習する際,暗記が避けられるか,暗記によって引き起こされるプライバシーの脅威が誇張されているか否かを検討する。 既存のプライバシー重視の暗記(recollection-based)と反実的暗記( counterfactual memorization)、および新たに提案された文脈記憶(contextual memorization)を再検討する。 6つのファミリーと異なるエントロピーを持つ複数の形式言語から18のLLMを実験したところ、(a)頻繁な文字列の暗記順序に相反する暗記法、(b)言語の最適学習はトレーニング文字列の部分的暗記を回避することができず、(c)学習の改善は文脈的および反事実的暗記を減少させるが、再現性を高める。
  論文  参考訳（メタデータ） (2025-07-20T00:33:19Z)
• Memorize or Generalize? Evaluating LLM Code Generation with Evolved Questions [33.58518352911762]
  LLM(Large Language Models)は、コード生成において暗記現象を示すことが知られている。 本稿では, 突然変異, 言い換え, コード書き換えという3つの進化戦略を設計し, この現象を考察する。 予想通り、監督された微調整が進むにつれて、暗記のスコアは過度に適合する前に上昇し、より厳しい暗記の可能性が示唆される。
  論文  参考訳（メタデータ） (2025-03-04T05:39:24Z)
• Unlocking Memorization in Large Language Models with Dynamic Soft Prompting [66.54460367290146]
  大規模言語モデル(LLM)は、要約、質問応答、翻訳などの自然言語処理(NLP)タスクに革命をもたらした。 LLMはトレーニングデータを記憶する傾向があるため、重大なセキュリティリスクを生じ、プライバシー侵害や著作権侵害につながる可能性がある。 動的,プレフィックスに依存したソフトプロンプトを用いたLLM記憶推定手法を提案する。
  論文  参考訳（メタデータ） (2024-09-20T18:56:32Z)
• Demystifying Verbatim Memorization in Large Language Models [67.49068128909349]
  大きな言語モデル(LLM)は、しばしば長いシーケンスを冗長に記憶し、しばしば深刻な法的およびプライバシー上の意味を持つ。 我々は, Pythia チェックポイントからのプレトレーニングをインジェクトシーケンスで継続することにより, 制御された環境下での動詞の暗記を学習する枠組みを開発する。 その結果,(1) 動詞の暗記には非自明な繰り返しが必要であり,(2) 後続の(おそらくはより良い)チェックポイントは,アウト・オブ・ディストリビューション・シーケンスであっても,動詞の列を暗記する傾向にあることがわかった。
  論文  参考訳（メタデータ） (2024-07-25T07:10:31Z)
• SoK: Memorization in General-Purpose Large Language Models [25.448127387943053]
  大規模言語モデル(LLM)は、無数のアプリケーションが開発中で、目覚ましいペースで進んでいる。 LLMはトレーニングデータの短い秘密を記憶できるだけでなく、さまざまな方法でテキストで表現できる事実や書体スタイルといった概念を記憶することもできる。 本稿では,文章,事実,アイデア,アルゴリズム,書式,分布特性,アライメント目標を網羅したLLMにおける記憶のための分類法を提案する。
  論文  参考訳（メタデータ） (2023-10-24T14:25:53Z)
• Exploring Memorization in Fine-tuned Language Models [53.52403444655213]
  我々は,タスク間の微調整中に,言語モデルの暗記を探索する最初の包括的分析を行う。 オープンソースと、さまざまなタスクにまたがる独自の微調整LMによる研究は、暗記が様々な微調整タスクの間に強い相違を示すことを示している。 本稿では,この課題の相違をスパース符号化理論を用いて直感的に説明し,暗記と注目スコア分布との強い相関関係を明らかにする。
  論文  参考訳（メタデータ） (2023-10-10T15:41:26Z)
• Preventing Verbatim Memorization in Language Models Gives a False Sense of Privacy [91.98116450958331]
  我々は、動詞の暗記の定義があまりに制限的であり、より微妙な暗記の形式を捉えることができないと論じる。 具体的には、全ての動詞の暗記を完全に防止する効率的な防御を設計し、実装する。 我々は、潜在的な代替定義について議論し、なぜ記憶の定義がニューラルネットワークモデルにとって難しいが決定的なオープンな問題であるのかを論じる。
  論文  参考訳（メタデータ） (2022-10-31T17:57:55Z)
• Quantifying Memorization Across Neural Language Models [61.58529162310382]
  大規模言語モデル(LM)は、トレーニングデータの一部を記憶するために示され、適切に誘導されると、記憶されたデータを冗長に出力する。 これは、暗記がプライバシーを侵害し(ユーザーデータをエクスポーティングする)、実用性を低下させ(繰り返し覚えやすいテキストは、しばしば品質が低い)、公平性を損なうため、望ましくない。 本稿では、LMが記憶されたトレーニングデータを出力する度合いを定量化する3つの対数線形関係について述べる。
  論文  参考訳（メタデータ） (2022-02-15T18:48:31Z)
• Counterfactual Memorization in Neural Language Models [91.8747020391287]
  様々なNLPタスクで広く使用されている現代のニューラルネットワークモデルは、トレーニングデータからセンシティブな情報を記憶するリスクがある。 言語モデル記憶の以前の研究におけるオープンな疑問は、「一般的な」記憶の除去方法である。 トレーニング中に特定の文書が省略された場合、モデルの予測がどのように変化するかを特徴付ける反事実記憶の概念を定式化する。
  論文  参考訳（メタデータ） (2021-12-24T04:20:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。