論文の概要: Localizing Paragraph Memorization in Language Models
- arxiv url: http://arxiv.org/abs/2403.19851v1
- Date: Thu, 28 Mar 2024 21:53:24 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-01 17:04:07.355267
- Title: Localizing Paragraph Memorization in Language Models
- Title（参考訳）: 言語モデルにおけるパラグラフ記憶の局所化
- Authors: Niklas Stoehr, Mitchell Gordon, Chiyuan Zhang, Owen Lewis,
- Abstract要約: 記憶化は複数の層やモデル成分にまたがるが,記憶化段落の勾配は識別可能な空間パターンを有することを示す。
また、記憶された継続は、学習が困難であるだけでなく、記憶されていないものよりも腐敗することも示している。
- 参考スコア（独自算出の注目度）: 17.943637462569537
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Can we localize the weights and mechanisms used by a language model to memorize and recite entire paragraphs of its training data? In this paper, we show that while memorization is spread across multiple layers and model components, gradients of memorized paragraphs have a distinguishable spatial pattern, being larger in lower model layers than gradients of non-memorized examples. Moreover, the memorized examples can be unlearned by fine-tuning only the high-gradient weights. We localize a low-layer attention head that appears to be especially involved in paragraph memorization. This head is predominantly focusing its attention on distinctive, rare tokens that are least frequent in a corpus-level unigram distribution. Next, we study how localized memorization is across the tokens in the prefix by perturbing tokens and measuring the caused change in the decoding. A few distinctive tokens early in a prefix can often corrupt the entire continuation. Overall, memorized continuations are not only harder to unlearn, but also to corrupt than non-memorized ones.
- Abstract（参考訳）: 学習データの全段落を記憶・引用するために言語モデルが用いる重みとメカニズムをローカライズできるだろうか?
本稿では,複数層にまたがって記憶化が展開されているが,記憶化段落の勾配は,非記憶化段落の勾配よりも低いモデル層において,識別可能な空間パターンを有することを示す。
さらに、記憶された例は、高次重みのみを微調整することによって解き放つことができる。
我々は,段落記憶に特に関与していると思われる低層アテンションヘッドをローカライズする。
このヘッドは、コーパスレベルのユニグラム分布において最も頻度の低い特異で希少なトークンに主に注意を向けている。
次に,トークンの摂動と復号化の原因となる変化の測定により,前置詞のトークン間の局所記憶がいかに重要であるかを検討する。
接頭辞の早い段階ではいくつかの特異なトークンが連続体全体を損なうことがある。
全体として、記憶された継続は、学習が困難であるだけでなく、記憶されていないものよりも腐敗しがちである。
関連論文リスト
- Demystifying Verbatim Memorization in Large Language Models [67.49068128909349]
大きな言語モデル(LLM)は、しばしば長いシーケンスを冗長に記憶し、しばしば深刻な法的およびプライバシー上の意味を持つ。
我々は, Pythia チェックポイントからのプレトレーニングをインジェクトシーケンスで継続することにより, 制御された環境下での動詞の暗記を学習する枠組みを開発する。
その結果,(1) 動詞の暗記には非自明な繰り返しが必要であり,(2) 後続の(おそらくはより良い)チェックポイントは,アウト・オブ・ディストリビューション・シーケンスであっても,動詞の列を暗記する傾向にあることがわかった。
論文 参考訳（メタデータ） (2024-07-25T07:10:31Z) - A Multi-Perspective Analysis of Memorization in Large Language Models [10.276594755936529]
大規模言語モデル(LLM)は様々な分野で前例のない性能を示す。
LLMはそれらをトレーニングするのと同じコンテンツを生成することができる。
この研究は、様々な観点から記憶を包括的に議論した。
論文 参考訳（メタデータ） (2024-05-19T15:00:50Z) - Can Neural Network Memorization Be Localized? [102.68044087952913]
記憶化は、モデルの様々な層において、小さなニューロンの集合に限られる現象であることを示す。
我々は、サンプルの記憶をai決定されたニューロンに直接記憶できる新しい形式のドロップアウト -- $textitexample-tied dropout$を提案する。
論文 参考訳（メタデータ） (2023-07-18T18:36:29Z) - Preventing Verbatim Memorization in Language Models Gives a False Sense
of Privacy [91.98116450958331]
我々は、動詞の暗記の定義があまりに制限的であり、より微妙な暗記の形式を捉えることができないと論じる。
具体的には、全ての動詞の暗記を完全に防止する効率的な防御を設計し、実装する。
我々は、潜在的な代替定義について議論し、なぜ記憶の定義がニューラルネットワークモデルにとって難しいが決定的なオープンな問題であるのかを論じる。
論文 参考訳（メタデータ） (2022-10-31T17:57:55Z) - Memorization Without Overfitting: Analyzing the Training Dynamics of
Large Language Models [64.22311189896888]
因果的および仮面的言語モデリング、モデルサイズ、およびトレーニングプロセス全体における正確な記憶について検討する。
驚くべきことに、大きなモデルは過度に適合する前にデータの大部分を記憶し、トレーニングプロセスを通して忘れる傾向にある。
論文 参考訳（メタデータ） (2022-05-22T07:43:50Z) - Quantifying Memorization Across Neural Language Models [61.58529162310382]
大規模言語モデル(LM)は、トレーニングデータの一部を記憶するために示され、適切に誘導されると、記憶されたデータを冗長に出力する。
これは、暗記がプライバシーを侵害し(ユーザーデータをエクスポーティングする)、実用性を低下させ(繰り返し覚えやすいテキストは、しばしば品質が低い)、公平性を損なうため、望ましくない。
本稿では、LMが記憶されたトレーニングデータを出力する度合いを定量化する3つの対数線形関係について述べる。
論文 参考訳（メタデータ） (2022-02-15T18:48:31Z) - Counterfactual Memorization in Neural Language Models [91.8747020391287]
様々なNLPタスクで広く使用されている現代のニューラルネットワークモデルは、トレーニングデータからセンシティブな情報を記憶するリスクがある。
言語モデル記憶の以前の研究におけるオープンな疑問は、「一般的な」記憶の除去方法である。
トレーニング中に特定の文書が省略された場合、モデルの予測がどのように変化するかを特徴付ける反事実記憶の概念を定式化する。
論文 参考訳（メタデータ） (2021-12-24T04:20:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。