論文の概要: The Pitfalls of Memorization: When Memorization Hurts Generalization
- arxiv url: http://arxiv.org/abs/2412.07684v1
- Date: Tue, 10 Dec 2024 17:18:33 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-12-11 14:39:42.900342
- Title: The Pitfalls of Memorization: When Memorization Hurts Generalization
- Title（参考訳）: 記憶の落とし穴-記憶の一般化を迫る
- Authors: Reza Bayat, Mohammad Pezeshki, Elvis Dohmatob, David Lopez-Paz, Pascal Vincent,
- Abstract要約: 記憶はトレーニングの損失をゼロに減らし、堅牢で一般化可能なパターンを学ぶインセンティブを残さない。
本稿では,保留予測を記憶の信号として用いて,モデルのロジットをシフトする記憶学習(MAT)を提案する。
- 参考スコア（独自算出の注目度）: 28.5600484308805
- License:
- Abstract: Neural networks often learn simple explanations that fit the majority of the data while memorizing exceptions that deviate from these explanations.This behavior leads to poor generalization when the learned explanations rely on spurious correlations. In this work, we formalize the interplay between memorization and generalization, showing that spurious correlations would particularly lead to poor generalization when are combined with memorization. Memorization can reduce training loss to zero, leaving no incentive to learn robust, generalizable patterns. To address this, we propose memorization-aware training (MAT), which uses held-out predictions as a signal of memorization to shift a model's logits. MAT encourages learning robust patterns invariant across distributions, improving generalization under distribution shifts.
- Abstract（参考訳）: ニューラルネットワークはしばしば、これらの説明から逸脱する例外を記憶しながら、データの大部分に適合する単純な説明を学ぶ。
本研究では,暗記と一般化の相互作用を形式化し,暗記と組み合わせた場合,急激な相関が特に低次一般化につながることを示す。
記憶はトレーニングの損失をゼロに減らし、堅牢で一般化可能なパターンを学ぶインセンティブを残さない。
そこで本研究では,記憶の伝達信号としてホールドアウト予測を用いた覚書認識訓練(MAT)を提案する。
MATは、分散間で不変な堅牢なパターンの学習を促進し、分散シフトによる一般化を改善する。
関連論文リスト
- Demystifying Verbatim Memorization in Large Language Models [67.49068128909349]
大きな言語モデル(LLM)は、しばしば長いシーケンスを冗長に記憶し、しばしば深刻な法的およびプライバシー上の意味を持つ。
我々は, Pythia チェックポイントからのプレトレーニングをインジェクトシーケンスで継続することにより, 制御された環境下での動詞の暗記を学習する枠組みを開発する。
その結果,(1) 動詞の暗記には非自明な繰り返しが必要であり,(2) 後続の(おそらくはより良い)チェックポイントは,アウト・オブ・ディストリビューション・シーケンスであっても,動詞の列を暗記する傾向にあることがわかった。
論文 参考訳（メタデータ） (2024-07-25T07:10:31Z) - To grok or not to grok: Disentangling generalization and memorization on
corrupted algorithmic datasets [5.854190253899593]
本稿では,一般化表現を解析的に理解し,記憶表現と容易に区別できる解釈可能なモデルについて検討する。
i) ネットワークが破損したラベルを記憶し、同時に100%の一般化を達成できることが示される。
また、正規化が存在する場合、トレーニングダイナミクスは2つの連続的な段階を含むことを示す。
論文 参考訳（メタデータ） (2023-10-19T18:01:10Z) - What do larger image classifiers memorise? [64.01325988398838]
トレーニング例は, モデルサイズにまたがって, 予想外の多彩な記憶軌跡を示す。
有効で一般的なモデル圧縮手法である知識蒸留は,記憶を阻害する傾向があり,一般化も改善する。
論文 参考訳（メタデータ） (2023-10-09T01:52:07Z) - Studying Generalization on Memory-Based Methods in Continual Learning [9.896917981912106]
メモリベースのメソッドは、トレーニング中に使用する以前のデータ分散の割合を格納する。
これらの手法は, 従来の分布内一般化に有効であるが, 突発的特徴や相関関係を学習することで, 分布外一般化を強く損なう可能性がある。
論文 参考訳（メタデータ） (2023-06-16T14:59:17Z) - Decoupling Knowledge from Memorization: Retrieval-augmented Prompt
Learning [113.58691755215663]
一般化と記憶のバランスをとるためにRetroPromptを開発した。
バニラプロンプト学習とは対照的に、RetroPromptはトレーニングインスタンスからオープンブックナレッジストアを構築する。
大規模な実験により、RetroPromptは、数ショットとゼロショットの両方で、より良いパフォーマンスを得ることができることが示されている。
論文 参考訳（メタデータ） (2022-05-29T16:07:30Z) - Towards Differential Relational Privacy and its use in Question
Answering [109.4452196071872]
データセット内のエンティティ間の関係の記憶は、トレーニングされた質問応答モデルを使用する場合、プライバシの問題につながる可能性がある。
我々はこの現象を定量化し、微分プライバシー(DPRP)の定義を可能にする。
質問回答のための大規模モデルを用いた実験において,概念を解説する。
論文 参考訳（メタデータ） (2022-03-30T22:59:24Z) - Quantifying Memorization Across Neural Language Models [61.58529162310382]
大規模言語モデル(LM)は、トレーニングデータの一部を記憶するために示され、適切に誘導されると、記憶されたデータを冗長に出力する。
これは、暗記がプライバシーを侵害し(ユーザーデータをエクスポーティングする)、実用性を低下させ(繰り返し覚えやすいテキストは、しばしば品質が低い)、公平性を損なうため、望ましくない。
本稿では、LMが記憶されたトレーニングデータを出力する度合いを定量化する3つの対数線形関係について述べる。
論文 参考訳（メタデータ） (2022-02-15T18:48:31Z) - Counterfactual Memorization in Neural Language Models [91.8747020391287]
様々なNLPタスクで広く使用されている現代のニューラルネットワークモデルは、トレーニングデータからセンシティブな情報を記憶するリスクがある。
言語モデル記憶の以前の研究におけるオープンな疑問は、「一般的な」記憶の除去方法である。
トレーニング中に特定の文書が省略された場合、モデルの予測がどのように変化するかを特徴付ける反事実記憶の概念を定式化する。
論文 参考訳（メタデータ） (2021-12-24T04:20:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。