論文の概要: What is the role of memorization in Continual Learning?

• arxiv url: http://arxiv.org/abs/2505.17664v1
• Date: Fri, 23 May 2025 09:29:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-26 18:08:33.960569
• Title: What is the role of memorization in Continual Learning?
• Title（参考訳）: 継続的な学習における暗記の役割とは何か?
• Authors: Jędrzej Kozal, Jan Wasilewski, Alif Ashrafee, Bartosz Krawczyk, Michał Woźniak,
• Abstract要約: 本研究は,段階的な学習シナリオにおける記憶効果について研究する。 記憶率の高い学習例は,通常のサンプルよりも早く忘れられることが明らかとなった。 低メモリ状態においては、通常のサンプルを忘れることがより重要である。
• 参考スコア（独自算出の注目度）: 4.371388370559825
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Memorization impacts the performance of deep learning algorithms. Prior works have studied memorization primarily in the context of generalization and privacy. This work studies the memorization effect on incremental learning scenarios. Forgetting prevention and memorization seem similar. However, one should discuss their differences. We designed extensive experiments to evaluate the impact of memorization on continual learning. We clarified that learning examples with high memorization scores are forgotten faster than regular samples. Our findings also indicated that memorization is necessary to achieve the highest performance. However, at low memory regimes, forgetting regular samples is more important. We showed that the importance of a high-memorization score sample rises with an increase in the buffer size. We introduced a memorization proxy and employed it in the buffer policy problem to showcase how memorization could be used during incremental training. We demonstrated that including samples with a higher proxy memorization score is beneficial when the buffer size is large.
• Abstract（参考訳）: 記憶はディープラーニングアルゴリズムのパフォーマンスに影響を与える。 先行研究は、主に一般化とプライバシの文脈で記憶について研究してきた。 本研究は,段階的な学習シナリオにおける記憶効果について研究する。 予防と記憶は似ているようだ。 しかし、その相違について論じるべきである。 我々は,記憶が連続学習に与える影響を評価するため,広範囲な実験を設計した。 その結果, 記憶率の高い学習例は, 通常のサンプルよりも早く忘れられることがわかった。 以上の結果から,最も高い性能を達成するためには記憶が必要であることが示唆された。 しかし、メモリ不足では、通常のサンプルを忘れることがより重要である。 その結果,バッファサイズの増加に伴い,高記憶率試料の重要性が高まっていることが判明した。 我々は,暗記プロキシを導入し,バッファポリシー問題に導入し,漸進的なトレーニングで暗記がどのように使われるかを示した。 バッファサイズが大きい場合には,高いプロキシ記憶率のサンプルを含めることが有効であることを示した。

関連論文リスト

• Rethinking Memorization Measures and their Implications in Large Language Models [14.04812038444537]
  言語を最適に学習する際,暗記が避けられるか,暗記によって引き起こされるプライバシーの脅威が誇張されているか否かを検討する。 既存のプライバシー重視の暗記(recollection-based)と反実的暗記( counterfactual memorization)、および新たに提案された文脈記憶(contextual memorization)を再検討する。 6つのファミリーと異なるエントロピーを持つ複数の形式言語から18のLLMを実験したところ、(a)頻繁な文字列の暗記順序に相反する暗記法、(b)言語の最適学習はトレーニング文字列の部分的暗記を回避することができず、(c)学習の改善は文脈的および反事実的暗記を減少させるが、再現性を高める。
  論文  参考訳（メタデータ） (2025-07-20T00:33:19Z)
• Demystifying Verbatim Memorization in Large Language Models [67.49068128909349]
  大きな言語モデル(LLM)は、しばしば長いシーケンスを冗長に記憶し、しばしば深刻な法的およびプライバシー上の意味を持つ。 我々は, Pythia チェックポイントからのプレトレーニングをインジェクトシーケンスで継続することにより, 制御された環境下での動詞の暗記を学習する枠組みを開発する。 その結果,(1) 動詞の暗記には非自明な繰り返しが必要であり,(2) 後続の(おそらくはより良い)チェックポイントは,アウト・オブ・ディストリビューション・シーケンスであっても,動詞の列を暗記する傾向にあることがわかった。
  論文  参考訳（メタデータ） (2024-07-25T07:10:31Z)
• Exploring Memorization in Fine-tuned Language Models [53.52403444655213]
  我々は,タスク間の微調整中に,言語モデルの暗記を探索する最初の包括的分析を行う。 オープンソースと、さまざまなタスクにまたがる独自の微調整LMによる研究は、暗記が様々な微調整タスクの間に強い相違を示すことを示している。 本稿では,この課題の相違をスパース符号化理論を用いて直感的に説明し,暗記と注目スコア分布との強い相関関係を明らかにする。
  論文  参考訳（メタデータ） (2023-10-10T15:41:26Z)
• What do larger image classifiers memorise? [64.01325988398838]
  トレーニング例は, モデルサイズにまたがって, 予想外の多彩な記憶軌跡を示す。 有効で一般的なモデル圧縮手法である知識蒸留は,記憶を阻害する傾向があり,一般化も改善する。
  論文  参考訳（メタデータ） (2023-10-09T01:52:07Z)
• Preventing Verbatim Memorization in Language Models Gives a False Sense of Privacy [91.98116450958331]
  我々は、動詞の暗記の定義があまりに制限的であり、より微妙な暗記の形式を捉えることができないと論じる。 具体的には、全ての動詞の暗記を完全に防止する効率的な防御を設計し、実装する。 我々は、潜在的な代替定義について議論し、なぜ記憶の定義がニューラルネットワークモデルにとって難しいが決定的なオープンな問題であるのかを論じる。
  論文  参考訳（メタデータ） (2022-10-31T17:57:55Z)
• An Empirical Study of Memorization in NLP [8.293936347234126]
  3つの異なるNLPタスクを使用して、ロングテール理論が成立するかどうかをチェックする。 実験により、トップランクの記憶されたトレーニングインスタンスはおそらく非典型的であることが示された。 トレーニングインスタンスを記憶する理由をよりよく理解するための属性手法を開発した。
  論文  参考訳（メタデータ） (2022-03-23T03:27:56Z)
• Quantifying Memorization Across Neural Language Models [61.58529162310382]
  大規模言語モデル(LM)は、トレーニングデータの一部を記憶するために示され、適切に誘導されると、記憶されたデータを冗長に出力する。 これは、暗記がプライバシーを侵害し(ユーザーデータをエクスポーティングする)、実用性を低下させ(繰り返し覚えやすいテキストは、しばしば品質が低い)、公平性を損なうため、望ましくない。 本稿では、LMが記憶されたトレーニングデータを出力する度合いを定量化する3つの対数線形関係について述べる。
  論文  参考訳（メタデータ） (2022-02-15T18:48:31Z)
• Counterfactual Memorization in Neural Language Models [91.8747020391287]
  様々なNLPタスクで広く使用されている現代のニューラルネットワークモデルは、トレーニングデータからセンシティブな情報を記憶するリスクがある。 言語モデル記憶の以前の研究におけるオープンな疑問は、「一般的な」記憶の除去方法である。 トレーニング中に特定の文書が省略された場合、モデルの予測がどのように変化するかを特徴付ける反事実記憶の概念を定式化する。
  論文  参考訳（メタデータ） (2021-12-24T04:20:57Z)
• Learning to Rehearse in Long Sequence Memorization [107.14601197043308]
  既存の推論タスクは、しばしば、推論中に入力内容が常にアクセス可能であるという重要な仮定を持つ。 メモリ拡張ニューラルネットワークは、人間のような書き込み読み取りメモリを導入し、1回のパスで長い入力シーケンスを圧縮し記憶する。 しかし、2つの重大な欠点がある: 1) メモリを現在の情報から継続的に更新し、必然的に初期の内容を忘れる; 2) 重要な情報を区別せず、全てのコンテンツを平等に扱う。 本稿では,履歴サンプリング装置を用いた自己教師型リハーサルによる長期記憶向上のためのリハーサルメモリを提案する。
  論文  参考訳（メタデータ） (2021-06-02T11:58:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。