論文の概要: How Learning Governs Unlearning across the Memorization-Generalization Spectrum

• arxiv url: http://arxiv.org/abs/2610.08577v1
• Date: Tue, 06 Oct 2026 15:50:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 02:58:30.095151
• Title: How Learning Governs Unlearning across the Memorization-Generalization Spectrum
• Title（参考訳）: 記憶-一般化スペクトルを通した学習の学習方法
• Abstract要約: まず,モジュール追加におけるグラクキングを用いた暗記モデルと一般化重みモデルの分類を行い,その応答を未学習と比較する。 我々は、同じ傾向が続き、ほぼ単調であると再確認した。 未学習の学習におけるダイナミクスの学習における会計の重要性を強調し、より良い未学習の手法を開発するための2つの実践的な洞察を提供する。
• 参考スコア（独自算出の注目度）: 10.863485231006855
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: While unlearning seeks to negate undesired capabilities acquired through learning, little research has examined how the way models learn shapes their subsequent unlearning. In this paper, we investigate this connection from the perspectives of memorization and generalization, the two most representative yet competing strategies that models employ during training. We first classify memorization- and generalization-heavy models using grokking in modular addition and compare their responses to unlearning, showing that the latter suffer greater retain damage, i.e., a larger performance drop on the retain set. Furthermore, we conduct a finer-grained analysis by introducing bucketed modular addition, in which the respective contributions of the two strategies can be explicitly controlled across the memorization-generalization spectrum. In this setup, we reaffirm that the same trend persists and is nearly monotonic. We further demonstrate that this relationship also holds in LLM unlearning across verbatim and factual recall settings. Finally, we provide two practical insights for developing better unlearning methods, highlighting the importance of accounting for learning dynamics in unlearning.
• Abstract（参考訳）: アンラーニングは学習によって得られる望ましくない能力を無効にしようとするが、モデル学習の方法がその後のアンラーニングをどう形作るかはほとんど研究されていない。 本稿では,モデルがトレーニング中に採用する最も代表的な2つの戦略である,記憶と一般化の観点から,この関係を考察する。 まず,モジュール追加におけるグラクキングを用いた暗記・一般化重大モデルの分類を行い,その応答をアンラーニングと比較し,後者が保持集合上のより大きな性能低下を被ることを示す。 さらに,2つの戦略のそれぞれの寄与を,記憶一般化スペクトル全体にわたって明示的に制御できるような,バケット付きモジュラー加算を導入することにより,よりきめ細かい解析を行う。 この設定では、同じ傾向が持続し、ほぼ単調であることを再確認する。 さらに、この関係がLLMアンラーニングにおいて、動詞的および事実的リコール設定にわたって成り立つことを実証する。 最後に,アンラーニングにおけるダイナミクスの学習における会計の重要性を強調し,より良いアンラーニング手法を開発するための2つの実践的洞察を提供する。

関連論文リスト

• MultiMem: Measuring and Mitigating Memorization in Multi-Modal Contrastive Learning [42.60499995994591]
  機械学習モデルのメモリ化は、希少な分散サンプル上で高いパフォーマンスを実現する。 また、騒音や外れ値の有害な保持を招き、一般化を低下させる。 マルチモーダル・コントラッシブ・ラーニングにおける記憶の定量化を目的とした最初の指標であるMultiMemを紹介する。
  論文  参考訳（メタデータ） (2026-06-20T20:46:36Z)
• Nested Learning: The Illusion of Deep Learning Architectures [57.41377373511876]
  我々はNested Learning(NL)と呼ばれる新しい学習パラダイムを提案する。 表現的一般化は、実際には、深い記憶と/またはより強力な学習規則を持つ一般化である。 本稿では、長期記憶の伝統的な視点を一般化するメモリシステムのための新しい連続体を提案する。
  論文  参考訳（メタデータ） (2025-12-31T07:59:43Z)
• Retrieval-augmented Prompt Learning for Pre-trained Foundation Models [101.13972024610733]
  本稿では,記憶と一般化のバランスをとることを目的としたRetroPromptを提案する。 従来のプロンプトメソッドとは異なり、RetroPromptは入力、トレーニング、推論ステージ全体にわたって検索メカニズムを組み込んでいる。 提案手法の優れた性能を示すために,自然言語処理やコンピュータビジョンタスクにまたがる様々なデータセットに関する総合的な実験を行った。
  論文  参考訳（メタデータ） (2025-12-23T08:15:34Z)
• Too Big to Think: Capacity, Memorization, and Generalization in Pre-Trained Transformers [0.0]
  大規模言語モデルにおける記憶と一般化の関係について検討する。 小さなモデルは未確認の算術の場合に外挿するが、事実を記憶できないが、大きなモデルは記憶するが外挿することができない。 調査の結果、事前学習は本質的に他の学習モードよりも1つの学習モードを好む可能性が示唆された。
  論文  参考訳（メタデータ） (2025-06-10T14:49:33Z)
• Accelerating exploration and representation learning with offline pre-training [52.6912479800592]
  1つのオフラインデータセットから2つの異なるモデルを別々に学習することで、探索と表現の学習を改善することができることを示す。 ノイズコントラスト推定と補助報酬モデルを用いて状態表現を学習することで、挑戦的なNetHackベンチマークのサンプル効率を大幅に向上できることを示す。
  論文  参考訳（メタデータ） (2023-03-31T18:03:30Z)
• Decoupling Knowledge from Memorization: Retrieval-augmented Prompt Learning [113.58691755215663]
  一般化と記憶のバランスをとるためにRetroPromptを開発した。 バニラプロンプト学習とは対照的に、RetroPromptはトレーニングインスタンスからオープンブックナレッジストアを構築する。 大規模な実験により、RetroPromptは、数ショットとゼロショットの両方で、より良いパフォーマンスを得ることができることが示されている。
  論文  参考訳（メタデータ） (2022-05-29T16:07:30Z)
• Co$^2$L: Contrastive Continual Learning [69.46643497220586]
  近年の自己教師型学習のブレークスルーは、このようなアルゴリズムが視覚的な表現を学習し、見えないタスクにもっとうまく移行できることを示している。 本稿では、連続的な学習と伝達可能な表現の維持に焦点を当てたリハーサルに基づく連続学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-06-28T06:14:38Z)
• A Combinatorial Perspective on Transfer Learning [27.7848044115664]
  モジュラーソリューションの学習によって、目に見えない分散データと潜在的に異なる分散データの両方を効果的に一般化することができるかを検討する。 タスクセグメンテーション,モジュール型学習,メモリベースアンサンブルの組み合わせによって,指数関数的に増加する多くの未確認タスクの一般化がもたらされる。
  論文  参考訳（メタデータ） (2020-10-23T09:53:31Z)
• Revisiting Meta-Learning as Supervised Learning [69.2067288158133]
  メタラーニングと従来の教師付き学習の関連性を再考し,強化することで,原則的,統一的なフレームワークの提供を目指す。 タスク固有のデータセットとターゲットモデルを(機能、ラベル)サンプルとして扱うことで、多くのメタ学習アルゴリズムを教師付き学習のインスタンスに還元することができる。 この視点は、メタラーニングを直感的で実践的なフレームワークに統一するだけでなく、教師付き学習から直接洞察を伝達してメタラーニングを改善することができる。
  論文  参考訳（メタデータ） (2020-02-03T06:13:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。