論文の概要: Grokked Models are Better Unlearners

• arxiv url: http://arxiv.org/abs/2512.03437v1
• Date: Wed, 03 Dec 2025 04:35:49 GMT
• ステータス: 情報取得中
• システム内更新日: 2025-12-04 11:57:56.83778
• Title: Grokked Models are Better Unlearners
• Title（参考訳）: Grokked Modelsは、より優れた未学習者
• Authors: Yuanbang Liang, Yang Li,
• Abstract要約: グラクテッドチェックポイントから始めると、ずっと効率的に忘れられる。 ポストグロキングモデルは、左行と左行と左行の間の勾配の調整を減らして、よりモジュラーな表現を学習する。
• 参考スコア（独自算出の注目度）: 5.8757712547216485
• License:
• Abstract: Grokking-delayed generalization that emerges well after a model has fit the training data-has been linked to robustness and representation quality. We ask whether this training regime also helps with machine unlearning, i.e., removing the influence of specified data without full retraining. We compare applying standard unlearning methods before versus after the grokking transition across vision (CNNs/ResNets on CIFAR, SVHN, and ImageNet) and language (a transformer on a TOFU-style setup). Starting from grokked checkpoints consistently yields (i) more efficient forgetting (fewer updates to reach a target forget level), (ii) less collateral damage (smaller drops on retained and test performance), and (iii) more stable updates across seeds, relative to early-stopped counterparts under identical unlearning algorithms. Analyses of features and curvature further suggest that post-grokking models learn more modular representations with reduced gradient alignment between forget and retain subsets, which facilitates selective forgetting. Our results highlight when a model is trained (pre- vs. post-grokking) as an orthogonal lever to how unlearning is performed, providing a practical recipe to improve existing unlearning methods without altering their algorithms.
• Abstract（参考訳）: モデルがトレーニングデータに適合した後でよく現れるグローキング遅延一般化は、堅牢性と表現品質に結びついている。 我々は、このトレーニング体制が、機械学習、すなわち、完全に再トレーニングすることなく、特定のデータの影響を取り除くことに役立つかどうかを問う。 CIFAR,SVHN,ImageNet上でのCNN/ResNet)と言語(TOFUスタイルのトランスフォーマー)の相互変換に先立って,標準的なアンラーニング手法を適用した。 grokked チェックポイントから開始する (i)より効率的に忘れる(目標の忘れレベルに達する更新が少ない) (二 副次的損害(維持試験及び試験性能の低下)の少ないこと。 第三に、未学習のアルゴリズムの下では、未学習の種に対してより安定した更新を行う。 特徴と曲率の分析により、ポストグロキングモデルはさらにモジュラー表現を学習し、左折と左折の間の勾配の調整を減らし、選択的な左折を容易にすることが示唆される。 この結果から, モデルが学習前と学習後とで訓練された場合, 学習前と学習後とを直交するレバーとして強調し, アルゴリズムを変更することなく, 既存の学習方法を改善するための実践的なレシピを提供する。

関連論文リスト

• PRUNE: A Patching Based Repair Framework for Certifiable Unlearning of Neural Networks [6.251501206858703]
  トレーニングされたニューラルネットワークモデルからトレーニングデータの特定の部分(すなわち未学習)を取り除くことが望ましい。 既存のアンラーニング手法では、残ったデータで代替モデルを訓練する。 我々は、要求されたデータのターゲットの「偽造」を除去するために、元のニューラルネットワークに慎重に構築された「パッチ」を付与して、新しいアンラーニングアプローチを提案する。
  論文  参考訳（メタデータ） (2025-05-10T05:35:08Z)
• Attribute-to-Delete: Machine Unlearning via Datamodel Matching [65.13151619119782]
  機械学習 -- 事前訓練された機械学習モデルで、小さな"ターゲットセット"トレーニングデータを効率的に削除する -- は、最近関心を集めている。 最近の研究では、機械学習技術はこのような困難な環境では耐えられないことが示されている。
  論文  参考訳（メタデータ） (2024-10-30T17:20:10Z)
• Class-Imbalanced Semi-Supervised Learning for Large-Scale Point Cloud Semantic Segmentation via Decoupling Optimization [64.36097398869774]
  半教師付き学習(SSL)は大規模3Dシーン理解のための活発な研究課題である。 既存のSSLベースのメソッドは、クラス不均衡とポイントクラウドデータのロングテール分布による厳しいトレーニングバイアスに悩まされている。 本稿では,特徴表現学習と分類器を別の最適化方法で切り離してバイアス決定境界を効果的にシフトする,新しいデカップリング最適化フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-01-13T04:16:40Z)
• Learn to Unlearn for Deep Neural Networks: Minimizing Unlearning Interference with Gradient Projection [56.292071534857946]
  最近のデータプライバシ法は、機械学習への関心を喚起している。 課題は、残りのデータセットに関する知識を変更することなく、忘れたデータに関する情報を捨てることである。 我々は、プロジェクテッド・グラディエント・アンラーニング(PGU)という、プロジェクテッド・グラディエント・ベースの学習手法を採用する。 トレーニングデータセットがもはやアクセスできない場合でも、スクラッチからスクラッチで再トレーニングされたモデルと同じような振る舞いをするモデルを、我々のアンラーニング手法が生成できることを実証するための実証的な証拠を提供する。
  論文  参考訳（メタデータ） (2023-12-07T07:17:24Z)
• RanPAC: Random Projections and Pre-trained Models for Continual Learning [59.07316955610658]
  継続学習(CL)は、古いタスクを忘れずに、非定常データストリームで異なるタスク(分類など)を学習することを目的としている。 本稿では,事前学習モデルを用いたCLの簡潔かつ効果的なアプローチを提案する。
  論文  参考訳（メタデータ） (2023-07-05T12:49:02Z)
• TWINS: A Fine-Tuning Framework for Improved Transferability of Adversarial Robustness and Generalization [89.54947228958494]
  本稿では,様々な分類タスクにおいて,逆向きに事前訓練されたモデルの微調整に焦点を当てる。 本稿では,TWINS(Two-WIng NormliSation)ファインチューニングフレームワークを提案する。 TWINSは、一般化とロバスト性の両方の観点から、幅広い画像分類データセットに有効であることが示されている。
  論文  参考訳（メタデータ） (2023-03-20T14:12:55Z)
• Learn, Unlearn and Relearn: An Online Learning Paradigm for Deep Neural Networks [12.525959293825318]
  我々は、ディープニューラルネットワーク(DNN)のためのオンライン学習パラダイムであるLearning, Unlearn, and Relearn(LURE)を紹介する。 LUREは、モデルの望ましくない情報を選択的に忘れる未学習フェーズと、一般化可能な特徴の学習を強調する再学習フェーズとを交換する。 トレーニングパラダイムは、分類と少数ショット設定の両方において、データセット間で一貫したパフォーマンス向上を提供します。
  論文  参考訳（メタデータ） (2023-03-18T16:45:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。