論文の概要: Machine Unlearning under Overparameterization

• arxiv url: http://arxiv.org/abs/2505.22601v1
• Date: Wed, 28 May 2025 17:14:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-29 17:35:50.756785
• Title: Machine Unlearning under Overparameterization
• Title（参考訳）: 過パラメータ化下での機械学習
• Authors: Jacob L. Block, Aryan Mokhtari, Sanjay Shakkottai,
• Abstract要約: 機械学習アルゴリズムは、特定のサンプルの影響を取り除き、残りのデータだけで得られたであろうモデルを理想的に回復することを目的としている。 私たちは、多くのモデルがデータをインターポレートし保持する、過剰な設定のトレーニングで学びます。 我々は、正確で近似的なクラスを提供し、様々な未学習実験にまたがって、我々のフレームワークを実証する。
• 参考スコア（独自算出の注目度）: 35.031020618251965
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Machine unlearning algorithms aim to remove the influence of specific training samples, ideally recovering the model that would have resulted from training on the remaining data alone. We study unlearning in the overparameterized setting, where many models interpolate the data, and defining the unlearning solution as any loss minimizer over the retained set$\unicode{x2013}$as in prior work in the underparameterized setting$\unicode{x2013}$is inadequate, since the original model may already interpolate the retained data and satisfy this condition. In this regime, loss gradients vanish, rendering prior methods based on gradient perturbations ineffective, motivating both new unlearning definitions and algorithms. For this setting, we define the unlearning solution as the minimum-complexity interpolator over the retained data and propose a new algorithmic framework that only requires access to model gradients on the retained set at the original solution. We minimize a regularized objective over perturbations constrained to be orthogonal to these model gradients, a first-order relaxation of the interpolation condition. For different model classes, we provide exact and approximate unlearning guarantees, and we demonstrate that an implementation of our framework outperforms existing baselines across various unlearning experiments.
• Abstract（参考訳）: 機械学習アルゴリズムは、特定のトレーニングサンプルの影響を取り除くことを目的としており、理想的には、残りのデータのみに対するトレーニングの結果生じるであろうモデルを復元する。 我々は、多くのモデルがデータを補間し、未学習解を保持された集合$\unicode{x2013}$asに対する損失最小化として定義する過度なパラメータ設定において、未学習を研究している。 この体制では、損失勾配は消滅し、勾配摂動に基づく事前の手法は効果がなく、新しい未学習の定義とアルゴリズムの両方を動機付けている。 この設定のために、未学習の解を保持データに対する最小複雑度補間器として定義し、元の解における保持集合上のモデル勾配へのアクセスのみを必要とする新しいアルゴリズムフレームワークを提案する。 補間条件の1次緩和であるこれらのモデル勾配に直交する摂動に対する正規化対象を最小化する。 異なるモデルクラスに対して、我々は、正確で近似的なアンラーニング保証を提供し、我々のフレームワークの実装は、様々なアンラーニング実験において、既存のベースラインよりも優れていることを実証する。

関連論文リスト

• Deep Minimax Classifiers for Imbalanced Datasets with a Small Number of Minority Samples [5.217870815854702]
  本稿では,最低性能クラスのリスクを最小限に抑えるために,新しいミニマックス学習アルゴリズムを提案する。 提案アルゴリズムは証明可能な収束特性を有しており,提案アルゴリズムは既存手法に匹敵する性能を示した。
  論文  参考訳（メタデータ） (2025-02-24T08:20:02Z)
• Federated Continual Learning Goes Online: Uncertainty-Aware Memory Management for Vision Tasks and Beyond [13.867793835583463]
  本稿では,破滅的な記憶を解消するための不確実性を考慮したメモリベース手法を提案する。 特定の特性を持つサンプルを検索し、そのようなサンプル上でモデルを再訓練することで、このアプローチの可能性を実証する。
  論文  参考訳（メタデータ） (2024-05-29T09:29:39Z)
• An Information Theoretic Approach to Machine Unlearning [43.423418819707784]
  AIやデータ規則に従うためには、トレーニングされた機械学習モデルからプライベートまたは著作権のある情報を忘れる必要性がますます高まっている。 この研究では、ゼロショットのアンラーニングシナリオに対処し、未学習のアルゴリズムは、トレーニングされたモデルと忘れられるデータだけが与えられたデータを削除できなければならない。 モデルの幾何に基づいて、単純だが原則化されたゼロショットアンラーニング法を導出する。
  論文  参考訳（メタデータ） (2024-02-02T13:33:30Z)
• Learn to Unlearn for Deep Neural Networks: Minimizing Unlearning Interference with Gradient Projection [56.292071534857946]
  最近のデータプライバシ法は、機械学習への関心を喚起している。 課題は、残りのデータセットに関する知識を変更することなく、忘れたデータに関する情報を捨てることである。 我々は、プロジェクテッド・グラディエント・アンラーニング(PGU)という、プロジェクテッド・グラディエント・ベースの学習手法を採用する。 トレーニングデータセットがもはやアクセスできない場合でも、スクラッチからスクラッチで再トレーニングされたモデルと同じような振る舞いをするモデルを、我々のアンラーニング手法が生成できることを実証するための実証的な証拠を提供する。
  論文  参考訳（メタデータ） (2023-12-07T07:17:24Z)
• Self-Supervised Dataset Distillation for Transfer Learning [77.4714995131992]
  ラベルなしデータセットを、効率的な自己教師付き学習(SSL)のための小さな合成サンプル群に蒸留する新しい問題を提案する。 両レベル最適化におけるSSL目標に対する合成サンプルの勾配は、データ拡張やマスキングから生じるランダム性から、テキストバイアスを受けていることを最初に証明する。 転送学習を含む様々な応用における本手法の有効性を実証的に検証する。
  論文  参考訳（メタデータ） (2023-10-10T10:48:52Z)
• Data Summarization via Bilevel Optimization [48.89977988203108]
  シンプルだが強力なアプローチは、小さなサブセットのデータを操作することだ。 本研究では,コアセット選択を基数制約付き双レベル最適化問題として定式化する汎用コアセットフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-09-26T09:08:38Z)
• Sufficiently Accurate Model Learning for Planning [119.80502738709937]
  本稿では,制約付きSufficiently Accurateモデル学習手法を提案する。 これはそのような問題の例を示し、いくつかの近似解がいかに近いかという定理を提示する。 近似解の質は、関数のパラメータ化、損失と制約関数の滑らかさ、モデル学習におけるサンプルの数に依存する。
  論文  参考訳（メタデータ） (2021-02-11T16:27:31Z)
• Model-based Policy Optimization with Unsupervised Model Adaptation [37.09948645461043]
  本研究では,不正確なモデル推定による実データとシミュレーションデータのギャップを埋めて,より良いポリシ最適化を実現する方法について検討する。 本稿では,教師なしモデル適応を導入したモデルベース強化学習フレームワークAMPOを提案する。 提案手法は,一連の連続制御ベンチマークタスクにおけるサンプル効率の観点から,最先端の性能を実現する。
  論文  参考訳（メタデータ） (2020-10-19T14:19:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。