論文の概要: PURGE: Projected Unlearning via Retain-Guided Erasure

• arxiv url: http://arxiv.org/abs/2606.03808v1
• Date: Tue, 02 Jun 2026 15:53:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-03 22:00:05.130066
• Title: PURGE: Projected Unlearning via Retain-Guided Erasure
• Title（参考訳）: PURGE:Retain-Guided Erasureによる未学習の計画
• Authors: Vedant Jawandhia, Daksh Ahuja, Ghufran Alam Siddiqui, Prashant Trivedi, Yash Sinha, Pratik Narang,
• Abstract要約: PURGEは、単純だが未発見の観測(継続学習(CL)と機械未学習(MU))に基づいて構築された機械学習アルゴリズムである。 CLは古いタスクを忘れずに新しいタスクを学習しようとします。MUは、反対方向に同じ根底にある緊張力を表す保持パフォーマンスを損なうことなく、特定のデータを消去しようとします。 PURGEは、MIA AUROCを0.5(理想)に近い精度で達成し、勾配上昇、KLユニフォーム、プライバシーユーティリティフロンティアのいくつかのベースラインを達成しながら、常に96%以上の精度を維持している。
• 参考スコア（独自算出の注目度）: 5.069332646113575
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We propose PURGE, a machine unlearning algorithm built on a simple but an under-exploited observation: continual learning (CL) and machine unlearning (MU) which are fundamentally dual problems. CL tries to learn new tasks without forgetting old ones; MU tries to erase specific data without hurting retained performance representing the same underlying tension in opposite directions. PURGE leverages this duality by adapting gradient projection from A-GEM (Chaudhry et al., 2019) so that every unlearning step is constrained to not increase the retain-set loss. On top of this, it performs multi-layer representation erasure, pushing forget-set activations in intermediate layers towards the retain distribution to remove information from hidden representations rather than just suppressing it at the output. A key design choice is the retain-confusion target: rather than pushing forget outputs toward the uniform distribution, which we found to be surprisingly easy for membership inference attacks to detect, we instead target the model's natural confusion pattern on retain data. This makes the unlearned model hard to distinguish from one retrained from scratch. Two self-regulating stopping criteria (a retain-loss budget and a forget-accuracy target) let the algorithm decide on its own when to stop, removing the need for manual epoch tuning. In experiments on five datasets (CIFAR-10, MNIST, SVHN, STL10, PathMNIST) across 22 class-level forgetting tasks, PURGE consistently keeps retain accuracy above 96% while achieving MIA AUROC close to 0.5 (the ideal), outperforming gradient ascent, KL-uniform, and several published baselines on the privacy-utility frontier.
• Abstract（参考訳）: 基本的には二重問題である継続学習(CL)と機械アンラーニング(MU)という,単純だが未発見な観測結果に基づいて構築された機械アンラーニングアルゴリズムであるPURGEを提案する。 CLは古いタスクを忘れずに新しいタスクを学習しようとします。MUは、反対方向に同じ根底にある緊張力を表す保持パフォーマンスを損なうことなく、特定のデータを消去しようとします。 PURGEはこの双対性を利用して、A-GEM(Chaudhry et al , 2019)からの勾配投影を適用し、すべての未学習ステップが保持セット損失を増大させないよう制約される。 これに加えて、マルチレイヤ表現消去を行い、中間層における忘れられたセットのアクティベーションを保持分布にプッシュすることで、単に出力で抑制するのではなく、隠された表現から情報を除去する。 均一分布に出力をプッシュする代わりに、メンバシップ推論攻撃が検出するのが驚くほど容易であることが分かったので、保持データに対するモデルの自然な混乱パターンをターゲットとしています。 これにより、未学習のモデルは、スクラッチからトレーニングされた1つのモデルと区別しにくくなります。 2つの自己規制停止基準(余剰予算と忘れ精度目標)は、アルゴリズムが停止するタイミングを決め、手動のエポックチューニングを不要にする。 5つのデータセット(CIFAR-10、MNIST、SVHN、STL10、PathMNIST)の22のクラスレベルの忘れ作業に対する実験では、PURGEは一貫して96%以上の精度を維持し、MIA AUROCは0.5(理想)に近づき、勾配上昇、KL-ユニフォーム、プライバシーユーティリティフロンティアのいくつかの公開ベースラインを達成している。

関連論文リスト

• How Hard Can It Be? Hardness-Aware Multi-Objective Unlearning [75.97729821186815]
  機械学習は、プライバシー、著作権、バイアスの懸念による特定の忘れられたトレーニングデータの影響を取り除くことを目的としている。 我々は,品質の特定の改善を保証することを目的として,未学習のアルゴリズムを導出する。 私たちの硬度測定は、ユーティリティの劣化が避けられない場合にユーザーに通知します。
  論文  参考訳（メタデータ） (2026-06-01T11:49:47Z)
• SHRED: Retain-Set-Free Unlearning via Self-Distillation with Logit Demotion [39.17638540496959]
  SHRED (Self-distillation via High-surprisal-only Retain-free Entropy Demotion) は、キーインサイトに基づいて構築された、保持セットなしのアンラーニング手法である。 高情報トークンはモデルの記憶された知識に集中し、低情報トークンは一般的な言語能力を反映する。 SHREDは再学習攻撃やメンバシップ推論攻撃に対して堅牢であり、連続的なアンラーニングの実行が多数あった後も安定したユーティリティを維持している。
  論文  参考訳（メタデータ） (2026-05-08T09:25:18Z)
• Retain-Neutral Surrogates for Min-Max Unlearning [6.039098328985986]
  マシンアンラーニングは、残りのデータのパフォーマンスを維持しながら、指定されたトレーニングデータの影響を除去しようとする。 min-maxアンラーニングでは、キーとなるローカルオブジェクトは、保持対象が評価される代理点である。 本稿では,一階述語ゲインを最大化することにより,内部代理構築を制約するRetain-Orthogonal Surrogate Unlearningを提案する。
  論文  参考訳（メタデータ） (2026-05-07T08:38:09Z)
• Geometric-Disentangelment Unlearning [106.99160454669902]
  忘れたサンプルへの勾配は しばしば 保持された知識を傷つける 本稿では,GU(Geometric-disment Unlearning)を提案する。 本手法はプラグ・アンド・プレイであり,既存の勾配に基づくアンラーニング手法と併用することで副作用を軽減できる。
  論文  参考訳（メタデータ） (2025-11-21T09:58:25Z)
• Constrained Entropic Unlearning: A Primal-Dual Framework for Large Language Models [14.321060805197874]
  大規模言語モデル(LLM)が現実の環境でデプロイされるようになると、機密性、時代遅れ、あるいはプロプライエタリな情報を漏らさなくてはならなくなる。 既存の未学習の手法は、忘れと保持を規則化されたトレードオフとして定式化し、両方の目的を1つのスカラー化された損失に組み合わせる。 制約付き最適化問題として,LLMアンラーニングの新たな定式化を提案する。
  論文  参考訳（メタデータ） (2025-06-05T17:55:23Z)
• Unified Gradient-Based Machine Unlearning with Remain Geometry Enhancement [29.675650285351768]
  深層ニューラルネットワークのプライバシーと信頼性を高めるために、機械学習(MU)が登場した。 近似MUは大規模モデルの実用的手法である。 本稿では,最新の学習方向を暗黙的に近似する高速スローパラメータ更新手法を提案する。
  論文  参考訳（メタデータ） (2024-09-29T15:17:33Z)
• Adaptive Retention & Correction: Test-Time Training for Continual Learning [114.5656325514408]
  連続学習における一般的な問題は、最新のタスクに対する分類層のバイアスである。 アダプティブ・リテンション・アンド・コレクション (ARC) のアプローチを例に挙げる。 ARCはCIFAR-100とImagenet-Rのデータセットで平均2.7%と2.6%のパフォーマンス向上を達成した。
  論文  参考訳（メタデータ） (2024-05-23T08:43:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。