論文の概要: Variance-Reduced $(\varepsilon,δ)-$Unlearning using Forget Set Gradients

• arxiv url: http://arxiv.org/abs/2602.14938v1
• Date: Mon, 16 Feb 2026 17:20:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-17 16:22:50.558323
• Title: Variance-Reduced $(\varepsilon,δ)-$Unlearning using Forget Set Gradients
• Title（参考訳）: Forget Set Gradients を用いた可変生成 $(\varepsilon,δ)-$Unlearning
• Authors: Martin Van Waerebeke, Marco Lorenzi, Kevin Scaman, El Mahdi El Mhamdi, Giovanni Neglia,
• Abstract要約: Variance-Reduced Unlearningは1次アルゴリズムで、その更新ルールに直列でセットの勾配を直接含んでいる。 誤りセットを組み込むと、厳密に改善された率、すなわち、達成されたエラーへのより良い依存が得られます。
• 参考スコア（独自算出の注目度）: 21.428036263207243
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In machine unlearning, $(\varepsilon,δ)-$unlearning is a popular framework that provides formal guarantees on the effectiveness of the removal of a subset of training data, the forget set, from a trained model. For strongly convex objectives, existing first-order methods achieve $(\varepsilon,δ)-$unlearning, but they only use the forget set to calibrate injected noise, never as a direct optimization signal. In contrast, efficient empirical heuristics often exploit the forget samples (e.g., via gradient ascent) but come with no formal unlearning guarantees. We bridge this gap by presenting the Variance-Reduced Unlearning (VRU) algorithm. To the best of our knowledge, VRU is the first first-order algorithm that directly includes forget set gradients in its update rule, while provably satisfying ($(\varepsilon,δ)-$unlearning. We establish the convergence of VRU and show that incorporating the forget set yields strictly improved rates, i.e. a better dependence on the achieved error compared to existing first-order $(\varepsilon,δ)-$unlearning methods. Moreover, we prove that, in a low-error regime, VRU asymptotically outperforms any first-order method that ignores the forget set.Experiments corroborate our theory, showing consistent gains over both state-of-the-art certified unlearning methods and over empirical baselines that explicitly leverage the forget set.
• Abstract（参考訳）: 機械学習において、$(\varepsilon,δ)-$unlearningは、訓練されたモデルからトレーニングデータのサブセットである忘れセットを削除することの有効性を正式な保証する一般的なフレームワークである。 強い凸目的のために、既存の一階法は$(\varepsilon,δ)-$unlearningを達成するが、彼らは直接最適化信号としてではなく、注入された雑音を校正するためにのみクリプトセットを使用する。 対照的に、効率的な経験的ヒューリスティックスは、しばしば忘れられたサンプル(例えば、勾配による上昇)を利用するが、正式な未学習保証はない。 本稿では,このギャップをVRU (Variance-Reduced Unlearning) アルゴリズムによって埋める。 私たちの知る限りでは、VRUは最初の一階述語アルゴリズムであり、その更新規則のセット勾配を直接含みながら、(\varepsilon,δ)-$unlearning を確実に満足する。 我々は、VRUの収束を確立し、既存の一階述語$(\varepsilon,δ)-$unlearning法と比較して、クリプトセットを組み込むことで、達成されたエラーへの依存度がより良くなることを示す。 さらに、低エラー状態においては、VRUは、忘れセットを無視する一階法を漸近的に上回り、実験は我々の理論を裏付け、最先端の認定未学習手法と、その忘れセットを明示的に活用する経験的ベースラインの両方に対して一貫した利得を示す。

関連論文リスト

• Is Gradient Ascent Really Necessary? Memorize to Forget for Machine Unlearning [71.96329385684395]
  勾配上昇(GA)に代わるモデル外挿法を提案する。 言い換えると、記憶モデルから参照モデルへの外挿によって、忘れモデルが得られる。 モデル外挿法の実装はシンプルで効率的であり、トレーニング全体を通して効果的に収束し、未学習のパフォーマンスを向上させることができる。
  論文  参考訳（メタデータ） (2026-02-06T07:11:27Z)
• Rewind-to-Delete: Certified Machine Unlearning for Nonconvex Functions [22.183624306817563]
  機械学習アルゴリズムは、スクラッチを使わずにモデルから効率的にデータを収集することを目的としている。 証明されたマシン・アンラーニングは 微分一般化に基づく 強力な理論上の保証だ
  論文  参考訳（メタデータ） (2024-09-15T15:58:08Z)
• Enhancing Robustness of Vision-Language Models through Orthogonality Learning and Self-Regularization [77.62516752323207]
  そこで本研究では,事前訓練した重みを効率よく微調整する直交微調整法を導入し,頑健さと一般化の強化を実現した。 自己正規化戦略は、OrthSRと呼ばれるVLMのゼロショット一般化の観点から安定性を維持するためにさらに活用される。 筆者らはCLIPとCoOpを再検討し,少数の画像のクラスフィシエーションシナリオにおけるモデルの改善を効果的に行う。
  論文  参考訳（メタデータ） (2024-07-11T10:35:53Z)
• Achieving Constant Regret in Linear Markov Decision Processes [57.34287648914407]
  我々は不特定線形マルコフ決定過程(MDP)に対するアルゴリズムCert-LSVI-UCBを導入する。 Cert-LSVI-UCB は $tildemathcalO(d3H5/Delta)$ の累積後悔を高い確率で示し、不特定度 $zeta$ が $tildemathcalO(Delta / (sqrtdH2))$ 以下であることを示す。
  論文  参考訳（メタデータ） (2024-04-16T17:23:19Z)
• Improved Regret for Efficient Online Reinforcement Learning with Linear Function Approximation [69.0695698566235]
  線形関数近似による強化学習と,コスト関数の逆変化について検討した。 本稿では,未知のダイナミクスと帯域幅フィードバックの一般設定に挑戦する,計算効率のよいポリシ最適化アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-01-30T17:26:39Z)
• Balanced Self-Paced Learning for AUC Maximization [88.53174245457268]
  既存のセルフパッチ方式は、ポイントワイズAUCに限られている。 我々のアルゴリズムは閉形式解に基づいて定常点に収束する。
  論文  参考訳（メタデータ） (2022-07-08T02:09:32Z)
• Towards Demystifying Representation Learning with Non-contrastive Self-supervision [82.80118139087676]
  自己教師型学習の非競合的手法は、同一画像の2つのビュー間の距離を最小化することにより、表現を学習する。 Tian el al. (2021) は最初の質問に対して最初の試みを行い、予測器を直接設定する DirectPred を提案した。 単純な線形ネットワークにおいて、DirectSet($alpha$)は望ましいプロジェクション行列を確実に学習し、下流タスクにおけるサンプルの複雑さを減少させることを示す。
  論文  参考訳（メタデータ） (2021-10-11T00:48:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。