論文の概要: Rewind-to-Delete: Certified Machine Unlearning for Nonconvex Functions
- arxiv url: http://arxiv.org/abs/2409.09778v1
- Date: Sun, 15 Sep 2024 15:58:08 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-17 17:30:41.928923
- Title: Rewind-to-Delete: Certified Machine Unlearning for Nonconvex Functions
- Title（参考訳）: Rewind-to-Delete: 非凸関数のための認定機械アンラーニング
- Authors: Siqiao Mu, Diego Klabjan,
- Abstract要約: 機械学習アルゴリズムは、データのプライバシを強制したり、腐敗または時代遅れのデータを削除したり、ユーザの忘れる権利を尊重するために、スクラッチからモデルから効率的にデータを取得することを目的としています。
我々のアルゴリズムはブラックボックスであり、未学習の事前考慮なしに、バニラ勾配勾配のモデルに直接適用できる。
- 参考スコア（独自算出の注目度）: 11.955062839855334
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Machine unlearning algorithms aim to efficiently remove data from a model without retraining it from scratch, in order to enforce data privacy, remove corrupted or outdated data, or respect a user's ``right to be forgotten." Certified machine unlearning is a strong theoretical guarantee that quantifies the extent to which data is erased from the model weights. Most prior works in certified unlearning focus on models trained on convex or strongly convex loss functions, which benefit from convenient convergence guarantees and the existence of global minima. For nonconvex objectives, existing algorithms rely on limiting assumptions and expensive computations that hinder practical implementations. In this work, we propose a simple first-order algorithm for unlearning on general nonconvex loss functions which unlearns by ``rewinding" to an earlier step during the learning process and then performs gradient descent on the loss function of the retained data points. Our algorithm is black-box, in that it can be directly applied to models pretrained with vanilla gradient descent with no prior consideration of unlearning. We prove $(\epsilon, \delta)$ certified unlearning and performance guarantees that establish the privacy-utility-complexity tradeoff of our algorithm, with special consideration for nonconvex functions that satisfy the Polyak-Lojasiewicz inequality.
- Abstract（参考訳）: 機械学習アルゴリズムは、データのプライバシを強制したり、破損したデータや時代遅れのデータを削除したり、ユーザの‘忘れられる権利’を尊重するために、スクラッチからデータを再トレーニングすることなく、モデルから効率的にデータを削除することを目的としている。
「認定機械アンラーニング」は、モデルの重みからデータが消去される範囲を定量化する強力な理論的保証である。従来は、便利な収束保証とグローバル・ミニマの存在から恩恵を受ける凸や強凸の損失関数を訓練したモデルに重点を置いていた。非凸目的に対しては、既存のアルゴリズムは、実用的な実装を妨げる仮定や高価な計算に頼っている。本研究では、学習過程の早い段階で「巻き戻し」によって引き起こされる一般的な非凸の損失関数を学習するための単純な一階述語アルゴリズムを提案し、その後、保持されたデータポイントの損失関数に傾倒する。
我々のアルゴリズムはブラックボックスであり、未学習の事前考慮なしに、バニラ勾配降下で事前訓練されたモデルに直接適用することができる。
我々は、Polyak-Lojasiewiczの不等式を満たす非凸関数を特に考慮して、アルゴリズムのプライバシ・ユーティリティ・複雑さのトレードオフを確立するための認定未学習と性能保証を$(\epsilon, \delta)$で証明する。
関連論文リスト
- Accelerated zero-order SGD under high-order smoothness and overparameterized regime [79.85163929026146]
凸最適化問題を解くための新しい勾配のないアルゴリズムを提案する。
このような問題は医学、物理学、機械学習で発生する。
両種類の雑音下で提案アルゴリズムの収束保証を行う。
論文 参考訳（メタデータ） (2024-11-21T10:26:17Z) - LEARN: An Invex Loss for Outlier Oblivious Robust Online Optimization [56.67706781191521]
敵は、学習者に未知の任意の数kの損失関数を破損させることで、外れ値を導入することができる。
我々は,任意の数kで損失関数を破損させることで,敵が外乱を発生させることができる,頑健なオンラインラウンド最適化フレームワークを提案する。
論文 参考訳（メタデータ） (2024-08-12T17:08:31Z) - Regression under demographic parity constraints via unlabeled post-processing [5.762345156477737]
本稿では,人口統計値に合致する予測を生成する汎用ポストプロセッシングアルゴリズムを提案する。
我々は凸関数の勾配ノルムを正確に制御する必要がある。
提案アルゴリズムは有限サンプル解析と後処理バウンダリによって裏付けられ, 実験結果から理論的知見が得られた。
論文 参考訳（メタデータ） (2024-07-22T08:11:58Z) - Hessian-Free Online Certified Unlearning [8.875278412741695]
ほぼ瞬時にデータを除去するオンライン・アンラーニングアルゴリズムを開発した。
提案手法は,非学習および一般化保証の観点から,最先端の手法よりも優れていることを示す。
論文 参考訳（メタデータ） (2024-04-02T07:54:18Z) - Certified Machine Unlearning via Noisy Stochastic Gradient Descent [20.546589699647416]
機械学習は、訓練されたモデルに対する特定のデータポイントの効果を効率的に除去することを目的としている。
本研究では,雑音勾配勾配を非学習に活用し,その最初の近似的非学習保証を確立することを提案する。
論文 参考訳（メタデータ） (2024-03-25T18:43:58Z) - Loss-Free Machine Unlearning [51.34904967046097]
我々は、再学習とラベルなしの両方の機械学習アプローチを提案する。
Retraining-freeアプローチは、損失から派生したFisher情報を利用することが多く、利用できないラベル付きデータを必要とする。
本稿では,モデル出力のl2ノルムの勾配に対して,フィッシャー情報行列の対角線を近似感度に置き換えるSelective Synaptic Dampeningアルゴリズムの拡張を提案する。
論文 参考訳（メタデータ） (2024-02-29T16:15:34Z) - Equation Discovery with Bayesian Spike-and-Slab Priors and Efficient Kernels [57.46832672991433]
ケルネル学習とBayesian Spike-and-Slab pres (KBASS)に基づく新しい方程式探索法を提案する。
カーネルレグレッションを用いてターゲット関数を推定する。これはフレキシブルで表現力があり、データ空間やノイズに対してより堅牢である。
我々は,効率的な後部推論と関数推定のための予測伝搬予測最大化アルゴリズムを開発した。
論文 参考訳（メタデータ） (2023-10-09T03:55:09Z) - Forget Unlearning: Towards True Data-Deletion in Machine Learning [18.656957502454592]
アンラーニングはデータ削除と同等ではなく、「忘れられる権利」を保証していないことを示す。
本稿では,オンライン環境での精度,計算効率,セキュアなデータ削除機械学習アルゴリズムを提案する。
論文 参考訳（メタデータ） (2022-10-17T10:06:11Z) - Algorithms that Approximate Data Removal: New Results and Limitations [2.6905021039717987]
本研究では,経験的リスク最小化を用いて学習した機械学習モデルからユーザデータを削除することの問題点について検討する。
計算とメモリ効率を両立させるオンラインアンラーニングアルゴリズムを開発した。
論文 参考訳（メタデータ） (2022-09-25T17:20:33Z) - Machine Unlearning of Features and Labels [72.81914952849334]
機械学習モデルにおけるアンラーニングとラベルのファーストシナリオを提案する。
提案手法は,影響関数の概念に基づいて,モデルパラメータのクローズドフォーム更新によるアンラーニングを実現する。
論文 参考訳（メタデータ） (2021-08-26T04:42:24Z) - Risk Minimization from Adaptively Collected Data: Guarantees for
Supervised and Policy Learning [57.88785630755165]
経験的リスク最小化(Empirical Risk Minimization, ERM)は、機械学習のワークホースであるが、適応的に収集されたデータを使用すると、そのモデルに依存しない保証が失敗する可能性がある。
本研究では,仮説クラス上での損失関数の平均値を最小限に抑えるため,適応的に収集したデータを用いた一般的な重み付きERMアルゴリズムについて検討する。
政策学習では、探索がゼロになるたびに既存の文献のオープンギャップを埋める率-最適後悔保証を提供する。
論文 参考訳（メタデータ） (2021-06-03T09:50:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。