論文の概要: Rewind-to-Delete: Certified Machine Unlearning for Nonconvex Functions

• arxiv url: http://arxiv.org/abs/2409.09778v1
• Date: Sun, 15 Sep 2024 15:58:08 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-17 17:30:41.928923
• Title: Rewind-to-Delete: Certified Machine Unlearning for Nonconvex Functions
• Title（参考訳）: Rewind-to-Delete: 非凸関数のための認定機械アンラーニング
• Authors: Siqiao Mu, Diego Klabjan,
• Abstract要約: 機械学習アルゴリズムは、データのプライバシを強制したり、腐敗または時代遅れのデータを削除したり、ユーザの忘れる権利を尊重するために、スクラッチからモデルから効率的にデータを取得することを目的としています。 我々のアルゴリズムはブラックボックスであり、未学習の事前考慮なしに、バニラ勾配勾配のモデルに直接適用できる。
• 参考スコア（独自算出の注目度）: 11.955062839855334
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Machine unlearning algorithms aim to efficiently remove data from a model without retraining it from scratch, in order to enforce data privacy, remove corrupted or outdated data, or respect a user's ``right to be forgotten." Certified machine unlearning is a strong theoretical guarantee that quantifies the extent to which data is erased from the model weights. Most prior works in certified unlearning focus on models trained on convex or strongly convex loss functions, which benefit from convenient convergence guarantees and the existence of global minima. For nonconvex objectives, existing algorithms rely on limiting assumptions and expensive computations that hinder practical implementations. In this work, we propose a simple first-order algorithm for unlearning on general nonconvex loss functions which unlearns by ``rewinding" to an earlier step during the learning process and then performs gradient descent on the loss function of the retained data points. Our algorithm is black-box, in that it can be directly applied to models pretrained with vanilla gradient descent with no prior consideration of unlearning. We prove $(\epsilon, \delta)$ certified unlearning and performance guarantees that establish the privacy-utility-complexity tradeoff of our algorithm, with special consideration for nonconvex functions that satisfy the Polyak-Lojasiewicz inequality.
• Abstract（参考訳）: 機械学習アルゴリズムは、データのプライバシを強制したり、破損したデータや時代遅れのデータを削除したり、ユーザの‘忘れられる権利’を尊重するために、スクラッチからデータを再トレーニングすることなく、モデルから効率的にデータを削除することを目的としている。 「認定機械アンラーニング」は、モデルの重みからデータが消去される範囲を定量化する強力な理論的保証である。従来は、便利な収束保証とグローバル・ミニマの存在から恩恵を受ける凸や強凸の損失関数を訓練したモデルに重点を置いていた。非凸目的に対しては、既存のアルゴリズムは、実用的な実装を妨げる仮定や高価な計算に頼っている。本研究では、学習過程の早い段階で「巻き戻し」によって引き起こされる一般的な非凸の損失関数を学習するための単純な一階述語アルゴリズムを提案し、その後、保持されたデータポイントの損失関数に傾倒する。 我々のアルゴリズムはブラックボックスであり、未学習の事前考慮なしに、バニラ勾配降下で事前訓練されたモデルに直接適用することができる。 我々は、Polyak-Lojasiewiczの不等式を満たす非凸関数を特に考慮して、アルゴリズムのプライバシ・ユーティリティ・複雑さのトレードオフを確立するための認定未学習と性能保証を$(\epsilon, \delta)$で証明する。

関連論文リスト

• Accelerated zero-order SGD under high-order smoothness and overparameterized regime [79.85163929026146]
  凸最適化問題を解くための新しい勾配のないアルゴリズムを提案する。 このような問題は医学、物理学、機械学習で発生する。 両種類の雑音下で提案アルゴリズムの収束保証を行う。
  論文  参考訳（メタデータ） (2024-11-21T10:26:17Z)
• Attribute-to-Delete: Machine Unlearning via Datamodel Matching [65.13151619119782]
  機械学習 -- 事前訓練された機械学習モデルで、小さな"ターゲットセット"トレーニングデータを効率的に削除する -- は、最近関心を集めている。 最近の研究では、機械学習技術はこのような困難な環境では耐えられないことが示されている。
  論文  参考訳（メタデータ） (2024-10-30T17:20:10Z)
• Efficient and Generalizable Certified Unlearning: A Hessian-free Recollection Approach [8.875278412741695]
  機械学習は、特定のデータを選択的に忘れることを可能にして、データ所有者の権利を忘れないように努力する。 我々は,ベクトル加算操作のみを必要とするため,ほぼ瞬時に未学習を実現するアルゴリズムを開発した。
  論文  参考訳（メタデータ） (2024-04-02T07:54:18Z)
• Loss-Free Machine Unlearning [51.34904967046097]
  我々は、再学習とラベルなしの両方の機械学習アプローチを提案する。 Retraining-freeアプローチは、損失から派生したFisher情報を利用することが多く、利用できないラベル付きデータを必要とする。 本稿では,モデル出力のl2ノルムの勾配に対して,フィッシャー情報行列の対角線を近似感度に置き換えるSelective Synaptic Dampeningアルゴリズムの拡張を提案する。
  論文  参考訳（メタデータ） (2024-02-29T16:15:34Z)
• An Information Theoretic Approach to Machine Unlearning [45.600917449314444]
  学びの鍵となる課題は、モデルのパフォーマンスを保ちながら、必要なデータをタイムリーに忘れることである。 この研究では、ゼロショットのアンラーニングシナリオに対処し、未学習のアルゴリズムは、トレーニングされたモデルと忘れられるデータだけが与えられたデータを削除できなければならない。 モデルの幾何に基づいて、単純だが原則化されたゼロショットアンラーニング法を導出する。
  論文  参考訳（メタデータ） (2024-02-02T13:33:30Z)
• Learn to Unlearn for Deep Neural Networks: Minimizing Unlearning Interference with Gradient Projection [56.292071534857946]
  最近のデータプライバシ法は、機械学習への関心を喚起している。 課題は、残りのデータセットに関する知識を変更することなく、忘れたデータに関する情報を捨てることである。 我々は、プロジェクテッド・グラディエント・アンラーニング(PGU)という、プロジェクテッド・グラディエント・ベースの学習手法を採用する。 トレーニングデータセットがもはやアクセスできない場合でも、スクラッチからスクラッチで再トレーニングされたモデルと同じような振る舞いをするモデルを、我々のアンラーニング手法が生成できることを実証するための実証的な証拠を提供する。
  論文  参考訳（メタデータ） (2023-12-07T07:17:24Z)
• Equation Discovery with Bayesian Spike-and-Slab Priors and Efficient Kernels [57.46832672991433]
  ケルネル学習とBayesian Spike-and-Slab pres (KBASS)に基づく新しい方程式探索法を提案する。 カーネルレグレッションを用いてターゲット関数を推定する。これはフレキシブルで表現力があり、データ空間やノイズに対してより堅牢である。 我々は,効率的な後部推論と関数推定のための予測伝搬予測最大化アルゴリズムを開発した。
  論文  参考訳（メタデータ） (2023-10-09T03:55:09Z)
• Forget Unlearning: Towards True Data-Deletion in Machine Learning [18.656957502454592]
  アンラーニングはデータ削除と同等ではなく、「忘れられる権利」を保証していないことを示す。 本稿では,オンライン環境での精度,計算効率,セキュアなデータ削除機械学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-10-17T10:06:11Z)
• Algorithms that Approximate Data Removal: New Results and Limitations [2.6905021039717987]
  本研究では,経験的リスク最小化を用いて学習した機械学習モデルからユーザデータを削除することの問題点について検討する。 計算とメモリ効率を両立させるオンラインアンラーニングアルゴリズムを開発した。
  論文  参考訳（メタデータ） (2022-09-25T17:20:33Z)
• Machine Unlearning of Features and Labels [72.81914952849334]
  機械学習モデルにおけるアンラーニングとラベルのファーストシナリオを提案する。 提案手法は,影響関数の概念に基づいて,モデルパラメータのクローズドフォーム更新によるアンラーニングを実現する。
  論文  参考訳（メタデータ） (2021-08-26T04:42:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。