論文の概要: Loss-Free Machine Unlearning
- arxiv url: http://arxiv.org/abs/2402.19308v1
- Date: Thu, 29 Feb 2024 16:15:34 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-01 14:08:06.658694
- Title: Loss-Free Machine Unlearning
- Title(参考訳): ロスフリーマシンアンラーニング
- Authors: Jack Foster, Stefan Schoepf, Alexandra Brintrup
- Abstract要約: 我々は、再学習とラベルなしの両方の機械学習アプローチを提案する。
Retraining-freeアプローチは、損失から派生したFisher情報を利用することが多く、利用できないラベル付きデータを必要とする。
本稿では,モデル出力のl2ノルムの勾配に対して,フィッシャー情報行列の対角線を近似感度に置き換えるSelective Synaptic Dampeningアルゴリズムの拡張を提案する。
- 参考スコア(独自算出の注目度): 51.34904967046097
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We present a machine unlearning approach that is both retraining- and
label-free. Most existing machine unlearning approaches require a model to be
fine-tuned to remove information while preserving performance. This is
computationally expensive and necessitates the storage of the whole dataset for
the lifetime of the model. Retraining-free approaches often utilise Fisher
information, which is derived from the loss and requires labelled data which
may not be available. Thus, we present an extension to the Selective Synaptic
Dampening algorithm, substituting the diagonal of the Fisher information matrix
for the gradient of the l2 norm of the model output to approximate sensitivity.
We evaluate our method in a range of experiments using ResNet18 and Vision
Transformer. Results show our label-free method is competitive with existing
state-of-the-art approaches.
- Abstract(参考訳): 我々は、再学習とラベルなしの両方の機械学習アプローチを提案する。
既存の機械学習アプローチの多くは、パフォーマンスを保ちながら情報を除去するために、モデルを微調整する必要がある。
これは計算コストが高く、モデルの存続期間にデータセット全体の保存を必要とする。
Retraining-freeアプローチは、損失から派生したFisher情報を利用することが多く、利用できないラベル付きデータを必要とする。
そこで本研究では,モデル出力のl2ノルムの勾配に対して,フィッシャー情報行列の対角線を近似感度に置き換えた選択的シナプス減衰アルゴリズムの拡張を提案する。
本研究では,ResNet18とVision Transformerを用いて実験を行った。
提案手法は,既存の最先端手法と競合することを示す。
関連論文リスト
- Zero-Shot Machine Unlearning at Scale via Lipschitz Regularization [43.81291569160508]
学びの鍵となる課題は、モデルのパフォーマンスを保ちながら、必要なデータをタイムリーに忘れることである。
本稿では, サンプルの摂動に関して, サンプル出力の平滑化を誘導する手法を提案する。
このスムーズな結果が,一般的なモデル性能を維持しつつ,忘れることに成功していることを示す。
論文 参考訳(メタデータ) (2024-02-02T13:33:30Z) - Dataset Condensation Driven Machine Unlearning [0.0]
データ規制要件とプライバシ保護機械学習の現在のトレンドは、機械学習の重要性を強調している。
我々は,機械学習のプライバシ,ユーティリティ,効率のバランスをとるために,新しいデータセット凝縮手法と革新的なアンラーニング手法を提案する。
論文 参考訳(メタデータ) (2024-01-31T21:48:25Z) - Machine unlearning through fine-grained model parameters perturbation [29.1171391789129]
そこで本研究では,不エクササイズマシンの非学習戦略であるTop-KパラメータとRandom-kパラメータの微粒化を提案する。
また,機械学習の有効性を評価する上での課題にも取り組む。
論文 参考訳(メタデータ) (2024-01-09T07:14:45Z) - Learn to Unlearn for Deep Neural Networks: Minimizing Unlearning
Interference with Gradient Projection [56.292071534857946]
最近のデータプライバシ法は、機械学習への関心を喚起している。
課題は、残りのデータセットに関する知識を変更することなく、忘れたデータに関する情報を捨てることである。
我々は、プロジェクテッド・グラディエント・アンラーニング(PGU)という、プロジェクテッド・グラディエント・ベースの学習手法を採用する。
トレーニングデータセットがもはやアクセスできない場合でも、スクラッチからスクラッチで再トレーニングされたモデルと同じような振る舞いをするモデルを、我々のアンラーニング手法が生成できることを実証するための実証的な証拠を提供する。
論文 参考訳(メタデータ) (2023-12-07T07:17:24Z) - Self-Supervised Dataset Distillation for Transfer Learning [82.09002658558529]
ラベルなしデータセットを、効率的な自己教師付き学習(SSL)のための小さな合成サンプル群に蒸留する新しい問題を提案する。
両レベル最適化におけるSSL目標に対する合成サンプルの勾配は、データ拡張やマスキングから生じるランダム性から、テキストバイアスを受けていることを最初に証明する。
転送学習を含む様々な応用における本手法の有効性を実証的に検証する。
論文 参考訳(メタデータ) (2023-10-10T10:48:52Z) - Generative Adversarial Networks Unlearning [13.342749941357152]
機械学習は、訓練された機械学習モデルからトレーニングデータを消去するソリューションとして登場した。
GAN(Generative Adversarial Networks)の研究は、ジェネレータと識別器を含む独自のアーキテクチャによって制限されている。
本稿では,GANモデルにおける項目学習とクラス学習の両方を対象としたケースドアンラーニング手法を提案する。
論文 参考訳(メタデータ) (2023-08-19T02:21:21Z) - Fast Machine Unlearning Without Retraining Through Selective Synaptic
Dampening [51.34904967046097]
Selective Synaptic Dampening (SSD)は高速で、訓練データの長期保存を必要としない。
高速で性能が高く,トレーニングデータの長期保存を必要としない,新しい2段階のポストホック,リトレーニングフリーなマシンアンラーニング手法を提案する。
論文 参考訳(メタデータ) (2023-08-15T11:30:45Z) - Machine Unlearning of Features and Labels [72.81914952849334]
機械学習モデルにおけるアンラーニングとラベルのファーストシナリオを提案する。
提案手法は,影響関数の概念に基づいて,モデルパラメータのクローズドフォーム更新によるアンラーニングを実現する。
論文 参考訳(メタデータ) (2021-08-26T04:42:24Z) - Semi-Supervised Learning with Meta-Gradient [123.26748223837802]
半教師付き学習における簡単なメタ学習アルゴリズムを提案する。
その結果,提案アルゴリズムは最先端の手法に対して良好に動作することがわかった。
論文 参考訳(メタデータ) (2020-07-08T08:48:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。