論文の概要: Generative Adversarial Networks Unlearning
- arxiv url: http://arxiv.org/abs/2308.09881v1
- Date: Sat, 19 Aug 2023 02:21:21 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-22 19:28:20.337408
- Title: Generative Adversarial Networks Unlearning
- Title(参考訳): 生成的敵対的ネットワークの学習
- Authors: Hui Sun, Tianqing Zhu, Wenhan Chang, and Wanlei Zhou
- Abstract要約: 機械学習は、訓練された機械学習モデルからトレーニングデータを消去するソリューションとして登場した。
GAN(Generative Adversarial Networks)の研究は、ジェネレータと識別器を含む独自のアーキテクチャによって制限されている。
本稿では,GANモデルにおける項目学習とクラス学習の両方を対象としたケースドアンラーニング手法を提案する。
- 参考スコア(独自算出の注目度): 13.342749941357152
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: As machine learning continues to develop, and data misuse scandals become
more prevalent, individuals are becoming increasingly concerned about their
personal information and are advocating for the right to remove their data.
Machine unlearning has emerged as a solution to erase training data from
trained machine learning models. Despite its success in classifiers, research
on Generative Adversarial Networks (GANs) is limited due to their unique
architecture, including a generator and a discriminator. One challenge pertains
to generator unlearning, as the process could potentially disrupt the
continuity and completeness of the latent space. This disruption might
consequently diminish the model's effectiveness after unlearning. Another
challenge is how to define a criterion that the discriminator should perform
for the unlearning images. In this paper, we introduce a substitution mechanism
and define a fake label to effectively mitigate these challenges. Based on the
substitution mechanism and fake label, we propose a cascaded unlearning
approach for both item and class unlearning within GAN models, in which the
unlearning and learning processes run in a cascaded manner. We conducted a
comprehensive evaluation of the cascaded unlearning technique using the MNIST
and CIFAR-10 datasets. Experimental results demonstrate that this approach
achieves significantly improved item and class unlearning efficiency, reducing
the required time by up to 185x and 284x for the MNIST and CIFAR-10 datasets,
respectively, in comparison to retraining from scratch. Notably, although the
model's performance experiences minor degradation after unlearning, this
reduction is negligible when dealing with a minimal number of images (e.g., 64)
and has no adverse effects on downstream tasks such as classification.
- Abstract(参考訳): 機械学習が発展し続け、データ誤用スキャンダルが広まるにつれ、個人は個人情報を心配し、データを削除する権利を主張するようになってきています。
機械学習は、訓練された機械学習モデルからトレーニングデータを消去するソリューションとして登場した。
分類器での成功にもかかわらず、ジェネレータと識別器を含む独自のアーキテクチャのため、GAN(Generative Adversarial Networks)の研究は限られている。
このプロセスは潜在空間の連続性と完全性を損なう可能性があるため、ジェネレータアンラーニングに関する課題がある。
この混乱は、学習後のモデルの有効性を損なう可能性がある。
もうひとつの課題は、未学習の画像に対して差別者が実行すべき基準を定義する方法だ。
本稿では,置換機構を導入し,これらの課題を効果的に軽減するための偽ラベルを定義する。
置換機構と偽ラベルに基づいて,GANモデル内の項目学習とクラス学習の両方に対して,未学習および学習プロセスがカスケード方式で実行されるケースケードアンラーニング手法を提案する。
mnistとcifar-10データセットを用いたカスケード学習手法の包括的評価を行った。
実験結果から,MNISTデータセットとCIFAR-10データセットの所要時間を最大185x,284xまで削減し,スクラッチから再学習するよりもはるかに改善された項目とクラスアンラーニング効率が得られた。
特に、モデルのパフォーマンスは未学習後の小さな低下を経験するが、最小の画像数(例えば64)を扱う場合、この減少は無視でき、分類のような下流タスクに悪影響を及ぼすことはない。
関連論文リスト
- Efficient Knowledge Deletion from Trained Models through Layer-wise
Partial Machine Unlearning [2.3496568239538083]
本稿では,機械学習アルゴリズムの新たなクラスを紹介する。
第1の方法は、アンネシアック・アンラーニングであり、アンネシアック・アンラーニングとレイヤーワイズ・プルーニングの統合である。
第2の方法は、階層的な部分更新をラベルフリップと最適化に基づくアンラーニングに同化する。
論文 参考訳(メタデータ) (2024-03-12T12:49:47Z) - Loss-Free Machine Unlearning [51.34904967046097]
我々は、再学習とラベルなしの両方の機械学習アプローチを提案する。
Retraining-freeアプローチは、損失から派生したFisher情報を利用することが多く、利用できないラベル付きデータを必要とする。
本稿では,モデル出力のl2ノルムの勾配に対して,フィッシャー情報行列の対角線を近似感度に置き換えるSelective Synaptic Dampeningアルゴリズムの拡張を提案する。
論文 参考訳(メタデータ) (2024-02-29T16:15:34Z) - Dataset Condensation Driven Machine Unlearning [0.0]
データ規制要件とプライバシ保護機械学習の現在のトレンドは、機械学習の重要性を強調している。
我々は,機械学習のプライバシ,ユーティリティ,効率のバランスをとるために,新しいデータセット凝縮手法と革新的なアンラーニング手法を提案する。
論文 参考訳(メタデータ) (2024-01-31T21:48:25Z) - Learn to Unlearn for Deep Neural Networks: Minimizing Unlearning
Interference with Gradient Projection [56.292071534857946]
最近のデータプライバシ法は、機械学習への関心を喚起している。
課題は、残りのデータセットに関する知識を変更することなく、忘れたデータに関する情報を捨てることである。
我々は、プロジェクテッド・グラディエント・アンラーニング(PGU)という、プロジェクテッド・グラディエント・ベースの学習手法を採用する。
トレーニングデータセットがもはやアクセスできない場合でも、スクラッチからスクラッチで再トレーニングされたモデルと同じような振る舞いをするモデルを、我々のアンラーニング手法が生成できることを実証するための実証的な証拠を提供する。
論文 参考訳(メタデータ) (2023-12-07T07:17:24Z) - DUCK: Distance-based Unlearning via Centroid Kinematics [42.642008092347986]
本研究は,Centroid Kinematics (DUCK) による遠隔学習(Distance-based Unlearning)と呼ばれる新しいアンラーニングアルゴリズムを導入する。
アルゴリズムの性能評価は、様々なベンチマークデータセットにまたがって行われる。
対象データを忘れる際の未学習プロセスの有効性だけでなく,元のモデルに対する性能損失の定量化も含む,適応未学習スコア(Adaptive Unlearning Score, AUS)と呼ばれる新しいメトリクスを導入する。
論文 参考訳(メタデータ) (2023-12-04T17:10:25Z) - Unlearn What You Want to Forget: Efficient Unlearning for LLMs [92.51670143929056]
大規模言語モデル(LLM)は、幅広いテキストデータを事前学習し記憶することで大きな進歩を遂げた。
このプロセスはプライバシー問題やデータ保護規則違反に悩まされる可能性がある。
データ削除後のモデル全体を再トレーニングすることなく、LLMを効率的に更新できる効率的なアンラーニングフレームワークを提案する。
論文 参考訳(メタデータ) (2023-10-31T03:35:59Z) - Dynamically Masked Discriminator for Generative Adversarial Networks [71.33631511762782]
GAN(Generative Adversarial Networks)のトレーニングは依然として難しい問題である。
識別器は、実際の/生成されたデータの分布を学習してジェネレータを訓練する。
本稿では,オンライン連続学習の観点から,GANの新たな手法を提案する。
論文 参考訳(メタデータ) (2023-06-13T12:07:01Z) - Machine Unlearning of Features and Labels [72.81914952849334]
機械学習モデルにおけるアンラーニングとラベルのファーストシナリオを提案する。
提案手法は,影響関数の概念に基づいて,モデルパラメータのクローズドフォーム更新によるアンラーニングを実現する。
論文 参考訳(メタデータ) (2021-08-26T04:42:24Z) - Certifiable Machine Unlearning for Linear Models [1.484852576248587]
機械学習は、トレーニングされたトレーニングデータのサブセットが削除された後、機械学習(ML)モデルを更新するタスクである。
本稿では,線形モデルに対する3つの非学習手法について実験的に検討する。
論文 参考訳(メタデータ) (2021-06-29T05:05:58Z) - Self-Damaging Contrastive Learning [92.34124578823977]
ラベルのないデータは一般に不均衡であり、長い尾の分布を示す。
本稿では,クラスを知らずに表現学習を自動的にバランスをとるための,自己学習コントラスト学習という原則的枠組みを提案する。
実験の結果,SDCLRは全体としての精度だけでなく,バランス性も著しく向上することがわかった。
論文 参考訳(メタデータ) (2021-06-06T00:04:49Z) - Self-Supervised Learning Aided Class-Incremental Lifelong Learning [17.151579393716958]
クラスインクリメンタルラーニング(Class-IL)における破滅的忘れの問題について検討する。
クラスILの訓練手順では、モデルが次のタスクについて知識を持っていないため、これまで学習してきたタスクに必要な特徴のみを抽出し、その情報は共同分類に不十分である。
本稿では,ラベルを必要とせずに効果的な表現を提供する自己教師型学習と,この問題を回避するためのクラスILを組み合わせることを提案する。
論文 参考訳(メタデータ) (2020-06-10T15:15:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。