論文の概要: Machine unlearning through fine-grained model parameters perturbation
- arxiv url: http://arxiv.org/abs/2401.04385v1
- Date: Tue, 9 Jan 2024 07:14:45 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-10 16:43:20.313404
- Title: Machine unlearning through fine-grained model parameters perturbation
- Title(参考訳): きめ細かいモデルパラメータ摂動による機械学習
- Authors: Zhiwei Zuo, Zhuo Tang, Kenli Li, Anwitaman Datta
- Abstract要約: そこで本研究では,不エクササイズマシンの非学習戦略であるTop-KパラメータとRandom-kパラメータの微粒化を提案する。
また,機械学習の有効性を評価する上での課題にも取り組む。
- 参考スコア(独自算出の注目度): 29.1171391789129
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Machine unlearning techniques, which involve retracting data records and
reducing influence of said data on trained models, help with the user privacy
protection objective but incur significant computational costs. Weight
perturbation-based unlearning is a general approach, but it typically involves
globally modifying the parameters. We propose fine-grained Top-K and Random-k
parameters perturbed inexact machine unlearning strategies that address the
privacy needs while keeping the computational costs tractable.
In order to demonstrate the efficacy of our strategies we also tackle the
challenge of evaluating the effectiveness of machine unlearning by considering
the model's generalization performance across both unlearning and remaining
data. To better assess the unlearning effect and model generalization, we
propose novel metrics, namely, the forgetting rate and memory retention rate.
However, for inexact machine unlearning, current metrics are inadequate in
quantifying the degree of forgetting that occurs after unlearning strategies
are applied. To address this, we introduce SPD-GAN, which subtly perturbs the
distribution of data targeted for unlearning. Then, we evaluate the degree of
unlearning by measuring the performance difference of the models on the
perturbed unlearning data before and after the unlearning process. By
implementing these innovative techniques and metrics, we achieve
computationally efficacious privacy protection in machine learning applications
without significant sacrifice of model performance. Furthermore, this approach
provides a novel method for evaluating the degree of unlearning.
- Abstract(参考訳): データレコードの抽出とトレーニングされたモデルへの影響の低減を含む機械学習技術は、ユーザのプライバシ保護の目標に役立ちながら、計算コストを大幅に削減する。
重度摂動に基づくアンラーニングは一般的なアプローチであるが、通常はグローバルなパラメータの変更を伴う。
我々は,計算コストを扱いやすく保ちながら,プライバシニーズに対処し得る,不規則なマシンアンラーニング戦略を乱用した,きめ細かいトップkパラメータとランダムkパラメータを提案する。
また,本手法の有効性を実証するために,学習データと学習データの両方にまたがるモデルの一般化性能を考慮し,機械学習の有効性を評価する。
非学習効果とモデル一般化をよりよく評価するために,記憶保持率と記憶保持率という新しい指標を提案する。
しかし、不正確な機械学習では、未学習戦略の適用後に発生する忘れの程度を定量化するには、現在のメトリクスが不十分である。
そこで本研究では,学習対象データの分布を微妙に乱すSPD-GANを提案する。
そして、未学習プロセスの前後における混乱した未学習データのモデルの性能差を計測し、未学習の程度を評価する。
これらの革新的な技術とメトリクスを実装することで、モデル性能を犠牲にすることなく、機械学習アプリケーションにおける計算効率の高いプライバシー保護を実現する。
さらに,このアプローチは,未学習の程度を評価する新しい手法を提供する。
関連論文リスト
- Learn What You Want to Unlearn: Unlearning Inversion Attacks against Machine Unlearning [16.809644622465086]
我々は、機械学習が未学習データの機密内容を漏洩させる範囲を理解するために、最初の調査を行う。
機械学習・アズ・ア・サービス・セッティングの下で、未学習サンプルの特徴とラベル情報を明らかにするアンラーニング・インバージョン・アタックを提案する。
実験結果から,提案攻撃は未学習データのセンシティブな情報を明らかにすることができることが示された。
論文 参考訳(メタデータ) (2024-04-04T06:37:46Z) - Partially Blinded Unlearning: Class Unlearning for Deep Networks a Bayesian Perspective [4.31734012105466]
マシン・アンラーニング(英: Machine Unlearning)とは、特定のデータセットやクラスに指定された情報を事前訓練されたモデルから選択的に破棄するプロセスである。
本研究では,事前学習した分類ネットワークから,特定の種類のデータに関連付けられた情報の目的的除去に適した手法を提案する。
本手法は,従来の最先端の未学習手法を超越し,優れた有効性を示す。
論文 参考訳(メタデータ) (2024-03-24T17:33:22Z) - The Frontier of Data Erasure: Machine Unlearning for Large Language Models [56.26002631481726]
大規模言語モデル(LLM)はAIの進歩の基礎となっている。
LLMは機密情報、偏見情報、著作権情報を記憶し、広めることによってリスクを生じさせる。
機械学習は、これらの懸念を軽減するための最先端のソリューションとして現れます。
論文 参考訳(メタデータ) (2024-03-23T09:26:15Z) - Loss-Free Machine Unlearning [51.34904967046097]
我々は、再学習とラベルなしの両方の機械学習アプローチを提案する。
Retraining-freeアプローチは、損失から派生したFisher情報を利用することが多く、利用できないラベル付きデータを必要とする。
本稿では,モデル出力のl2ノルムの勾配に対して,フィッシャー情報行列の対角線を近似感度に置き換えるSelective Synaptic Dampeningアルゴリズムの拡張を提案する。
論文 参考訳(メタデータ) (2024-02-29T16:15:34Z) - Dataset Condensation Driven Machine Unlearning [0.0]
データ規制要件とプライバシ保護機械学習の現在のトレンドは、機械学習の重要性を強調している。
我々は,機械学習のプライバシ,ユーティリティ,効率のバランスをとるために,新しいデータセット凝縮手法と革新的なアンラーニング手法を提案する。
論文 参考訳(メタデータ) (2024-01-31T21:48:25Z) - DUCK: Distance-based Unlearning via Centroid Kinematics [40.2428948628001]
本研究は,Centroid Kinematics (DUCK) による遠隔学習(Distance-based Unlearning)と呼ばれる新しいアンラーニングアルゴリズムを導入する。
アルゴリズムの性能評価は、様々なベンチマークデータセットにまたがって行われる。
また,適応学習スコア (Adaptive Unlearning Score, AUS) と呼ばれる新しい指標を導入し, 対象データに対する未学習プロセスの有効性だけでなく, 元のモデルに対する性能損失の定量化も行った。
論文 参考訳(メタデータ) (2023-12-04T17:10:25Z) - A Duty to Forget, a Right to be Assured? Exposing Vulnerabilities in Machine Unlearning Services [31.347825826778276]
機械学習(ML)における未学習サービスによる潜在的な脅威を探究する。
オーバー・アンラーニングを利用してトレードオフバランスに与える影響を計測する2つの戦略を提案する。
その結果,両戦略が未学習シナリオにおけるモデルの有効性を損なう可能性が示唆された。
論文 参考訳(メタデータ) (2023-09-15T08:00:45Z) - Re-thinking Data Availablity Attacks Against Deep Neural Networks [53.64624167867274]
本稿では、未学習例の概念を再検討し、既存のロバストな誤り最小化ノイズが不正確な最適化目標であることを示す。
本稿では,計算時間要件の低減による保護性能の向上を図った新しい最適化パラダイムを提案する。
論文 参考訳(メタデータ) (2023-05-18T04:03:51Z) - Evaluating Machine Unlearning via Epistemic Uncertainty [78.27542864367821]
本研究では,不確実性に基づく機械学習アルゴリズムの評価を行う。
これは私たちの最良の知識の一般的な評価の最初の定義です。
論文 参考訳(メタデータ) (2022-08-23T09:37:31Z) - Machine Unlearning of Features and Labels [72.81914952849334]
機械学習モデルにおけるアンラーニングとラベルのファーストシナリオを提案する。
提案手法は,影響関数の概念に基づいて,モデルパラメータのクローズドフォーム更新によるアンラーニングを実現する。
論文 参考訳(メタデータ) (2021-08-26T04:42:24Z) - DEALIO: Data-Efficient Adversarial Learning for Imitation from
Observation [57.358212277226315]
観察ifoからの模倣学習において、学習エージェントは、実演者の生成した制御信号にアクセスせずに、実演行動の観察のみを用いて実演エージェントを模倣しようとする。
近年、逆模倣学習に基づく手法は、ifO問題に対する最先端のパフォーマンスをもたらすが、データ非効率でモデルなしの強化学習アルゴリズムに依存するため、サンプルの複雑さに悩まされることが多い。
この問題は、サンプルの収集が時間、エネルギー、およびリスクの面で高いコストを被る可能性がある現実世界の設定に展開することは非現実的です。
よりデータ効率の高いifOアルゴリズムを提案する。
論文 参考訳(メタデータ) (2021-03-31T23:46:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。