論文の概要: When Machine Unlearning Jeopardizes Privacy
- arxiv url: http://arxiv.org/abs/2005.02205v2
- Date: Tue, 14 Sep 2021 17:59:41 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-06 13:52:05.324202
- Title: When Machine Unlearning Jeopardizes Privacy
- Title(参考訳): 機械学習がプライバシーを脅かす
- Authors: Min Chen and Zhikun Zhang and Tianhao Wang and Michael Backes and
Mathias Humbert and Yang Zhang
- Abstract要約: 機械学習による意図しない情報漏洩について検討する。
高い性能を実現する新しいメンバーシップ推論攻撃を提案する。
我々の結果は、機械学習の実践的な実装におけるプライバシー保護の改善に役立つ。
- 参考スコア(独自算出の注目度): 25.167214892258567
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The right to be forgotten states that a data owner has the right to erase
their data from an entity storing it. In the context of machine learning (ML),
the right to be forgotten requires an ML model owner to remove the data owner's
data from the training set used to build the ML model, a process known as
machine unlearning. While originally designed to protect the privacy of the
data owner, we argue that machine unlearning may leave some imprint of the data
in the ML model and thus create unintended privacy risks. In this paper, we
perform the first study on investigating the unintended information leakage
caused by machine unlearning. We propose a novel membership inference attack
that leverages the different outputs of an ML model's two versions to infer
whether a target sample is part of the training set of the original model but
out of the training set of the corresponding unlearned model. Our experiments
demonstrate that the proposed membership inference attack achieves strong
performance. More importantly, we show that our attack in multiple cases
outperforms the classical membership inference attack on the original ML model,
which indicates that machine unlearning can have counterproductive effects on
privacy. We notice that the privacy degradation is especially significant for
well-generalized ML models where classical membership inference does not
perform well. We further investigate four mechanisms to mitigate the newly
discovered privacy risks and show that releasing the predicted label only,
temperature scaling, and differential privacy are effective. We believe that
our results can help improve privacy protection in practical implementations of
machine unlearning. Our code is available at
https://github.com/MinChen00/UnlearningLeaks.
- Abstract(参考訳): 忘れられる権利は、データ所有者がデータを格納しているエンティティから消去する権利を持っていることをいう。
機械学習(ML)の文脈では、忘れられる権利は、機械学習として知られるプロセスである機械学習モデルを構築するのに使用されるトレーニングセットから、データ所有者のデータを削除する必要がある。
元々はデータ所有者のプライバシを保護するために設計されていたが、機械学習はmlモデルにデータのインプリントを残して、意図しないプライバシリスクを発生させる可能性がある。
本稿では,機械学習による意図せぬ情報漏洩を調査するための最初の研究を行う。
本稿では,MLモデルの2つのバージョンの異なる出力を活用して,対象サンプルが元のモデルのトレーニングセットの一部であるか,対応する未学習モデルのトレーニングセットではないかを推定する,新たなメンバシップ推論攻撃を提案する。
本実験は,提案するメンバシップ推論攻撃が強力な性能を達成することを実証する。
さらに、複数のケースにおける我々の攻撃は、従来のMLモデルに対する古典的メンバーシップ推論攻撃よりも優れており、機械学習がプライバシに反生産的影響を与える可能性があることを示す。
古典的メンバーシップ推論がうまく機能しないMLモデルでは,プライバシ劣化が特に重要であることに気付く。
さらに,新たに発見されたプライバシリスクを軽減するための4つのメカニズムについて検討し,予測ラベルのみのリリース,温度スケーリング,差分プライバシの有効性を示す。
我々の結果は、機械学習の実践的な実装におけるプライバシー保護の改善に役立つと信じている。
私たちのコードはhttps://github.com/minchen00/unlearningleaksで利用可能です。
関連論文リスト
- Privacy Side Channels in Machine Learning Systems [82.85919161427604]
プライバシサイドチャネルは、システムレベルのコンポーネントを利用してプライベート情報を抽出する攻撃である。
機械学習ライフサイクル全体にわたるサイドチャネルの4つのカテゴリを提案する。
我々の結果は、全体的なエンドツーエンドのプライバシー分析の必要性を示しています。
論文 参考訳(メタデータ) (2023-09-11T16:49:05Z) - AI Model Disgorgement: Methods and Choices [127.54319351058167]
本稿では,現代の機械学習システムに適用可能な分類法を紹介する。
学習モデルにおけるデータ「効果の除去」の意味を,スクラッチからリトレーニングする必要のない方法で検討する。
論文 参考訳(メタデータ) (2023-04-07T08:50:18Z) - Membership Inference Attacks against Synthetic Data through Overfitting
Detection [84.02632160692995]
我々は、攻撃者が基礎となるデータ分布についてある程度の知識を持っていると仮定する現実的なMIA設定について論じる。
生成モデルの局所的なオーバーフィッティングをターゲットとして,メンバシップを推論することを目的とした密度ベースMIAモデルであるDOMIASを提案する。
論文 参考訳(メタデータ) (2023-02-24T11:27:39Z) - A Survey on Differential Privacy with Machine Learning and Future
Outlook [0.0]
差分プライバシーは、あらゆる攻撃や脆弱性から機械学習モデルを保護するために使用される。
本稿では,2つのカテゴリに分類される差分プライベート機械学習アルゴリズムについて述べる。
論文 参考訳(メタデータ) (2022-11-19T14:20:53Z) - A Survey of Machine Unlearning [43.272767023563254]
近年の規制では、ユーザに関する個人情報は一般にコンピュータシステムから、特に要求に応じてMLモデルから削除することが要求されている。
この現象は、機械学習モデルを特定のデータを忘れるようにするための新しいパラダイム、すなわち機械学習を求めている。
我々は、マシンアンラーニングの定義、シナリオ、メカニズム、アプリケーションについて、徹底的に調査することを目指している。
論文 参考訳(メタデータ) (2022-09-06T08:51:53Z) - Truth Serum: Poisoning Machine Learning Models to Reveal Their Secrets [53.866927712193416]
トレーニングデータセットを有害にすることができる敵が、このデータセットでトレーニングされたモデルに、他の当事者のプライベート詳細を漏洩させる可能性があることを示す。
私たちの攻撃は、メンバーシップ推論、属性推論、データ抽出に効果的です。
私たちの結果は、機械学習のためのマルチパーティプロトコルにおける暗号化プライバシ保証の関連性に疑問を投げかけました。
論文 参考訳(メタデータ) (2022-03-31T18:06:28Z) - Zero-Shot Machine Unlearning [6.884272840652062]
現代のプライバシー規制は、市民に製品、サービス、企業によって忘れられる権利を与える。
トレーニングプロセスやトレーニングサンプルに関連するデータは、未学習の目的のためにアクセスできない。
本稿では, (a) 誤り最小化雑音と (b) ゲート付き知識伝達に基づくゼロショットマシンアンラーニングのための2つの新しい解を提案する。
論文 参考訳(メタデータ) (2022-01-14T19:16:09Z) - Machine unlearning via GAN [2.406359246841227]
機械学習モデル、特にディープラーニングモデルは、トレーニングデータに関する情報を意図せずに記憶することができる。
本稿では,深層モデルにおけるデータ削除のためのGANアルゴリズムを提案する。
論文 参考訳(メタデータ) (2021-11-22T05:28:57Z) - Machine Unlearning of Features and Labels [72.81914952849334]
機械学習モデルにおけるアンラーニングとラベルのファーストシナリオを提案する。
提案手法は,影響関数の概念に基づいて,モデルパラメータのクローズドフォーム更新によるアンラーニングを実現する。
論文 参考訳(メタデータ) (2021-08-26T04:42:24Z) - Amnesiac Machine Learning [15.680008735220785]
最近制定された一般データ保護規則は、欧州連合の居住者に関するデータを持つデータ保有者に影響を与えている。
モデルは、モデル反転攻撃のような情報漏洩攻撃に対して脆弱である。
我々は、モデル所有者が規制に準拠しながら、そのような攻撃から身を守ることのできる、UnlearningとAmnesiac Unlearningの2つのデータ除去方法を提案する。
論文 参考訳(メタデータ) (2020-10-21T13:14:17Z) - Sampling Attacks: Amplification of Membership Inference Attacks by
Repeated Queries [74.59376038272661]
本手法は,他の標準メンバーシップ相手と異なり,被害者モデルのスコアにアクセスできないような厳格な制限の下で動作可能な,新しいメンバーシップ推論手法であるサンプリングアタックを導入する。
ラベルのみを公開している被害者モデルでは,攻撃のサンプリングが引き続き可能であり,攻撃者はその性能の最大100%を回復できることを示す。
防衛においては,被害者モデルのトレーニング中の勾配摂動と予測時の出力摂動の形式で差分プライバシーを選択する。
論文 参考訳(メタデータ) (2020-09-01T12:54:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。