論文の概要: When Machine Unlearning Jeopardizes Privacy

• arxiv url: http://arxiv.org/abs/2005.02205v2
• Date: Tue, 14 Sep 2021 17:59:41 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-06 13:52:05.324202
• Title: When Machine Unlearning Jeopardizes Privacy
• Title（参考訳）: 機械学習がプライバシーを脅かす
• Authors: Min Chen and Zhikun Zhang and Tianhao Wang and Michael Backes and Mathias Humbert and Yang Zhang
• Abstract要約: 機械学習による意図しない情報漏洩について検討する。 高い性能を実現する新しいメンバーシップ推論攻撃を提案する。 我々の結果は、機械学習の実践的な実装におけるプライバシー保護の改善に役立つ。
• 参考スコア（独自算出の注目度）: 25.167214892258567
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The right to be forgotten states that a data owner has the right to erase their data from an entity storing it. In the context of machine learning (ML), the right to be forgotten requires an ML model owner to remove the data owner's data from the training set used to build the ML model, a process known as machine unlearning. While originally designed to protect the privacy of the data owner, we argue that machine unlearning may leave some imprint of the data in the ML model and thus create unintended privacy risks. In this paper, we perform the first study on investigating the unintended information leakage caused by machine unlearning. We propose a novel membership inference attack that leverages the different outputs of an ML model's two versions to infer whether a target sample is part of the training set of the original model but out of the training set of the corresponding unlearned model. Our experiments demonstrate that the proposed membership inference attack achieves strong performance. More importantly, we show that our attack in multiple cases outperforms the classical membership inference attack on the original ML model, which indicates that machine unlearning can have counterproductive effects on privacy. We notice that the privacy degradation is especially significant for well-generalized ML models where classical membership inference does not perform well. We further investigate four mechanisms to mitigate the newly discovered privacy risks and show that releasing the predicted label only, temperature scaling, and differential privacy are effective. We believe that our results can help improve privacy protection in practical implementations of machine unlearning. Our code is available at https://github.com/MinChen00/UnlearningLeaks.
• Abstract（参考訳）: 忘れられる権利は、データ所有者がデータを格納しているエンティティから消去する権利を持っていることをいう。 機械学習(ML)の文脈では、忘れられる権利は、機械学習として知られるプロセスである機械学習モデルを構築するのに使用されるトレーニングセットから、データ所有者のデータを削除する必要がある。 元々はデータ所有者のプライバシを保護するために設計されていたが、機械学習はmlモデルにデータのインプリントを残して、意図しないプライバシリスクを発生させる可能性がある。 本稿では,機械学習による意図せぬ情報漏洩を調査するための最初の研究を行う。 本稿では,MLモデルの2つのバージョンの異なる出力を活用して,対象サンプルが元のモデルのトレーニングセットの一部であるか,対応する未学習モデルのトレーニングセットではないかを推定する,新たなメンバシップ推論攻撃を提案する。 本実験は,提案するメンバシップ推論攻撃が強力な性能を達成することを実証する。 さらに、複数のケースにおける我々の攻撃は、従来のMLモデルに対する古典的メンバーシップ推論攻撃よりも優れており、機械学習がプライバシに反生産的影響を与える可能性があることを示す。 古典的メンバーシップ推論がうまく機能しないMLモデルでは,プライバシ劣化が特に重要であることに気付く。 さらに,新たに発見されたプライバシリスクを軽減するための4つのメカニズムについて検討し,予測ラベルのみのリリース,温度スケーリング,差分プライバシの有効性を示す。 我々の結果は、機械学習の実践的な実装におけるプライバシー保護の改善に役立つと信じている。 私たちのコードはhttps://github.com/minchen00/unlearningleaksで利用可能です。

関連論文リスト

• Game-Theoretic Machine Unlearning: Mitigating Extra Privacy Leakage [12.737028324709609]
  最近の法律では、要求されたデータとその影響を訓練されたモデルから取り除くことが義務付けられている。 本研究では,非学習性能とプライバシ保護の競合関係をシミュレートするゲーム理論マシンアンラーニングアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-11-06T13:47:04Z)
• Privacy Side Channels in Machine Learning Systems [87.53240071195168]
  プライバシサイドチャネルは、システムレベルのコンポーネントを利用してプライベート情報を抽出する攻撃である。 例えば、差分プライベートなトレーニングを適用する前にトレーニングデータを重複させることで、保証可能なプライバシ保証を完全に無効にするサイドチャネルが生成されることを示す。 さらに,学習データセットに含まれる秘密鍵を抽出するために,言語モデルを学習データ再生からブロックするシステムを利用することを示す。
  論文  参考訳（メタデータ） (2023-09-11T16:49:05Z)
• AI Model Disgorgement: Methods and Choices [127.54319351058167]
  本稿では,現代の機械学習システムに適用可能な分類法を紹介する。 学習モデルにおけるデータ「効果の除去」の意味を,スクラッチからリトレーニングする必要のない方法で検討する。
  論文  参考訳（メタデータ） (2023-04-07T08:50:18Z)
• Membership Inference Attacks against Synthetic Data through Overfitting Detection [84.02632160692995]
  我々は、攻撃者が基礎となるデータ分布についてある程度の知識を持っていると仮定する現実的なMIA設定について論じる。 生成モデルの局所的なオーバーフィッティングをターゲットとして,メンバシップを推論することを目的とした密度ベースMIAモデルであるDOMIASを提案する。
  論文  参考訳（メタデータ） (2023-02-24T11:27:39Z)
• A Survey on Differential Privacy with Machine Learning and Future Outlook [0.0]
  差分プライバシーは、あらゆる攻撃や脆弱性から機械学習モデルを保護するために使用される。 本稿では,2つのカテゴリに分類される差分プライベート機械学習アルゴリズムについて述べる。
  論文  参考訳（メタデータ） (2022-11-19T14:20:53Z)
• A Survey of Machine Unlearning [56.017968863854186]
  最近の規制では、要求に応じて、ユーザに関する個人情報をコンピュータシステムから削除する必要がある。 MLモデルは古いデータをよく記憶します。 機械学習に関する最近の研究は、この問題を完全に解決することはできなかった。
  論文  参考訳（メタデータ） (2022-09-06T08:51:53Z)
• Truth Serum: Poisoning Machine Learning Models to Reveal Their Secrets [53.866927712193416]
  トレーニングデータセットを有害にすることができる敵が、このデータセットでトレーニングされたモデルに、他の当事者のプライベート詳細を漏洩させる可能性があることを示す。 私たちの攻撃は、メンバーシップ推論、属性推論、データ抽出に効果的です。 私たちの結果は、機械学習のためのマルチパーティプロトコルにおける暗号化プライバシ保証の関連性に疑問を投げかけました。
  論文  参考訳（メタデータ） (2022-03-31T18:06:28Z)
• Zero-Shot Machine Unlearning [6.884272840652062]
  現代のプライバシー規制は、市民に製品、サービス、企業によって忘れられる権利を与える。 トレーニングプロセスやトレーニングサンプルに関連するデータは、未学習の目的のためにアクセスできない。 本稿では, (a) 誤り最小化雑音と (b) ゲート付き知識伝達に基づくゼロショットマシンアンラーニングのための2つの新しい解を提案する。
  論文  参考訳（メタデータ） (2022-01-14T19:16:09Z)
• Machine unlearning via GAN [2.406359246841227]
  機械学習モデル、特にディープラーニングモデルは、トレーニングデータに関する情報を意図せずに記憶することができる。 本稿では,深層モデルにおけるデータ削除のためのGANアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-11-22T05:28:57Z)
• Amnesiac Machine Learning [15.680008735220785]
  最近制定された一般データ保護規則は、欧州連合の居住者に関するデータを持つデータ保有者に影響を与えている。 モデルは、モデル反転攻撃のような情報漏洩攻撃に対して脆弱である。 我々は、モデル所有者が規制に準拠しながら、そのような攻撃から身を守ることのできる、UnlearningとAmnesiac Unlearningの2つのデータ除去方法を提案する。
  論文  参考訳（メタデータ） (2020-10-21T13:14:17Z)
• Sampling Attacks: Amplification of Membership Inference Attacks by Repeated Queries [74.59376038272661]
  本手法は,他の標準メンバーシップ相手と異なり,被害者モデルのスコアにアクセスできないような厳格な制限の下で動作可能な,新しいメンバーシップ推論手法であるサンプリングアタックを導入する。 ラベルのみを公開している被害者モデルでは,攻撃のサンプリングが引き続き可能であり,攻撃者はその性能の最大100%を回復できることを示す。 防衛においては,被害者モデルのトレーニング中の勾配摂動と予測時の出力摂動の形式で差分プライバシーを選択する。
  論文  参考訳（メタデータ） (2020-09-01T12:54:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。