論文の概要: Why Does Differential Privacy with Large Epsilon Defend Against Practical Membership Inference Attacks?

• arxiv url: http://arxiv.org/abs/2402.09540v1
• Date: Wed, 14 Feb 2024 19:31:45 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-16 18:05:15.899132
• Title: Why Does Differential Privacy with Large Epsilon Defend Against Practical Membership Inference Attacks?
• Title（参考訳）: なぜ大きなepsilonを持つディファレンシャルプライバシは、実用的なメンバーシップ推論攻撃を防御するのか?
• Authors: Andrew Lowy, Zhuohang Li, Jing Liu, Toshiaki Koike-Akino, Kieran Parsons, Ye Wang
• Abstract要約: 小さめのプライバシーパラメータ$epsilon$, $epsilon$-differential privacy (DP)は、最悪のケースを保証する。 既存のDP理論では経験的発見は説明できない。 実用会員プライバシ(PMP)という新しいプライバシー概念を提案する。
• 参考スコア（独自算出の注目度）: 19.21246519924815
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: For small privacy parameter $\epsilon$, $\epsilon$-differential privacy (DP) provides a strong worst-case guarantee that no membership inference attack (MIA) can succeed at determining whether a person's data was used to train a machine learning model. The guarantee of DP is worst-case because: a) it holds even if the attacker already knows the records of all but one person in the data set; and b) it holds uniformly over all data sets. In practical applications, such a worst-case guarantee may be overkill: practical attackers may lack exact knowledge of (nearly all of) the private data, and our data set might be easier to defend, in some sense, than the worst-case data set. Such considerations have motivated the industrial deployment of DP models with large privacy parameter (e.g. $\epsilon \geq 7$), and it has been observed empirically that DP with large $\epsilon$ can successfully defend against state-of-the-art MIAs. Existing DP theory cannot explain these empirical findings: e.g., the theoretical privacy guarantees of $\epsilon \geq 7$ are essentially vacuous. In this paper, we aim to close this gap between theory and practice and understand why a large DP parameter can prevent practical MIAs. To tackle this problem, we propose a new privacy notion called practical membership privacy (PMP). PMP models a practical attacker's uncertainty about the contents of the private data. The PMP parameter has a natural interpretation in terms of the success rate of a practical MIA on a given data set. We quantitatively analyze the PMP parameter of two fundamental DP mechanisms: the exponential mechanism and Gaussian mechanism. Our analysis reveals that a large DP parameter often translates into a much smaller PMP parameter, which guarantees strong privacy against practical MIAs. Using our findings, we offer principled guidance for practitioners in choosing the DP parameter.
• Abstract（参考訳）: 小さいプライバシパラメータの$\epsilon$に対して、$\epsilon$-differential privacy (dp)は、メンバーシップ推論攻撃(mia)が機械学習モデルのトレーニングに使用されたかどうかを決定するのに成功できない、強力な最悪のケースを提供する。 dpの保証は最悪のケースです。 a) 攻撃者がデータセットの1人以外のすべての記録を既に知っている場合でも、保持する。 b) すべてのデータセットに一様に格納する。 実践的な攻撃者は、プライベートなデータの正確な知識(ほぼすべて)を欠いているかもしれないし、私たちのデータセットは、ある意味では、最悪の場合のデータセットよりも、防御が容易かもしれない。 このような考察は、大きなプライバシーパラメータを持つDPモデルの産業展開(例えば$\epsilon \geq 7$)を動機付けており、大きな$\epsilon$のDPが最先端のMIAに対して防衛に成功できることを実証的に観察している。 例えば、$\epsilon \geq 7$の理論的プライバシー保証は本質的に空白である。 本稿では,この理論と実践のギャップを埋め,大きなDPパラメータが実用的なMIAを防止できる理由を理解することを目的とする。 この問題に取り組むため,我々はpractical membership privacy (pmp) という新しいプライバシー概念を提案する。 PMPは、プライベートデータの内容に関する実践的な攻撃者の不確実性をモデル化する。 PMPパラメータは、与えられたデータセット上の実用的なMIAの成功率の観点から自然な解釈を持つ。 本稿では,2つの基本DP機構,指数的メカニズムとガウス的メカニズムのPMPパラメータを定量的に解析する。 分析の結果,大きなDPパラメータはより小さなPMPパラメータに変換されることが多く,実用的なMIAに対して強いプライバシが保証されることがわかった。 本研究は,DPパラメータの選択における実践者への原則的ガイダンスである。

関連論文リスト

• Privacy Amplification for the Gaussian Mechanism via Bounded Support [64.86780616066575]
  インスタンスごとの差分プライバシー(pDP)やフィッシャー情報損失(FIL)といったデータ依存のプライバシ会計フレームワークは、固定されたトレーニングデータセット内の個人に対してきめ細かいプライバシー保証を提供する。 本稿では,データ依存会計下でのプライバシ保証を向上することを示すとともに,バウンドサポートによるガウス機構の簡単な修正を提案する。
  論文  参考訳（メタデータ） (2024-03-07T21:22:07Z)
• Closed-Form Bounds for DP-SGD against Record-level Inference [18.85865832127335]
  我々はDP-SGDアルゴリズムに焦点をあて、単純な閉形式境界を導出する。 我々は、最先端技術にマッチする会員推定のバウンダリを得る。 属性推論に対する新しいデータ依存型バウンダリを提案する。
  論文  参考訳（メタデータ） (2024-02-22T09:26:16Z)
• What Are the Chances? Explaining the Epsilon Parameter in Differential Privacy [17.201862983773662]
  差分プライバシー(英: Differential privacy、DP)とは、政府や産業にまたがる数学的プライバシーの概念である。 本研究では,エンドユーザに確率的DP保証を伝達する3つの手法を開発した。 確率に基づく説明法は出力に基づく方法よりも効果的であることがわかった。
  論文  参考訳（メタデータ） (2023-03-01T18:53:25Z)
• Provable Membership Inference Privacy [31.08016816475564]
  差別化プライバシ(DP)は、証明可能なプライバシの標準標準のひとつとして登場した。 本稿では,これらの課題に対処するために,新たなプライバシー概念である会員推測プライバシ(MIP)を提案する。 MIP は DP の保証に要する量よりもランダム性の少ない量で実現可能であることを示す。
  論文  参考訳（メタデータ） (2022-11-12T06:13:00Z)
• Analyzing Privacy Leakage in Machine Learning via Multiple Hypothesis Testing: A Lesson From Fano [83.5933307263932]
  本研究では,離散データに対するデータ再構成攻撃について検討し,仮説テストの枠組みの下で解析する。 基礎となるプライベートデータが$M$のセットから値を取ると、ターゲットのプライバシパラメータ$epsilon$が$O(log M)$になる。
  論文  参考訳（メタデータ） (2022-10-24T23:50:12Z)
• Individual Privacy Accounting for Differentially Private Stochastic Gradient Descent [69.14164921515949]
  DP-SGDで訓練されたモデルをリリースする際の個々の事例に対するプライバシー保証を特徴付ける。 ほとんどの例では、最悪のケースよりも強力なプライバシー保証を享受しています。 これは、モデルユーティリティの観点からは守られないグループが同時に、より弱いプライバシー保証を経験することを意味する。
  論文  参考訳（メタデータ） (2022-06-06T13:49:37Z)
• Large Scale Transfer Learning for Differentially Private Image Classification [51.10365553035979]
  Differential Privacy(DP)は、個別のサンプルレベルのプライバシで機械学習モデルをトレーニングするための正式なフレームワークを提供する。 DP-SGDを用いたプライベートトレーニングは、個々のサンプル勾配にノイズを注入することで漏れを防ぐ。 この結果は非常に魅力的であるが,DP-SGDを用いた大規模モデルのトレーニングの計算コストは,非プライベートトレーニングよりもかなり高い。
  論文  参考訳（メタデータ） (2022-05-06T01:22:20Z)
• Optimal Membership Inference Bounds for Adaptive Composition of Sampled Gaussian Mechanisms [93.44378960676897]
  トレーニングされたモデルとデータサンプルが与えられた場合、メンバシップ推論(MI)アタックは、サンプルがモデルのトレーニングセットにあるかどうかを予測する。 MI攻撃に対する一般的な対策は、モデルトレーニング中に差分プライバシー(DP)を利用して個々の事例の存在を隠蔽することである。 本稿では,MI攻撃を装着した相手のテキスト・アドバンテージのバウンダリを導出し,広く利用されているガウス機構の厳密性を示す。
  論文  参考訳（メタデータ） (2022-04-12T22:36:56Z)
• Bounding Membership Inference [28.64031194463754]
  トレーニングアルゴリズムが$epsilon$-DPを提供する場合、MI敵の精度に縛られる。 提案方式では,MI 攻撃者の成功を制限するために,モデルのトレーニングを行う際に,より緩やかな DP 保証を利用することが可能である。
  論文  参考訳（メタデータ） (2022-02-24T17:54:15Z)
• On the Practicality of Differential Privacy in Federated Learning by Tuning Iteration Times [51.61278695776151]
  フェデレートラーニング(FL)は、分散クライアント間で機械学習モデルを協調的にトレーニングする際のプライバシ保護でよく知られている。 最近の研究では、naive flは勾配リーク攻撃の影響を受けやすいことが指摘されている。 ディファレンシャルプライバシ(dp)は、勾配漏洩攻撃を防御するための有望な対策として現れる。
  論文  参考訳（メタデータ） (2021-01-11T19:43:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。