論文の概要: Analyzing Privacy Leakage in Machine Learning via Multiple Hypothesis
Testing: A Lesson From Fano
- arxiv url: http://arxiv.org/abs/2210.13662v1
- Date: Mon, 24 Oct 2022 23:50:12 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-26 16:08:26.122522
- Title: Analyzing Privacy Leakage in Machine Learning via Multiple Hypothesis
Testing: A Lesson From Fano
- Title(参考訳): 複数の仮説テストによる機械学習におけるプライバシー漏洩の分析: fanoからの教訓
- Authors: Chuan Guo, Alexandre Sablayrolles, Maziar Sanjabi
- Abstract要約: 本研究では,離散データに対するデータ再構成攻撃について検討し,仮説テストの枠組みの下で解析する。
基礎となるプライベートデータが$M$のセットから値を取ると、ターゲットのプライバシパラメータ$epsilon$が$O(log M)$になる。
- 参考スコア(独自算出の注目度): 83.5933307263932
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Differential privacy (DP) is by far the most widely accepted framework for
mitigating privacy risks in machine learning. However, exactly how small the
privacy parameter $\epsilon$ needs to be to protect against certain privacy
risks in practice is still not well-understood. In this work, we study data
reconstruction attacks for discrete data and analyze it under the framework of
multiple hypothesis testing. We utilize different variants of the celebrated
Fano's inequality to derive upper bounds on the inferential power of a data
reconstruction adversary when the model is trained differentially privately.
Importantly, we show that if the underlying private data takes values from a
set of size $M$, then the target privacy parameter $\epsilon$ can be $O(\log
M)$ before the adversary gains significant inferential power. Our analysis
offers theoretical evidence for the empirical effectiveness of DP against data
reconstruction attacks even at relatively large values of $\epsilon$.
- Abstract(参考訳): 微分プライバシー(DP)は、機械学習におけるプライバシーリスクを軽減するための最も広く受け入れられているフレームワークである。
しかし、実際に特定のプライバシーリスクから保護するために必要なプライバシパラメータ$\epsilon$がどの程度小さいかは、まだよく理解されていない。
本研究では,離散データに対するデータ再構成攻撃を調査し,複数の仮説テストの枠組みで解析する。
我々は、ファノの不等式の異なる変種を利用して、モデルが個人的に訓練されたときに、データ再構成敵の推論力の上限を導出する。
重要なことに、基礎となるプライベートデータが$M$のセットから値を取る場合、ターゲットのプライバシパラメータ$\epsilon$は、敵が大きな推論パワーを得る前に$O(\log M)$になる可能性がある。
本分析は,データ再構成攻撃に対するDPの有効性を,比較的大きな$\epsilon$でも理論的に証明する。
関連論文リスト
- Why Does Differential Privacy with Large Epsilon Defend Against
Practical Membership Inference Attacks? [19.21246519924815]
小さめのプライバシーパラメータ$epsilon$, $epsilon$-differential privacy (DP)は、最悪のケースを保証する。
既存のDP理論では経験的発見は説明できない。
実用会員プライバシ(PMP)という新しいプライバシー概念を提案する。
論文 参考訳(メタデータ) (2024-02-14T19:31:45Z) - Epsilon*: Privacy Metric for Machine Learning Models [7.461284823977013]
Epsilon*は、単一のモデルインスタンスのプライバシリスクを、プライバシ緩和戦略の展開前、またはデプロイ後、測定するための新しい指標である。
モデル予測へのブラックボックスアクセスのみを必要とし、トレーニングデータの再サンプリングやモデル再トレーニングを必要とせず、差分プライバシでトレーニングされていないモデルのプライバシリスクを測定するために使用できる。
論文 参考訳(メタデータ) (2023-07-21T00:49:07Z) - Smooth Anonymity for Sparse Graphs [69.1048938123063]
しかし、スパースデータセットを共有するという点では、差分プライバシーがプライバシのゴールドスタンダードとして浮上している。
本研究では、スムーズな$k$匿名性(スムーズな$k$匿名性)と、スムーズな$k$匿名性(スムーズな$k$匿名性)を提供する単純な大規模アルゴリズムを設計する。
論文 参考訳(メタデータ) (2022-07-13T17:09:25Z) - Individual Privacy Accounting for Differentially Private Stochastic Gradient Descent [69.14164921515949]
DP-SGDで訓練されたモデルをリリースする際の個々の事例に対するプライバシー保証を特徴付ける。
ほとんどの例では、最悪のケースよりも強力なプライバシー保証を享受しています。
これは、モデルユーティリティの観点からは守られないグループが同時に、より弱いプライバシー保証を経験することを意味する。
論文 参考訳(メタデータ) (2022-06-06T13:49:37Z) - Optimal Membership Inference Bounds for Adaptive Composition of Sampled
Gaussian Mechanisms [93.44378960676897]
トレーニングされたモデルとデータサンプルが与えられた場合、メンバシップ推論(MI)アタックは、サンプルがモデルのトレーニングセットにあるかどうかを予測する。
MI攻撃に対する一般的な対策は、モデルトレーニング中に差分プライバシー(DP)を利用して個々の事例の存在を隠蔽することである。
本稿では,MI攻撃を装着した相手のテキスト・アドバンテージのバウンダリを導出し,広く利用されているガウス機構の厳密性を示す。
論文 参考訳(メタデータ) (2022-04-12T22:36:56Z) - Quantifying identifiability to choose and audit $\epsilon$ in
differentially private deep learning [15.294433619347082]
機械学習で差分プライバシーを使用するには、データサイエンティストがプライバシパラメータを$(epsilon,delta)$を選択する必要がある。
私たちは$(epsilon,delta)$を、トレーニングデータセット内のレコードの存在に関する差分プライバシーによって想定される相手のベイジアン後方信念にバインドに変換します。
我々は、データサイエンティストがモデルのトレーニングを監査し、経験的識別可能性スコアと経験的$(epsilon,delta)$を計算することを可能にするこの差分プライバシーの敵対の実装を策定します。
論文 参考訳(メタデータ) (2021-03-04T09:35:58Z) - Learning with User-Level Privacy [61.62978104304273]
ユーザレベルの差分プライバシー制約下での学習課題を,アルゴリズムを用いて解析する。
個々のサンプルのプライバシーのみを保証するのではなく、ユーザレベルのdpはユーザの貢献全体を保護します。
プライバシコストが$tau$に比例した$K$適応的に選択されたクエリのシーケンスにプライベートに答えるアルゴリズムを導き出し、私たちが検討する学習タスクを解決するためにそれを適用します。
論文 参考訳(メタデータ) (2021-02-23T18:25:13Z) - Adversary Instantiation: Lower Bounds for Differentially Private Machine
Learning [43.6041475698327]
異なるプライベート(DP)機械学習により、データ漏洩を制限しながら、プライベートデータに関するモデルをトレーニングできます。
本稿では,DPトレーニングアルゴリズムのプライバシ分析における敵対的能力の重要性について検討する。
論文 参考訳(メタデータ) (2021-01-11T18:47:11Z) - On the Intrinsic Differential Privacy of Bagging [69.70602220716718]
我々は、Bagingが、同じプライバシー予算を持つ最先端の差分プライベート機械学習手法よりも、はるかに高い精度を達成することを示す。
実験結果から,Bagingは,同一のプライバシー予算を持つ最先端の差分プライベート機械学習手法よりも格段に高い精度を達成できることが示された。
論文 参考訳(メタデータ) (2020-08-22T14:17:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。