論文の概要: Bayesian Estimation of Differential Privacy
- arxiv url: http://arxiv.org/abs/2206.05199v1
- Date: Fri, 10 Jun 2022 15:57:18 GMT
- ステータス: 処理完了
- システム内更新日: 2022-06-13 16:07:45.134218
- Title: Bayesian Estimation of Differential Privacy
- Title（参考訳）: 微分プライバシーのベイズ推定
- Authors: Santiago Zanella-B\'eguelin (Microsoft Research) and Lukas Wutschitz
(Microsoft) and Shruti Tople (Microsoft Research) and Ahmed Salem (Microsoft
Research) and Victor R\"uhle (Microsoft) and Andrew Paverd (Microsoft
Research) and Mohammad Naseri (University College London) and Boris K\"opf
(Microsoft Research)
- Abstract要約: Differentially Private SGDは、正式なプライバシ保証を備えた機械学習モデルのトレーニングを可能にする。
このようなアルゴリズムが理論的に保証する保護と、実際に得られる保護との間には相違点がある。
本稿では,プライバシ予算の信頼区間として,差分プライベートトレーニングによって得られる保護を実証的に評価する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Algorithms such as Differentially Private SGD enable training machine
learning models with formal privacy guarantees. However, there is a discrepancy
between the protection that such algorithms guarantee in theory and the
protection they afford in practice. An emerging strand of work empirically
estimates the protection afforded by differentially private training as a
confidence interval for the privacy budget $\varepsilon$ spent on training a
model. Existing approaches derive confidence intervals for $\varepsilon$ from
confidence intervals for the false positive and false negative rates of
membership inference attacks. Unfortunately, obtaining narrow high-confidence
intervals for $\epsilon$ using this method requires an impractically large
sample size and training as many models as samples. We propose a novel Bayesian
method that greatly reduces sample size, and adapt and validate a heuristic to
draw more than one sample per trained model. Our Bayesian method exploits the
hypothesis testing interpretation of differential privacy to obtain a posterior
for $\varepsilon$ (not just a confidence interval) from the joint posterior of
the false positive and false negative rates of membership inference attacks.
For the same sample size and confidence, we derive confidence intervals for
$\varepsilon$ around 40% narrower than prior work. The heuristic, which we
adapt from label-only DP, can be used to further reduce the number of trained
models needed to get enough samples by up to 2 orders of magnitude.
- Abstract（参考訳）: 差分プライベートsgdのようなアルゴリズムは、正式なプライバシー保証で機械学習モデルをトレーニングすることができる。
しかし、そのようなアルゴリズムが理論的に保証する保護と、実際に得られる保護との間には相違がある。
新たな仕事の流れは、異なるプライベートトレーニングによって得られる保護を、モデルのトレーニングに費やされるプライバシー予算の信頼区間として、実証的に見積もっている。
既存のアプローチでは、メンバシップ推論攻撃の偽陽性率と偽陰性率の信頼区間から$\varepsilon$の信頼区間が導かれる。
残念ながら、$\epsilon$の狭い高信頼区間を得るには、非常に大きなサンプルサイズとサンプルとして多くのモデルを訓練する必要がある。
本研究では,サンプルサイズを大幅に削減し,トレーニングモデル毎に複数のサンプルを描画するヒューリスティックを適用し,検証するベイズ法を提案する。
我々のベイズ法では、メンバシップ推論攻撃の偽陽性率と偽陰性率の関節後方から$\varepsilon$(単なる信頼区間ではない)の後方を求めるために、差分プライバシーの解釈を仮説検証する。
同じサンプルサイズと信頼性で、$\varepsilon$の信頼区間は、以前の仕事よりも約40%狭くなる。
ラベルのみのDPから順応するヒューリスティックは、十分なサンプルを得るのに必要な訓練されたモデルの数を最大2桁まで削減するために使用することができる。
関連論文リスト
- Resampling methods for private statistical inference [1.8110941972682346]
我々は、信頼区間を異なるプライバシーで構築する作業について検討する。
データのパーティション上で実行される複数の"小さな"ブートストラップの結果の中央値をプライベートに計算する,非パラメトリックブートストラップの2つのプライベート変種を提案する。
固定された差分プライバシーパラメータ$epsilon$に対して、我々のメソッドは、サンプルサイズ$n$の対数係数内の非プライベートブートストラップと同じエラー率を享受します。
論文 参考訳（メタデータ） (2024-02-11T08:59:02Z) - Shrinking Class Space for Enhanced Certainty in Semi-Supervised Learning [59.44422468242455]
そこで我々はShrinkMatchと呼ばれる新しい手法を提案し、不確実なサンプルを学習する。
それぞれの不確実なサンプルに対して、元の Top-1 クラスを単に含むスランク類空間を適応的に求める。
次に、スランク空間における強と弱に強化された2つのサンプル間の整合正則化を課し、識別的表現を試みます。
論文 参考訳（メタデータ） (2023-08-13T14:05:24Z) - Epsilon*: Privacy Metric for Machine Learning Models [7.461284823977013]
Epsilon*は、単一のモデルインスタンスのプライバシリスクを、プライバシ緩和戦略の展開前、またはデプロイ後、測定するための新しい指標である。
モデル予測へのブラックボックスアクセスのみを必要とし、トレーニングデータの再サンプリングやモデル再トレーニングを必要とせず、差分プライバシでトレーニングされていないモデルのプライバシリスクを測定するために使用できる。
論文 参考訳（メタデータ） (2023-07-21T00:49:07Z) - Differentially Private Statistical Inference through $\beta$-Divergence
One Posterior Sampling [2.8544822698499255]
本稿では,モデルとデータ生成プロセス間の$beta$-divergenceの最小化を目標とした,一般化後部からの後部サンプリング手法を提案する。
これにより、基礎となるモデルの変更を必要とせずに、一般的に適用可能なプライベートな推定が可能になる。
我々は、$beta$D-Bayesが同一のプライバシー保証に対してより正確な推測を行うことを示す。
論文 参考訳（メタデータ） (2023-07-11T12:00:15Z) - Analyzing Privacy Leakage in Machine Learning via Multiple Hypothesis
Testing: A Lesson From Fano [83.5933307263932]
本研究では,離散データに対するデータ再構成攻撃について検討し,仮説テストの枠組みの下で解析する。
基礎となるプライベートデータが$M$のセットから値を取ると、ターゲットのプライバシパラメータ$epsilon$が$O(log M)$になる。
論文 参考訳（メタデータ） (2022-10-24T23:50:12Z) - Individual Privacy Accounting for Differentially Private Stochastic Gradient Descent [69.14164921515949]
DP-SGDで訓練されたモデルをリリースする際の個々の事例に対するプライバシー保証を特徴付ける。
ほとんどの例では、最悪のケースよりも強力なプライバシー保証を享受しています。
これは、モデルユーティリティの観点からは守られないグループが同時に、より弱いプライバシー保証を経験することを意味する。
論文 参考訳（メタデータ） (2022-06-06T13:49:37Z) - Optimal Membership Inference Bounds for Adaptive Composition of Sampled
Gaussian Mechanisms [93.44378960676897]
トレーニングされたモデルとデータサンプルが与えられた場合、メンバシップ推論(MI)アタックは、サンプルがモデルのトレーニングセットにあるかどうかを予測する。
MI攻撃に対する一般的な対策は、モデルトレーニング中に差分プライバシー(DP)を利用して個々の事例の存在を隠蔽することである。
本稿では,MI攻撃を装着した相手のテキスト・アドバンテージのバウンダリを導出し,広く利用されているガウス機構の厳密性を示す。
論文 参考訳（メタデータ） (2022-04-12T22:36:56Z) - Learning with User-Level Privacy [61.62978104304273]
ユーザレベルの差分プライバシー制約下での学習課題を,アルゴリズムを用いて解析する。
個々のサンプルのプライバシーのみを保証するのではなく、ユーザレベルのdpはユーザの貢献全体を保護します。
プライバシコストが$tau$に比例した$K$適応的に選択されたクエリのシーケンスにプライベートに答えるアルゴリズムを導き出し、私たちが検討する学習タスクを解決するためにそれを適用します。
論文 参考訳（メタデータ） (2021-02-23T18:25:13Z) - On the Intrinsic Differential Privacy of Bagging [69.70602220716718]
我々は、Bagingが、同じプライバシー予算を持つ最先端の差分プライベート機械学習手法よりも、はるかに高い精度を達成することを示す。
実験結果から,Bagingは,同一のプライバシー予算を持つ最先端の差分プライベート機械学習手法よりも格段に高い精度を達成できることが示された。
論文 参考訳（メタデータ） (2020-08-22T14:17:55Z) - Parametric Bootstrap for Differentially Private Confidence Intervals [8.781431682774484]
本研究では,個人差分パラメトリック推定のための信頼区間を構築するための実用的,汎用的なアプローチを開発する。
パラメトリックブートストラップは単純で効果的な解であることがわかった。
論文 参考訳（メタデータ） (2020-06-14T00:08:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。