論文の概要: Epsilon*: Privacy Metric for Machine Learning Models
- arxiv url: http://arxiv.org/abs/2307.11280v3
- Date: Fri, 9 Feb 2024 23:32:58 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-14 00:32:00.259694
- Title: Epsilon*: Privacy Metric for Machine Learning Models
- Title（参考訳）: epsilon*: マシンラーニングモデルのためのプライバシメトリック
- Authors: Diana M. Negoescu, Humberto Gonzalez, Saad Eddin Al Orjany, Jilei
Yang, Yuliia Lut, Rahul Tandra, Xiaowen Zhang, Xinyi Zheng, Zach Douglas,
Vidita Nolkha, Parvez Ahammad, Gennady Samorodnitsky
- Abstract要約: Epsilon*は、単一のモデルインスタンスのプライバシリスクを、プライバシ緩和戦略の展開前、またはデプロイ後、測定するための新しい指標である。
モデル予測へのブラックボックスアクセスのみを必要とし、トレーニングデータの再サンプリングやモデル再トレーニングを必要とせず、差分プライバシでトレーニングされていないモデルのプライバシリスクを測定するために使用できる。
- 参考スコア（独自算出の注目度）: 7.461284823977013
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We introduce Epsilon*, a new privacy metric for measuring the privacy risk of
a single model instance prior to, during, or after deployment of privacy
mitigation strategies. The metric requires only black-box access to model
predictions, does not require training data re-sampling or model re-training,
and can be used to measure the privacy risk of models not trained with
differential privacy. Epsilon* is a function of true positive and false
positive rates in a hypothesis test used by an adversary in a membership
inference attack. We distinguish between quantifying the privacy loss of a
trained model instance, which we refer to as empirical privacy, and quantifying
the privacy loss of the training mechanism which produces this model instance.
Existing approaches in the privacy auditing literature provide lower bounds for
the latter, while our metric provides an empirical lower bound for the former
by relying on an (${\epsilon}$, ${\delta}$)-type of quantification of the
privacy of the trained model instance. We establish a relationship between
these lower bounds and show how to implement Epsilon* to avoid numerical and
noise amplification instability. We further show in experiments on benchmark
public data sets that Epsilon* is sensitive to privacy risk mitigation by
training with differential privacy (DP), where the value of Epsilon* is reduced
by up to 800% compared to the Epsilon* values of non-DP trained baseline
models. This metric allows privacy auditors to be independent of model owners,
and enables visualizing the privacy-utility landscape to make informed
decisions regarding the trade-offs between model privacy and utility.
- Abstract（参考訳）: epsilon*は,プライバシ緩和戦略の展開前後において,単一のモデルインスタンスのプライバシリスクを測定するための,新たなプライバシ指標です。
このメトリクスは、モデル予測へのブラックボックスアクセスのみを必要とし、トレーニングデータの再サンプリングやモデル再トレーニングを必要とせず、差分プライバシでトレーニングされていないモデルのプライバシリスクを測定するために使用することができる。
エプシロン*は、メンバーシップ推論攻撃で敵が使用する仮説テストにおいて真正正正率と偽正率の関数である。
我々は、経験的プライバシと呼ぶトレーニングモデルインスタンスのプライバシ損失の定量化と、このモデルインスタンスを生成するトレーニングメカニズムのプライバシ損失の定量化を区別する。
既存のプライバシ監査文献のアプローチでは、後者のバウンダリは低いが、我々のメトリクスは、トレーニングされたモデルインスタンスのプライバシの定量化のタイプ(${\epsilon}$, ${\delta}$)に依存することで、前者のバウンダリを経験的に低くする。
我々は,これらの下界の関係を確立し,数値および雑音増幅の不安定性を回避するためにEpsilon*の実装方法を示す。
さらに,非dpトレーニングベースラインモデルのepsilon*値と比較して,epsilon*値が最大800%低減される差分プライバシ(dp)を用いたトレーニングにより,epsilon*がプライバシリスク軽減に敏感であることをベンチマーク公開データセットで実証した。
このメトリクスは、プライバシ監査者がモデル所有者から独立することを可能にし、プライバシユーティリティの展望を視覚化して、モデルプライバシとユーティリティ間のトレードオフに関する情報的な決定を可能にする。
関連論文リスト
- Private Fine-tuning of Large Language Models with Zeroth-order
Optimization [54.24600476755372]
DP-ZO(DP-ZO)は、ゼロオーダー最適化を民営化し、トレーニングデータのプライバシを保存する、大規模言語モデルを微調整する新しい手法である。
DP-ZOは、SQuADから1000のトレーニングサンプルにOPT-66Bを微調整すると、プライバシが1,10-5)$-DPになるため、わずか1.86%のパフォーマンス低下を示す。
論文 参考訳（メタデータ） (2024-01-09T03:53:59Z) - Initialization Matters: Privacy-Utility Analysis of Overparameterized
Neural Networks [72.51255282371805]
我々は、最悪の近傍データセット上でのモデル分布間のKLばらつきのプライバシー境界を証明した。
このKLプライバシー境界は、トレーニング中にモデルパラメータに対して期待される2乗勾配ノルムによって決定される。
論文 参考訳（メタデータ） (2023-10-31T16:13:22Z) - Conditional Density Estimations from Privacy-Protected Data [0.0]
プライバシ保護されたデータセットからのシミュレーションに基づく推論手法を提案する。
本稿では,感染性疾患モデルと通常の線形回帰モデルに基づく個別時系列データについて述べる。
論文 参考訳（メタデータ） (2023-10-19T14:34:17Z) - Probing the Transition to Dataset-Level Privacy in ML Models Using an
Output-Specific and Data-Resolved Privacy Profile [23.05994842923702]
差分プライバシーメカニズムを用いてデータセットでトレーニングされたモデルが、近隣のデータセットでトレーニングされた結果の分布によってカバーされる範囲を定量化するプライバシー指標について検討する。
プライバシプロファイルは、近隣のディストリビューションで発生する不明瞭性への観察された遷移を、$epsilon$の減少として調査するために使用できることを示す。
論文 参考訳（メタデータ） (2023-06-27T20:39:07Z) - Membership Inference Attacks against Synthetic Data through Overfitting
Detection [84.02632160692995]
我々は、攻撃者が基礎となるデータ分布についてある程度の知識を持っていると仮定する現実的なMIA設定について論じる。
生成モデルの局所的なオーバーフィッティングをターゲットとして,メンバシップを推論することを目的とした密度ベースMIAモデルであるDOMIASを提案する。
論文 参考訳（メタデータ） (2023-02-24T11:27:39Z) - Analyzing Privacy Leakage in Machine Learning via Multiple Hypothesis
Testing: A Lesson From Fano [83.5933307263932]
本研究では,離散データに対するデータ再構成攻撃について検討し,仮説テストの枠組みの下で解析する。
基礎となるプライベートデータが$M$のセットから値を取ると、ターゲットのプライバシパラメータ$epsilon$が$O(log M)$になる。
論文 参考訳（メタデータ） (2022-10-24T23:50:12Z) - Bayesian Estimation of Differential Privacy [0.0]
Differentially Private SGDは、正式なプライバシ保証を備えた機械学習モデルのトレーニングを可能にする。
このようなアルゴリズムが理論的に保証する保護と、実際に得られる保護との間には相違点がある。
本稿では,プライバシ予算の信頼区間として,差分プライベートトレーニングによって得られる保護を実証的に評価する。
論文 参考訳（メタデータ） (2022-06-10T15:57:18Z) - Individual Privacy Accounting for Differentially Private Stochastic Gradient Descent [69.14164921515949]
DP-SGDで訓練されたモデルをリリースする際の個々の事例に対するプライバシー保証を特徴付ける。
ほとんどの例では、最悪のケースよりも強力なプライバシー保証を享受しています。
これは、モデルユーティリティの観点からは守られないグループが同時に、より弱いプライバシー保証を経験することを意味する。
論文 参考訳（メタデータ） (2022-06-06T13:49:37Z) - Quantifying identifiability to choose and audit $\epsilon$ in
differentially private deep learning [15.294433619347082]
機械学習で差分プライバシーを使用するには、データサイエンティストがプライバシパラメータを$(epsilon,delta)$を選択する必要がある。
私たちは$(epsilon,delta)$を、トレーニングデータセット内のレコードの存在に関する差分プライバシーによって想定される相手のベイジアン後方信念にバインドに変換します。
我々は、データサイエンティストがモデルのトレーニングを監査し、経験的識別可能性スコアと経験的$(epsilon,delta)$を計算することを可能にするこの差分プライバシーの敵対の実装を策定します。
論文 参考訳（メタデータ） (2021-03-04T09:35:58Z) - Robustness Threats of Differential Privacy [70.818129585404]
我々は、いくつかの設定で差分プライバシーをトレーニングしたネットワークが、非プライベートバージョンに比べてさらに脆弱であることを実験的に実証した。
本研究では,勾配クリッピングや雑音付加などのニューラルネットワークトレーニングの主成分が,モデルの堅牢性に与える影響について検討する。
論文 参考訳（メタデータ） (2020-12-14T18:59:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。