論文の概要: Evaluations of Machine Learning Privacy Defenses are Misleading
- arxiv url: http://arxiv.org/abs/2404.17399v1
- Date: Fri, 26 Apr 2024 13:21:30 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-29 13:05:13.694879
- Title: Evaluations of Machine Learning Privacy Defenses are Misleading
- Title(参考訳): 機械学習プライバシ防衛の評価は誤解を招く
- Authors: Michael Aerni, Jie Zhang, Florian Tramèr,
- Abstract要約: 機械学習プライバシに対する実証的な防御は、証明可能な差分プライバシの保証を禁止します。
先行評価では、最も脆弱なサンプルのプライバシー漏洩を特徴付けることができない。
- 参考スコア(独自算出の注目度): 25.007083740549845
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Empirical defenses for machine learning privacy forgo the provable guarantees of differential privacy in the hope of achieving higher utility while resisting realistic adversaries. We identify severe pitfalls in existing empirical privacy evaluations (based on membership inference attacks) that result in misleading conclusions. In particular, we show that prior evaluations fail to characterize the privacy leakage of the most vulnerable samples, use weak attacks, and avoid comparisons with practical differential privacy baselines. In 5 case studies of empirical privacy defenses, we find that prior evaluations underestimate privacy leakage by an order of magnitude. Under our stronger evaluation, none of the empirical defenses we study are competitive with a properly tuned, high-utility DP-SGD baseline (with vacuous provable guarantees).
- Abstract(参考訳): 機械学習プライバシに対する実証的な防御は、現実的な敵に抵抗しながら高いユーティリティを達成するために、差分プライバシの証明可能な保証を禁止します。
既存の経験的プライバシー評価(メンバーシップ推論攻撃に基づく)における深刻な落とし穴が、誤った結論をもたらす。
特に、事前評価では、最も脆弱なサンプルのプライバシー漏洩を特徴付けることができず、弱い攻撃を使用し、実用的な差分プライバシーベースラインとの比較を避けることができる。
経験的プライバシー保護に関する5つのケーススタディでは、事前評価がプライバシー漏洩を桁違いに過小評価していることが判明した。
より強力な評価の下では、我々が研究している実証的防御はいずれも、適切に調整された高実用性DP-SGDベースラインと競合するものではありません。
関連論文リスト
- Enhancing Feature-Specific Data Protection via Bayesian Coordinate Differential Privacy [55.357715095623554]
ローカル微分プライバシー(LDP)は、ユーザーが外部の関係者を信頼することなく、強力なプライバシー保証を提供する。
本稿では,ベイジアン・フレームワークであるベイジアン・コーディネート・ディファレンシャル・プライバシ(BCDP)を提案する。
論文 参考訳(メタデータ) (2024-10-24T03:39:55Z) - Convergent Differential Privacy Analysis for General Federated Learning: the $f$-DP Perspective [57.35402286842029]
フェデレートラーニング(Federated Learning, FL)は、ローカルプライバシを重視した効率的な協調トレーニングパラダイムである。
ディファレンシャルプライバシ(DP)は、私的保護の信頼性を捕捉し、保証するための古典的なアプローチである。
論文 参考訳(メタデータ) (2024-08-28T08:22:21Z) - A Cautionary Tale: On the Role of Reference Data in Empirical Privacy
Defenses [12.34501903200183]
本稿では,トレーニングデータと参照データの両方に関して,ユーティリティプライバシトレードオフを容易に理解可能なベースラインディフェンスを提案する。
私たちの実験では、驚くべきことに、最もよく研究され、現在最先端の実証的なプライバシー保護よりも優れています。
論文 参考訳(メタデータ) (2023-10-18T17:07:07Z) - A Randomized Approach for Tight Privacy Accounting [63.67296945525791]
推定検証リリース(EVR)と呼ばれる新しい差分プライバシーパラダイムを提案する。
EVRパラダイムは、まずメカニズムのプライバシパラメータを推定し、その保証を満たすかどうかを確認し、最後にクエリ出力を解放する。
我々の実証的な評価は、新たに提案されたEVRパラダイムが、プライバシ保護機械学習のユーティリティプライバシトレードオフを改善することを示している。
論文 参考訳(メタデータ) (2023-04-17T00:38:01Z) - Privacy in Practice: Private COVID-19 Detection in X-Ray Images
(Extended Version) [3.750713193320627]
私たちは、差分プライバシー(DP)を満たす機械学習モデルを作成します。
我々は、ユーティリティとプライバシのトレードオフをより広範囲に評価し、より厳格なプライバシー予算について検討する。
以上の結果から,MIAの課題依存的実践的脅威によって,必要なプライバシーレベルが異なる可能性が示唆された。
論文 参考訳(メタデータ) (2022-11-21T13:22:29Z) - Analyzing Privacy Leakage in Machine Learning via Multiple Hypothesis
Testing: A Lesson From Fano [83.5933307263932]
本研究では,離散データに対するデータ再構成攻撃について検討し,仮説テストの枠組みの下で解析する。
基礎となるプライベートデータが$M$のセットから値を取ると、ターゲットのプライバシパラメータ$epsilon$が$O(log M)$になる。
論文 参考訳(メタデータ) (2022-10-24T23:50:12Z) - On the Statistical Complexity of Estimation and Testing under Privacy Constraints [17.04261371990489]
差分プライバシー下での統計的テストのパワーをプラグアンドプレイ方式で特徴付ける方法を示す。
プライバシ保護のレベルが非常に高い場合にのみ、プライバシの維持が顕著なパフォーマンス低下をもたらすことを示す。
最後に,プライベート凸解法であるDP-SGLDアルゴリズムを高信頼度で最大推定できることを示した。
論文 参考訳(メタデータ) (2022-10-05T12:55:53Z) - No Free Lunch in "Privacy for Free: How does Dataset Condensation Help
Privacy" [75.98836424725437]
データプライバシを保護するために設計された新しい手法は、慎重に精査する必要がある。
プライバシ保護の失敗は検出し難いが,プライバシ保護法を実装したシステムが攻撃された場合,破滅的な結果につながる可能性がある。
論文 参考訳(メタデータ) (2022-09-29T17:50:23Z) - On the Privacy Effect of Data Enhancement via the Lens of Memorization [20.63044895680223]
我々は,記憶化という新たな視点からプライバシを調査することを提案する。
記憶のレンズを通して、以前デプロイされたMIAは、より高いプライバシーリスクを持つサンプルを特定する可能性が低いため、誤解を招く結果をもたらすことがわかった。
一般化ギャップとプライバシリークは, これまでの結果に比べて相関が低いことを示す。
論文 参考訳(メタデータ) (2022-08-17T13:02:17Z) - A Critical Review on the Use (and Misuse) of Differential Privacy in
Machine Learning [5.769445676575767]
機械学習(ML)におけるプライバシー保護のための差分プライバシー(DP)の利用について概観する。
学習モデルの精度を保つことを目的として,DPベースのML実装が非常に緩いため,DPの高度なプライバシー保証を提供していないことを示す。
論文 参考訳(メタデータ) (2022-06-09T17:13:10Z) - Private Reinforcement Learning with PAC and Regret Guarantees [69.4202374491817]
エピソード強化学習(RL)のためのプライバシー保護探索ポリシーを設計する。
まず、共同微分プライバシー(JDP)の概念を用いた有意義なプライバシー定式化を提供する。
そこで我々は,強いPACと後悔境界を同時に達成し,JDP保証を享受する,プライベートな楽観主義に基づく学習アルゴリズムを開発した。
論文 参考訳(メタデータ) (2020-09-18T20:18:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。