論文の概要: Auditing Private Prediction
- arxiv url: http://arxiv.org/abs/2402.09403v1
- Date: Wed, 14 Feb 2024 18:59:27 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-25 11:19:24.058992
- Title: Auditing Private Prediction
- Title(参考訳): 個人予測の監査
- Authors: Karan Chadha, Matthew Jagielski, Nicolas Papernot, Christopher Choquette-Choo, Milad Nasr,
- Abstract要約: PATE, CaPC, PromptPATE, Private-kNNの4つのプライベート予測アルゴリズムのプライバシー漏洩について検討した。
実験の結果, (i) プライベート予測のプライバシー分析は改善され, (ii) 有害なアルゴリズムは, はるかに高いプライバシー侵害を引き起こし, (iii) プライバシー漏洩は, クエリ制御のない敵に対して, 完全制御のアルゴリズムよりも有意に低いことがわかった。
- 参考スコア(独自算出の注目度): 45.23153167486169
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Differential privacy (DP) offers a theoretical upper bound on the potential privacy leakage of analgorithm, while empirical auditing establishes a practical lower bound. Auditing techniques exist forDP training algorithms. However machine learning can also be made private at inference. We propose thefirst framework for auditing private prediction where we instantiate adversaries with varying poisoningand query capabilities. This enables us to study the privacy leakage of four private prediction algorithms:PATE [Papernot et al., 2016], CaPC [Choquette-Choo et al., 2020], PromptPATE [Duan et al., 2023],and Private-kNN [Zhu et al., 2020]. To conduct our audit, we introduce novel techniques to empiricallyevaluate privacy leakage in terms of Renyi DP. Our experiments show that (i) the privacy analysis ofprivate prediction can be improved, (ii) algorithms which are easier to poison lead to much higher privacyleakage, and (iii) the privacy leakage is significantly lower for adversaries without query control than thosewith full control.
- Abstract(参考訳): 差分プライバシー(DP)は、アナルゴリズムの潜在的なプライバシー漏洩に関する理論的上限を提供する一方、実証的な監査は実用的な低い境界を確立する。
監査技術は、DPトレーニングアルゴリズムが存在する。
しかし、機械学習は推論時にプライベートにすることもできる。
各種毒素およびクエリ機能を持つ敵をインスタンス化する,プライベート予測の監査を行うための第1のフレームワークを提案する。
これにより、4つのプライベート予測アルゴリズム:PATE(Papernot et al , 2016)、CaPC(Choquette-Choo et al , 2020)、PromptPATE(Duan et al , 2023)、Private-kNN(Zhu et al , 2020)のプライバシー漏洩を調べることができる。
本稿では,Renyi DPを用いて,プライバシー漏洩を実証的に評価するための新しい手法を提案する。
私たちの実験は
(i)私的予測のプライバシー分析を改善することができる。
二 中毒しやすいアルゴリズムは、プライバシーの侵害をはるかに高め、
(三) 敵に対するプライバシー漏洩は、完全制御の相手よりも、クエリ制御のない相手に対して著しく低い。
関連論文リスト
- Adaptive Privacy Composition for Accuracy-first Mechanisms [55.53725113597539]
ノイズ低減機構はますます正確な答えを生み出す。
アナリストは、公表された最も騒々しい、あるいは最も正確な回答のプライバシー費用のみを支払う。
ポスト前のプライベートメカニズムがどのように構成されるかは、まだ研究されていない。
我々は、分析者が微分プライベートとポストプライベートのメカニズムを適応的に切り替えることのできるプライバシーフィルタを開発した。
論文 参考訳(メタデータ) (2023-06-24T00:33:34Z) - A Randomized Approach for Tight Privacy Accounting [63.67296945525791]
推定検証リリース(EVR)と呼ばれる新しい差分プライバシーパラダイムを提案する。
EVRパラダイムは、まずメカニズムのプライバシパラメータを推定し、その保証を満たすかどうかを確認し、最後にクエリ出力を解放する。
我々の実証的な評価は、新たに提案されたEVRパラダイムが、プライバシ保護機械学習のユーティリティプライバシトレードオフを改善することを示している。
論文 参考訳(メタデータ) (2023-04-17T00:38:01Z) - Tight Auditing of Differentially Private Machine Learning [77.38590306275877]
プライベート機械学習では、既存の監査メカニズムは厳格である。
彼らは不確実な最悪の仮定の下でのみ厳密な見積もりを行う。
我々は、自然(逆向きではない)データセットの厳密なプライバシー推定を得られる改善された監査スキームを設計する。
論文 参考訳(メタデータ) (2023-02-15T21:40:33Z) - A General Framework for Auditing Differentially Private Machine Learning [27.99806936918949]
本稿では,差分プライベートな学習者によって与えられるプライバシ保証を統計的に評価する枠組みを提案する。
本研究は、微分プライベート機械学習実装のプライバシを実証的に評価する一般的な手法を開発する。
論文 参考訳(メタデータ) (2022-10-16T21:34:18Z) - Debugging Differential Privacy: A Case Study for Privacy Auditing [60.87570714269048]
監査は、微分プライベートなスキームの欠陥を見つけるためにも利用できることを示す。
このケーススタディでは、微分プライベートなディープラーニングアルゴリズムの最近のオープンソース実装を監査し、99.9999999999%の信頼を得て、この実装が要求される差分プライバシー保証を満たさないことを発見した。
論文 参考訳(メタデータ) (2022-02-24T17:31:08Z) - Private Reinforcement Learning with PAC and Regret Guarantees [69.4202374491817]
エピソード強化学習(RL)のためのプライバシー保護探索ポリシーを設計する。
まず、共同微分プライバシー(JDP)の概念を用いた有意義なプライバシー定式化を提供する。
そこで我々は,強いPACと後悔境界を同時に達成し,JDP保証を享受する,プライベートな楽観主義に基づく学習アルゴリズムを開発した。
論文 参考訳(メタデータ) (2020-09-18T20:18:35Z) - Auditing Differentially Private Machine Learning: How Private is Private
SGD? [16.812900569416062]
我々は、差分的プライベートSGDが、最先端の分析によって保証されているものよりも、実際に優れたプライバシーを提供するかどうかを調査する。
われわれは、新しいデータ中毒攻撃を通じて、現実的なプライバシー攻撃に対応している。
論文 参考訳(メタデータ) (2020-06-13T20:00:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。