論文の概要: Tight Auditing of Differentially Private Machine Learning
- arxiv url: http://arxiv.org/abs/2302.07956v1
- Date: Wed, 15 Feb 2023 21:40:33 GMT
- ステータス: 処理完了
- システム内更新日: 2023-02-17 15:48:34.277680
- Title: Tight Auditing of Differentially Private Machine Learning
- Title(参考訳): 微分プライベート機械学習の厳密な監査
- Authors: Milad Nasr, Jamie Hayes, Thomas Steinke, Borja Balle, Florian
Tram\`er, Matthew Jagielski, Nicholas Carlini, Andreas Terzis
- Abstract要約: プライベート機械学習では、既存の監査メカニズムは厳格である。
彼らは不確実な最悪の仮定の下でのみ厳密な見積もりを行う。
我々は、自然(逆向きではない)データセットの厳密なプライバシー推定を得られる改善された監査スキームを設計する。
- 参考スコア(独自算出の注目度): 77.38590306275877
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Auditing mechanisms for differential privacy use probabilistic means to
empirically estimate the privacy level of an algorithm. For private machine
learning, existing auditing mechanisms are tight: the empirical privacy
estimate (nearly) matches the algorithm's provable privacy guarantee. But these
auditing techniques suffer from two limitations. First, they only give tight
estimates under implausible worst-case assumptions (e.g., a fully adversarial
dataset). Second, they require thousands or millions of training runs to
produce non-trivial statistical estimates of the privacy leakage.
This work addresses both issues. We design an improved auditing scheme that
yields tight privacy estimates for natural (not adversarially crafted) datasets
-- if the adversary can see all model updates during training. Prior auditing
works rely on the same assumption, which is permitted under the standard
differential privacy threat model. This threat model is also applicable, e.g.,
in federated learning settings. Moreover, our auditing scheme requires only two
training runs (instead of thousands) to produce tight privacy estimates, by
adapting recent advances in tight composition theorems for differential
privacy. We demonstrate the utility of our improved auditing schemes by
surfacing implementation bugs in private machine learning code that eluded
prior auditing techniques.
- Abstract(参考訳): 差分プライバシー利用の監査メカニズムは、アルゴリズムのプライバシーレベルを経験的に推定する確率的手段である。
プライベート機械学習では、既存の監査メカニズムは厳格である。(ほぼ)経験的なプライバシー推定は、アルゴリズムの証明可能なプライバシー保証と一致する。
しかし、これらの監査技術には2つの制限がある。
第一に、最悪な仮定(例えば、完全な逆データセット)の下での正確な見積もりしか与えない。
第二に、プライバシ漏洩の統計的な推定を行うには、数千から数百万のトレーニングが必要です。
この仕事は両方の問題に対処する。
対戦相手がトレーニング中にすべてのモデル更新を見ることができる場合、私たちは、自然な(逆向きではない)データセットの厳密なプライバシ見積を生成する、改善された監査スキームを設計します。
事前監査作業は同じ仮定に基づいており、これは標準差分プライバシー脅威モデルの下で許可されている。
この脅威モデルは、例えばフェデレートされた学習設定でも適用できる。
さらに,この監査方式では,厳密な構成定理の最近の進歩を微分プライバシに適用することにより,厳密なプライバシ推定を行うためのトレーニング実行を2回(数千回ではなく)しか必要としない。
我々は,事前監査手法を解明したプライベート機械学習コードの実装バグを克服し,改善された監査方式の有用性を実証する。
関連論文リスト
- Shuffled Differentially Private Federated Learning for Time Series Data
Analytics [10.198481976376717]
時系列データのためのプライバシー保護フェデレーション学習アルゴリズムを開発した。
具体的には、クライアントにプライバシ保護信頼境界を拡張するために、ローカルな差分プライバシーを使用します。
また、局所的な差分プライバシーを活用することによって生じる精度低下を軽減し、プライバシーの増幅を実現するためのシャッフル手法も取り入れた。
論文 参考訳(メタデータ) (2023-07-30T10:30:38Z) - Training Private Models That Know What They Don't Know [40.19666295972155]
いくつかの一般的な選択的予測手法は、差分的にプライベートな環境では効果がないことがわかった。
モデルユーティリティレベルを越えた選択予測性能を分離する新しい評価機構を提案する。
論文 参考訳(メタデータ) (2023-05-28T12:20:07Z) - Why Is Public Pretraining Necessary for Private Model Training? [50.054565310457306]
公開データに対する事前トレーニングは、非プライベートな設定よりも顕著な利益をもたらすことを示す。
トレードオフは、アルゴリズムが2つのフェーズを通過する必要のある、より深い損失モデルかもしれない、と私たちは主張する。
直観によって導かれた理論的な構成は、公的な事前訓練なしでの私的分離を確実に実証するものである。
論文 参考訳(メタデータ) (2023-02-19T05:32:20Z) - Pre-trained Encoders in Self-Supervised Learning Improve Secure and
Privacy-preserving Supervised Learning [63.45532264721498]
自己教師付き学習は、ラベルのないデータを使ってエンコーダを事前訓練するための新しいテクニックである。
我々は、事前訓練されたエンコーダがセキュア・プライバシ保護型学習アルゴリズムの限界に対処できるかどうかを理解するための、最初の体系的、原則的な測定研究を行う。
論文 参考訳(メタデータ) (2022-12-06T21:35:35Z) - A General Framework for Auditing Differentially Private Machine Learning [27.99806936918949]
本稿では,差分プライベートな学習者によって与えられるプライバシ保証を統計的に評価する枠組みを提案する。
本研究は、微分プライベート機械学習実装のプライバシを実証的に評価する一般的な手法を開発する。
論文 参考訳(メタデータ) (2022-10-16T21:34:18Z) - Individual Privacy Accounting for Differentially Private Stochastic
Gradient Descent [73.2635854205537]
DP-SGDで訓練されたモデルをリリースする際の個々の事例に対するプライバシー保証を特徴付ける。
ほとんどの例では、最悪のケースよりも強力なプライバシー保証を享受しています。
これは、モデルユーティリティの観点からは守られないグループが同時に、より弱いプライバシー保証を経験することを意味する。
論文 参考訳(メタデータ) (2022-06-06T13:49:37Z) - Debugging Differential Privacy: A Case Study for Privacy Auditing [60.87570714269048]
監査は、微分プライベートなスキームの欠陥を見つけるためにも利用できることを示す。
このケーススタディでは、微分プライベートなディープラーニングアルゴリズムの最近のオープンソース実装を監査し、99.9999999999%の信頼を得て、この実装が要求される差分プライバシー保証を満たさないことを発見した。
論文 参考訳(メタデータ) (2022-02-24T17:31:08Z) - Statistical Privacy Guarantees of Machine Learning Preprocessing
Techniques [1.198727138090351]
機械学習パイプラインのプライバシレベルを測定するために,統計的手法に基づくプライバシ違反検出フレームワークを適用した。
新たに作成されたフレームワークを適用して、不均衡なデータセットを扱う際に使用される再サンプリング技術によって、結果のモデルがよりプライバシーを漏洩することを示す。
論文 参考訳(メタデータ) (2021-09-06T14:08:47Z) - Private Prediction Sets [72.75711776601973]
機械学習システムは、個人のプライバシーの確実な定量化と保護を必要とする。
これら2つのデシラタを共同で扱う枠組みを提案する。
本手法を大規模コンピュータビジョンデータセット上で評価する。
論文 参考訳(メタデータ) (2021-02-11T18:59:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。