論文の概要: ExpM+NF: Differentially Private Machine Learning that Surpasses DPSGD
- arxiv url: http://arxiv.org/abs/2311.09200v1
- Date: Wed, 15 Nov 2023 18:43:29 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-16 14:26:22.347783
- Title: ExpM+NF: Differentially Private Machine Learning that Surpasses DPSGD
- Title（参考訳）: ExpM+NF: DPSGDを超越した微分プライベート機械学習
- Authors: Robert A. Bridges, Vandy J. Tombs, Christopher B. Stanley
- Abstract要約: プリセットされた差分プライバシー保証を用いて、プライベートデータ上で機械学習(ML)をトレーニングするExpM+NFを定式化する。
すべての実験において、ExpM+NFは[1mathrme-3, 1]$で$varepsilonの非プライベートトレーニング精度(AUC)の93%以上を達成する。
- 参考スコア（独自算出の注目度）: 0.9094127664014627
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this pioneering work we formulate ExpM+NF, a method for training machine
learning (ML) on private data with pre-specified differentially privacy
guarantee $\varepsilon>0, \delta=0$, by using the Exponential Mechanism (ExpM)
and an auxiliary Normalizing Flow (NF). We articulate theoretical benefits of
ExpM+NF over Differentially Private Stochastic Gradient Descent (DPSGD), the
state-of-the-art (SOTA) and de facto method for differentially private ML, and
we empirically test ExpM+NF against DPSGD using the SOTA implementation (Opacus
with PRV accounting) in multiple classification tasks on the Adult Dataset
(census data) and MIMIC-III Dataset (electronic healthcare records) using
Logistic Regression and GRU-D, a deep learning recurrent neural network with
~20K-100K parameters. In all experiments, ExpM+NF achieves greater than 93% of
the non-private training accuracy (AUC) for $\varepsilon \in [1\mathrm{e}{-3},
1]$, exhibiting greater accuracy (higher AUC) and privacy (lower $\varepsilon$
with $\delta=0$) than DPSGD. Differentially private ML generally considers
$\varepsilon \in [1,10]$ to maintain reasonable accuracy; hence, ExpM+NF's
ability to provide strong accuracy for orders of magnitude better privacy
(smaller $\varepsilon$) substantially pushes what is currently possible in
differentially private ML. Training time results are presented showing ExpM+NF
is comparable to (slightly faster) than DPSGD. Code for these experiments will
be provided after review. Limitations and future directions are provided.
- Abstract（参考訳）: この先駆的な研究において、ExpM+NFは、Exponential Mechanism(ExpM)と補助正規化フロー(NF)を使用して、事前定義された差分プライバシー保証$\varepsilon>0, \delta=0$でプライベートデータ上で機械学習(ML)をトレーニングする方法である。
We articulate theoretical benefits of ExpM+NF over Differentially Private Stochastic Gradient Descent (DPSGD), the state-of-the-art (SOTA) and de facto method for differentially private ML, and we empirically test ExpM+NF against DPSGD using the SOTA implementation (Opacus with PRV accounting) in multiple classification tasks on the Adult Dataset (census data) and MIMIC-III Dataset (electronic healthcare records) using Logistic Regression and GRU-D, a deep learning recurrent neural network with ~20K-100K parameters.
すべての実験においてExpM+NFは、$\varepsilon \in [1\mathrm{e}{-3}, 1]$の非プライベートトレーニング精度(AUC)の93%以上を獲得し、DPSGDよりも高い精度(より高いAUC)とプライバシー(より低い$\varepsilon$と$\delta=0$)を示す。
差分的にプライベートなMLは通常、適切な精度を維持するために$\varepsilon \in [1,10]$を考える。
expm+nf が dpsgd と同等であることを示すトレーニング時間結果が提示される。
これらの実験のコードはレビュー後に提供される。
制限と今後の方向性が提供される。
関連論文リスト
- How Private are DP-SGD Implementations? [61.19794019914523]
2種類のバッチサンプリングを使用する場合、プライバシ分析の間に大きなギャップがあることが示される。
その結果,2種類のバッチサンプリングでは,プライバシ分析の間に大きなギャップがあることが判明した。
論文 参考訳（メタデータ） (2024-03-26T13:02:43Z) - Privacy Amplification for the Gaussian Mechanism via Bounded Support [64.86780616066575]
インスタンスごとの差分プライバシー(pDP)やフィッシャー情報損失(FIL)といったデータ依存のプライバシ会計フレームワークは、固定されたトレーニングデータセット内の個人に対してきめ細かいプライバシー保証を提供する。
本稿では,データ依存会計下でのプライバシ保証を向上することを示すとともに,バウンドサポートによるガウス機構の簡単な修正を提案する。
論文 参考訳（メタデータ） (2024-03-07T21:22:07Z) - Differentially Private SGD Without Clipping Bias: An Error-Feedback Approach [62.000948039914135]
Differentially Private Gradient Descent with Gradient Clipping (DPSGD-GC) を使用して、差分プライバシ(DP)がモデルパフォーマンス劣化の犠牲となることを保証する。
DPSGD-GCに代わる新しいエラーフィードバック(EF)DPアルゴリズムを提案する。
提案アルゴリズムに対するアルゴリズム固有のDP解析を確立し,R'enyi DPに基づくプライバシ保証を提供する。
論文 参考訳（メタデータ） (2023-11-24T17:56:44Z) - Initialization Matters: Privacy-Utility Analysis of Overparameterized
Neural Networks [72.51255282371805]
我々は、最悪の近傍データセット上でのモデル分布間のKLばらつきのプライバシー境界を証明した。
このKLプライバシー境界は、トレーニング中にモデルパラメータに対して期待される2乗勾配ノルムによって決定される。
論文 参考訳（メタデータ） (2023-10-31T16:13:22Z) - A Differentially Private Weighted Empirical Risk Minimization Procedure and its Application to Outcome Weighted Learning [4.322221694511603]
差分プライバシー(DP)は、データのプライバシー問題に対処するための魅力的なフレームワークである。
DPは、機密データから情報を公開する際に生じるプライバシー損失に数学的に証明可能な境界を提供する。
一般のwERMに対する最初の微分プライベートアルゴリズムを提案し、理論DPを保証する。
論文 参考訳（メタデータ） (2023-07-24T21:03:25Z) - Differentially private multivariate medians [4.588028371034407]
差分的にプライベートな深度に基づく中央値に対する新しい有限サンプル性能保証法を開発した。
Cauchyの限界の下では、重み付けされた位置推定のコストがプライバシーのコストよりも高いことを示している。
論文 参考訳（メタデータ） (2022-10-12T17:56:04Z) - A Differentially Private Framework for Deep Learning with Convexified
Loss Functions [4.059849656394191]
差分プライバシー(DP)は、基礎となるトレーニングセットのプライバシーを保護するためにディープラーニングに応用されている。
既存のDP実践は、客観的摂動、勾配摂動、出力摂動の3つのカテゴリに分類される。
本稿では,DPノイズをランダムにサンプリングしたニューロンに注入し,新しい出力摂動機構を提案する。
論文 参考訳（メタデータ） (2022-04-03T11:10:05Z) - DP-UTIL: Comprehensive Utility Analysis of Differential Privacy in
Machine Learning [3.822543555265593]
差別化プライバシ(DP)は、プライバシー漏洩を理由とする厳格な形式主義として浮上している。
機械学習(ML)では、DPはトレーニング例の限定/開示に使用されている。
ディープニューラルネットワークの場合、勾配の摂動はプライバシリークを低くする。
論文 参考訳（メタデータ） (2021-12-24T08:40:28Z) - Smoothed Differential Privacy [55.415581832037084]
微分プライバシー(DP)は、最悪のケース分析に基づいて広く受け入れられ、広く適用されているプライバシーの概念である。
本稿では, 祝賀されたスムーズな解析の背景にある最悪の平均ケースのアイデアに倣って, DPの自然な拡張を提案する。
サンプリング手順による離散的なメカニズムはDPが予測するよりもプライベートであるのに対して,サンプリング手順による連続的なメカニズムはスムーズなDP下では依然としてプライベートではないことが証明された。
論文 参考訳（メタデータ） (2021-07-04T06:55:45Z) - Privacy Preserving in Non-Intrusive Load Monitoring: A Differential
Privacy Perspective [7.60875347889224]
NILM推論の理論的精度と差分プライバシーパラメータのギャップを橋渡しする。
マルチショットNILM問題を解くための階層的枠組みを提案する。
論文 参考訳（メタデータ） (2020-11-12T05:10:10Z) - Differentially Private Federated Learning with Laplacian Smoothing [72.85272874099644]
フェデレートラーニングは、ユーザ間でプライベートデータを共有せずに、協調的にモデルを学習することで、データのプライバシを保護することを目的としている。
敵は、リリースしたモデルを攻撃することによって、プライベートトレーニングデータを推測することができる。
差別化プライバシは、トレーニングされたモデルの正確性や実用性を著しく低下させる価格で、このような攻撃に対する統計的保護を提供する。
論文 参考訳（メタデータ） (2020-05-01T04:28:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。