論文の概要: ExpM+NF Tractable Exponential Mechanism via Normalizing Flow, A Path
through the Accuracy-Privacy Ceiling Constraining Differentially Private ML
- arxiv url: http://arxiv.org/abs/2311.09200v2
- Date: Thu, 7 Dec 2023 03:39:42 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-08 18:00:18.240541
- Title: ExpM+NF Tractable Exponential Mechanism via Normalizing Flow, A Path
through the Accuracy-Privacy Ceiling Constraining Differentially Private ML
- Title(参考訳): 微分プライベートmlを制約する精度-プライバシー天井を通り抜ける流れの正規化によるexpm+nfトラクタブル指数関数機構
- Authors: Robert A. Bridges, Vandy J. Tombs, Christopher B. Stanley
- Abstract要約: Exponential Private Mechanism (ExpM) は、DPSGD、最先端技術(SOTA)、および差分プライベート機械学習(ML)のデファクトメソッドに対する多くの利点を約束する。
しかし、ExpMは2つの障害によって、現代のMLアルゴリズムの差分プライベートトレーニングから締め出された。
我々はExpM+NFが、$varepsilon$DP for $varepsilon$ a low as $1mathrme-3$ -- three order of magnitudeで、非プライベートトレーニング精度(AUC)の94%以上を達成することを示した。
- 参考スコア(独自算出の注目度): 0.9094127664014627
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The Exponential Mechanism (ExpM), a differentially private optimization
method, promises many advantages over Differentially Private Stochastic
Gradient Descent (DPSGD), the state-of-the-art (SOTA) and de facto method for
differentially private machine learning (ML). Yet, ExpM has been historically
stymied from differentially private training of modern ML algorithms by two
obstructions: ExpM requires a sensitivity bound for the given loss function;
ExpM requires sampling from a historically intractable density. We prove a
sensitivity bound for $\ell(2)$ loss, and investigate using Normalizing Flows
(NFs), deep networks furnishing approximate sampling from the otherwise
intractable ExpM distribution. We prove that as the NF output converges to ExpM
distribution, the privacy ($\varepsilon$) of an NF sample converges to that of
the ExpM distribution. Under the assumption that the NF output distribution is
the ExpM distribution, we empirically test ExpM+NF against DPSGD using the SOTA
implementation (Opacus \cite{opacus} with PRV accounting) in multiple
classification tasks on the Adult Dataset (census data) and MIMIC-III Dataset
(healthcare records) using Logistic Regression and GRU-D, a deep learning
recurrent neural network with \smallsim 20K-100K parameters. In all experiments
we find ExpM+NF achieves greater than 94\% of the non-private training accuracy
(AUC) with $\varepsilon$-DP for $\varepsilon$ a low as $1\mathrm{e}{-3}$ --
three orders of magnitude stronger privacy with similar accuracy. Further,
performance results show ExpM+NF training time is comparable to (slightly less)
than DPSGD. Limitations and future directions are provided; notably, research
on NF approximation accuracy and its effect on privacy are a promising avenue
to substantially advancing the field. Code for these experiments \hl{will be
provided after review}.
- Abstract(参考訳): Exponential Mechanism (ExpM) は、微分プライベートな最適化手法であり、DPSGD、最先端技術(SOTA)、および差分プライベートな機械学習(ML)のデファクト手法に対する多くの利点を約束する。
ExpMは与えられた損失関数に対して感度境界を必要とする; ExpMは歴史的に難解な密度からサンプリングする必要がある。
我々は,$\ell(2)$ 損失に対する感度を証明し,難解な expm 分布から近似サンプリングを行う深層ネットワークである正規化フロー(nfs)を用いて検討する。
NFの出力がExpM分布に収束すると、NFサンプルのプライバシー(\varepsilon$)はExpM分布に収束する。
NF の出力分布が ExpM 分布であるという仮定のもと,我々は SOTA 実装 (Opacus \cite{opacus} と PRV 会計) を用いた DPSGD に対する ExpM+NF を,ロジスティック回帰(Logistic Regression) と GRU-D (GRU-100K パラメータを持つディープラーニングリカレントニューラルネットワーク) を用いて, 成人データセット (Sensus data) とMIMIC-III データセット (医療記録) の複数の分類タスクで実証的にテストした。
すべての実験でExpM+NFは、非プライベートトレーニング精度(AUC)の99%以上を達成でき、$\varepsilon$-DP for $\varepsilon$ a low as $1\mathrm{e}{-3}$ - three order of greater privacy with similar accuracy。
さらに、ExpM+NFトレーニング時間はDPSGDに匹敵する(わずかに少ない)。
制限と今後の方向性、特にNF近似の精度とプライバシへの影響についての研究は、この分野を大幅に前進させる有望な道である。
これらの実験のためのコード \hl{will be provide after review}。
関連論文リスト
- Bounded and Unbiased Composite Differential Privacy [25.427802467876248]
差分プライバシ(DP)の目的は、隣接する2つのデータベース間で区別できない出力分布を生成することにより、プライバシを保護することである。
既存のソリューションでは、後処理やトランケーション技術を使ってこの問題に対処しようとしている。
本稿では,合成確率密度関数を用いて有界および非偏りの出力を生成する新しい微分プライベート機構を提案する。
論文 参考訳(メタデータ) (2023-11-04T04:43:47Z) - Initialization Matters: Privacy-Utility Analysis of Overparameterized
Neural Networks [72.51255282371805]
我々は、最悪の近傍データセット上でのモデル分布間のKLばらつきのプライバシー境界を証明した。
このKLプライバシー境界は、トレーニング中にモデルパラメータに対して期待される2乗勾配ノルムによって決定される。
論文 参考訳(メタデータ) (2023-10-31T16:13:22Z) - Directional Privacy for Deep Learning [2.826489388853448]
Differentially Private Gradient Descent (DP-SGD)は、ディープラーニングモデルのトレーニングにプライバシーを適用するための重要な方法である。
しかし、メトリックDPは、ユーティリティの保存にもっと適した任意のメトリクスに基づいた代替メカニズムを提供することができる。
これは、ガウスのメカニズムの$(epsilon, delta)$-privacyではなく、ディープラーニングのトレーニングに$epsilon$-DPと$epsilon d$-privacyを提供することを示している。
論文 参考訳(メタデータ) (2022-11-09T05:18:08Z) - Differentially private multivariate medians [4.588028371034407]
差分的にプライベートな深度に基づく中央値に対する新しい有限サンプル性能保証法を開発した。
Cauchyの限界の下では、重み付けされた位置推定のコストがプライバシーのコストよりも高いことを示している。
論文 参考訳(メタデータ) (2022-10-12T17:56:04Z) - Differentially Private Stochastic Gradient Descent with Low-Noise [49.981789906200035]
現代の機械学習アルゴリズムは、データからきめ細かい情報を抽出して正確な予測を提供することを目的としており、プライバシー保護の目標と矛盾することが多い。
本稿では、プライバシを保ちながら優れたパフォーマンスを確保するために、プライバシを保存する機械学習アルゴリズムを開発することの実践的および理論的重要性について論じる。
論文 参考訳(メタデータ) (2022-09-09T08:54:13Z) - Pre-trained Perceptual Features Improve Differentially Private Image
Generation [8.659595986100738]
差分降下勾配(DP-SGD)を用いた中等度生成モデルの訓練も困難である。
私たちは、情報のある公開データセット上に適切な、関連する表現を構築し、その表現でプライベートデータをモデル化することを学びます。
私たちの研究は、プライベートと非プライベートの深層生成モデルの間のギャップを減らすための、シンプルで強力な基盤を導入しています。
論文 参考訳(メタデータ) (2022-05-25T16:46:01Z) - Don't Generate Me: Training Differentially Private Generative Models
with Sinkhorn Divergence [73.14373832423156]
そこで我々はDP-Sinkhornを提案する。DP-Sinkhornは個人データからデータ分布を差分プライバシで学習するための新しいトランスポートベース生成手法である。
差分的にプライベートな生成モデルを訓練するための既存のアプローチとは異なり、我々は敵の目的に頼らない。
論文 参考訳(メタデータ) (2021-11-01T18:10:21Z) - Do Not Let Privacy Overbill Utility: Gradient Embedding Perturbation for
Private Learning [74.73901662374921]
差分プライベートモデルは、モデルが多数のトレーニング可能なパラメータを含む場合、ユーティリティを劇的に劣化させる。
偏微分プライベート深層モデルの精度向上のためのアルゴリズムemphGradient Embedding Perturbation (GEP)を提案する。
論文 参考訳(メタデータ) (2021-02-25T04:29:58Z) - Output Perturbation for Differentially Private Convex Optimization with
Improved Population Loss Bounds, Runtimes and Applications to Private
Adversarial Training [12.386462516398469]
強力な過剰なリスク境界を提供する効率的で実装が容易な差分プライベート(DP)アルゴリズムを見つけることは、現代の機械学習において重要な問題である。
我々は、滑らかさと強い凸性の存在下で、最もよく知られた$(epsilon, 0)$-DP人口損失境界と最速ランタイムを提供する。
我々はこの理論を2つの学習フレームワーク、傾きERMと逆学習フレームワークに適用する。
論文 参考訳(メタデータ) (2021-02-09T08:47:06Z) - Amortized Conditional Normalized Maximum Likelihood: Reliable Out of
Distribution Uncertainty Estimation [99.92568326314667]
本研究では,不確実性推定のための拡張性のある汎用的アプローチとして,償却条件正規化最大値(ACNML)法を提案する。
提案アルゴリズムは条件付き正規化最大度(CNML)符号化方式に基づいており、最小記述長の原理に従って最小値の最適特性を持つ。
我々は、ACNMLが、分布外入力のキャリブレーションの観点から、不確実性推定のための多くの手法と好意的に比較することを示した。
論文 参考訳(メタデータ) (2020-11-05T08:04:34Z) - Towards Discriminability and Diversity: Batch Nuclear-norm Maximization
under Label Insufficient Situations [154.51144248210338]
Batch Nuclear-norm Maximization (BNM) は、学習シナリオのラベルが不十分な場合の学習を促進するために提案されている。
BNMはライバルより優れており、既存のよく知られた手法でうまく機能する。
論文 参考訳(メタデータ) (2020-03-27T05:04:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。