論文の概要: Are Normalizing Flows the Key to Unlocking the Exponential Mechanism? A
Path through the Accuracy-Privacy Ceiling Constraining Differentially Private
ML
- arxiv url: http://arxiv.org/abs/2311.09200v3
- Date: Fri, 2 Feb 2024 15:23:17 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-05 19:15:40.341846
- Title: Are Normalizing Flows the Key to Unlocking the Exponential Mechanism? A
Path through the Accuracy-Privacy Ceiling Constraining Differentially Private
ML
- Title(参考訳): フローの正規化が指数関数メカニズムの解錠の鍵か?
差動プライベートmlを制約する精度・プライバシー天井を通り抜ける経路
- Authors: Robert A. Bridges, Vandy J. Tombs, Christopher B. Stanley
- Abstract要約: DPSGDの代替として,新しいトレーニング手法ExpM+NFを導入する。
我々は$varepsilon$1mathrme-3$ -- 同じような精度で、はるかに強力な3つのプライバシを達成できます。
- 参考スコア(独自算出の注目度): 0.9094127664014627
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The state of the art and de facto standard for differentially private machine
learning (ML) is differentially private stochastic gradient descent (DPSGD).
Yet, the method is inherently wasteful. By adding noise to every gradient, it
diminishes the overall privacy with every gradient step. Despite 15 years of
fruitful research advancing the composition theorems, sub-sampling methods, and
implementation techniques, adequate accuracy and privacy is often unattainable
with current private ML methods. Meanwhile, the Exponential Mechanism (ExpM),
designed for private optimization, has been historically sidelined from
privately training modern ML algorithms primarily because ExpM requires
sampling from a historically intractable density. Despite the recent discovery
of Normalizing Flow models (NFs), expressive deep networks for approximating
intractable distributions, ExpM remains in the background. Our position is that
leveraging NFs to circumvent historic obstructions of ExpM is a potentially
transformational solution for differentially private ML worth attention. We
introduce a new training method, ExpM+NF, as a potential alternative to DPSGD,
and we provide experiment with logistic regression and a modern deep learning
model to test whether training via ExpM+NF is viable with "good" privacy
parameters. Under the assumption that the NF output distribution is the ExpM
distribution, we are able to achieve $\varepsilon$ a low as $1\mathrm{e}{-3}$
-- three orders of magnitude stronger privacy with similar accuracy. This work
outlines a new avenue for advancing differentially private ML, namely
discovering NF approximation guarantees. Code to be provided after review.
- Abstract(参考訳): 差分プライベート機械学習(ML)における技術とデファクト標準の状態は、差分プライベート確率勾配勾配(DPSGD)である。
しかし、その方法は本質的に無駄である。
すべての勾配にノイズを加えることで、すべての勾配ステップで全体のプライバシーが低下する。
合成定理、サブサンプリング法、実装技法を進歩させる15年間の研究にもかかわらず、適切な精度とプライバシは現在のプライベートMLメソッドでは達成できないことが多い。
一方、プライベート最適化のために設計された指数関数型機構(expm)は、歴史的に難解な密度からのサンプリングを必要とするため、現代のmlアルゴリズムのプライベートなトレーニングから遠ざかっている。
最近の正規化フローモデル(NF)や、難解分布を近似する表現的なディープネットワークの発見にもかかわらず、ExpMは背景に残っている。
我々の立場では、ExpMの歴史的障害を回避するためにNFを活用することは、微分プライベートMLにとって価値のある変革的な解決策である。
DPSGDの代替として、新しいトレーニング手法ExpM+NFを導入し、ロジスティック回帰と現代のディープラーニングモデルを用いて、ExpM+NFによるトレーニングが「よい」プライバシパラメータで実行可能であるかどうかをテストする。
NF出力分布がExpM分布であると仮定すると、$\varepsilon$1\mathrm{e}{-3}$ -- ほぼ同じ精度で3桁強力なプライバシーを達成できる。
この研究は、微分プライベートMLの進歩、すなわちNF近似の保証を発見するための新たな道筋を概説する。
レビュー後に提供されるコード。
関連論文リスト
- Bounded and Unbiased Composite Differential Privacy [25.427802467876248]
差分プライバシ(DP)の目的は、隣接する2つのデータベース間で区別できない出力分布を生成することにより、プライバシを保護することである。
既存のソリューションでは、後処理やトランケーション技術を使ってこの問題に対処しようとしている。
本稿では,合成確率密度関数を用いて有界および非偏りの出力を生成する新しい微分プライベート機構を提案する。
論文 参考訳(メタデータ) (2023-11-04T04:43:47Z) - Initialization Matters: Privacy-Utility Analysis of Overparameterized
Neural Networks [72.51255282371805]
我々は、最悪の近傍データセット上でのモデル分布間のKLばらつきのプライバシー境界を証明した。
このKLプライバシー境界は、トレーニング中にモデルパラメータに対して期待される2乗勾配ノルムによって決定される。
論文 参考訳(メタデータ) (2023-10-31T16:13:22Z) - Directional Privacy for Deep Learning [2.826489388853448]
Differentially Private Gradient Descent (DP-SGD)は、ディープラーニングモデルのトレーニングにプライバシーを適用するための重要な方法である。
しかし、メトリックDPは、ユーティリティの保存にもっと適した任意のメトリクスに基づいた代替メカニズムを提供することができる。
これは、ガウスのメカニズムの$(epsilon, delta)$-privacyではなく、ディープラーニングのトレーニングに$epsilon$-DPと$epsilon d$-privacyを提供することを示している。
論文 参考訳(メタデータ) (2022-11-09T05:18:08Z) - Differentially private multivariate medians [4.588028371034407]
差分的にプライベートな深度に基づく中央値に対する新しい有限サンプル性能保証法を開発した。
Cauchyの限界の下では、重み付けされた位置推定のコストがプライバシーのコストよりも高いことを示している。
論文 参考訳(メタデータ) (2022-10-12T17:56:04Z) - Differentially Private Stochastic Gradient Descent with Low-Noise [49.981789906200035]
現代の機械学習アルゴリズムは、データからきめ細かい情報を抽出して正確な予測を提供することを目的としており、プライバシー保護の目標と矛盾することが多い。
本稿では、プライバシを保ちながら優れたパフォーマンスを確保するために、プライバシを保存する機械学習アルゴリズムを開発することの実践的および理論的重要性について論じる。
論文 参考訳(メタデータ) (2022-09-09T08:54:13Z) - Pre-trained Perceptual Features Improve Differentially Private Image
Generation [8.659595986100738]
差分降下勾配(DP-SGD)を用いた中等度生成モデルの訓練も困難である。
私たちは、情報のある公開データセット上に適切な、関連する表現を構築し、その表現でプライベートデータをモデル化することを学びます。
私たちの研究は、プライベートと非プライベートの深層生成モデルの間のギャップを減らすための、シンプルで強力な基盤を導入しています。
論文 参考訳(メタデータ) (2022-05-25T16:46:01Z) - Don't Generate Me: Training Differentially Private Generative Models
with Sinkhorn Divergence [73.14373832423156]
そこで我々はDP-Sinkhornを提案する。DP-Sinkhornは個人データからデータ分布を差分プライバシで学習するための新しいトランスポートベース生成手法である。
差分的にプライベートな生成モデルを訓練するための既存のアプローチとは異なり、我々は敵の目的に頼らない。
論文 参考訳(メタデータ) (2021-11-01T18:10:21Z) - Do Not Let Privacy Overbill Utility: Gradient Embedding Perturbation for
Private Learning [74.73901662374921]
差分プライベートモデルは、モデルが多数のトレーニング可能なパラメータを含む場合、ユーティリティを劇的に劣化させる。
偏微分プライベート深層モデルの精度向上のためのアルゴリズムemphGradient Embedding Perturbation (GEP)を提案する。
論文 参考訳(メタデータ) (2021-02-25T04:29:58Z) - Output Perturbation for Differentially Private Convex Optimization with
Improved Population Loss Bounds, Runtimes and Applications to Private
Adversarial Training [12.386462516398469]
強力な過剰なリスク境界を提供する効率的で実装が容易な差分プライベート(DP)アルゴリズムを見つけることは、現代の機械学習において重要な問題である。
我々は、滑らかさと強い凸性の存在下で、最もよく知られた$(epsilon, 0)$-DP人口損失境界と最速ランタイムを提供する。
我々はこの理論を2つの学習フレームワーク、傾きERMと逆学習フレームワークに適用する。
論文 参考訳(メタデータ) (2021-02-09T08:47:06Z) - Amortized Conditional Normalized Maximum Likelihood: Reliable Out of
Distribution Uncertainty Estimation [99.92568326314667]
本研究では,不確実性推定のための拡張性のある汎用的アプローチとして,償却条件正規化最大値(ACNML)法を提案する。
提案アルゴリズムは条件付き正規化最大度(CNML)符号化方式に基づいており、最小記述長の原理に従って最小値の最適特性を持つ。
我々は、ACNMLが、分布外入力のキャリブレーションの観点から、不確実性推定のための多くの手法と好意的に比較することを示した。
論文 参考訳(メタデータ) (2020-11-05T08:04:34Z) - Towards Discriminability and Diversity: Batch Nuclear-norm Maximization
under Label Insufficient Situations [154.51144248210338]
Batch Nuclear-norm Maximization (BNM) は、学習シナリオのラベルが不十分な場合の学習を促進するために提案されている。
BNMはライバルより優れており、既存のよく知られた手法でうまく機能する。
論文 参考訳(メタデータ) (2020-03-27T05:04:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。