論文の概要: Are Normalizing Flows the Key to Unlocking the Exponential Mechanism?
- arxiv url: http://arxiv.org/abs/2311.09200v4
- Date: Tue, 11 Jun 2024 01:09:47 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-13 00:48:47.150470
- Title: Are Normalizing Flows the Key to Unlocking the Exponential Mechanism?
- Title（参考訳）: 正規化フローは指数メカニズムの解錠の鍵か?
- Authors: Robert A. Bridges, Vandy J. Tombs, Christopher B. Stanley,
- Abstract要約: 指数メカニズム(ExpM)は、歴史的に連続的なサンプル空間での使用から傍観されてきた。
本稿では,プライベート最適化とプライベート機械学習(ML)のためのExpMの運用を提案する。
SGD, DPSGD, ExpM+NF訓練法の精度とトレーニング時間をMIMIC-III健康データと比較した。
- 参考スコア（独自算出の注目度）: 0.8324691721547202
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The Exponential Mechanism (ExpM), designed for private optimization, has been historically sidelined from use on continuous sample spaces, as it requires sampling from a generally intractable density, and, to a lesser extent, bounding the sensitivity of the objective function. Any differential privacy (DP) mechanism can be instantiated as ExpM, and ExpM poses an elegant solution for private machine learning (ML) that bypasses inherent inefficiencies of DPSGD. This paper seeks to operationalize ExpM for private optimization and ML by using an auxiliary Normalizing Flow (NF), an expressive deep network for density learning, to approximately sample from ExpM density. The method, ExpM+NF is an alternative to SGD methods for model training. We prove a sensitivity bound for the $\ell^2$ loss permitting ExpM use with any sampling method. To test feasibility, we present results on MIMIC-III health data comparing (non-private) SGD, DPSGD, and ExpM+NF training methods' accuracy and training time. We find that a model sampled from ExpM+NF is nearly as accurate as non-private SGD, more accurate than DPSGD, and ExpM+NF trains faster than Opacus' DPSGD implementation. Unable to provide a privacy proof for the NF approximation, we present empirical results to investigate privacy including the LiRA membership inference attack of Carlini et al. and the recent privacy auditing lower bound method of Steinke et al. Our findings suggest ExpM+NF provides more privacy than non-private SGD, but not as much as DPSGD, although many attacks are impotent against any model. Ancillary benefits of this work include pushing the SOTA of privacy and accuracy on MIMIC-III healthcare data, exhibiting the use of ExpM+NF for Bayesian inference, showing the limitations of empirical privacy auditing in practice, and providing several privacy theorems applicable to distribution learning.
- Abstract（参考訳）: プライベート最適化のために設計された指数メカニズム(ExpM, Exponential Mechanism)は、一般に難解な密度からサンプリングする必要があり、目的関数の感度を抑えるために、歴史的に連続的なサンプル空間での使用から傍観されてきた。
任意の差分プライバシー(DP)メカニズムはExpMとしてインスタンス化することができ、ExpMはDPSGD固有の非効率性を回避する、プライベート機械学習(ML)のためのエレガントなソリューションを提供する。
本稿では,密度学習のための表現型深層ネットワークである正規化フロー (NF) を用いて,プライベート最適化のためのExpMとMLの操作を,ExpM密度からおよそのサンプルに適用することを目的とする。
ExpM+NF法はモデルトレーニングのためのSGD法に代わる方法である。
サンプリング法でExpMの使用を許可する$\ell^2$損失に対する感度境界を証明した。
そこで本研究では,MIMIC-IIIの健康データを用いて,SGD,DPSGD,ExpM+NF訓練法の精度とトレーニング時間を比較した。
ExpM+NFのサンプルモデルでは,非プライベートなSGDと同程度の精度でDPSGDよりも精度が高く,ExpM+NFはOpacusのDPSGDよりも高速であることがわかった。
NF近似のプライバシー証明が得られないため、カルリーニらによるLiRAメンバーシップ推論攻撃や、Steinkeらによる最近のプライバシー監査下限法などを含むプライバシーを調査するための実証的な結果が得られ、ExpM+NFは非プライベートなSGDよりもプライバシーを提供するが、DPSGDほどではないことが示唆されている。
この研究の補助的な利点は、MIMIC-IIIの医療データにSOTAのプライバシーと精度をプッシュすること、ベイズ推論にExpM+NFを使うこと、実証的なプライバシ監査の限界を示すこと、分散学習に適用可能ないくつかのプライバシー定理を提供することである。
関連論文リスト
- How Private are DP-SGD Implementations? [61.19794019914523]
2種類のバッチサンプリングを使用する場合、プライバシ分析の間に大きなギャップがあることが示される。
その結果,2種類のバッチサンプリングでは,プライバシ分析の間に大きなギャップがあることが判明した。
論文 参考訳（メタデータ） (2024-03-26T13:02:43Z) - Privacy Amplification for the Gaussian Mechanism via Bounded Support [64.86780616066575]
インスタンスごとの差分プライバシー(pDP)やフィッシャー情報損失(FIL)といったデータ依存のプライバシ会計フレームワークは、固定されたトレーニングデータセット内の個人に対してきめ細かいプライバシー保証を提供する。
本稿では,データ依存会計下でのプライバシ保証を向上することを示すとともに,バウンドサポートによるガウス機構の簡単な修正を提案する。
論文 参考訳（メタデータ） (2024-03-07T21:22:07Z) - Differentially Private SGD Without Clipping Bias: An Error-Feedback Approach [62.000948039914135]
Differentially Private Gradient Descent with Gradient Clipping (DPSGD-GC) を使用して、差分プライバシ(DP)がモデルパフォーマンス劣化の犠牲となることを保証する。
DPSGD-GCに代わる新しいエラーフィードバック(EF)DPアルゴリズムを提案する。
提案アルゴリズムに対するアルゴリズム固有のDP解析を確立し,R'enyi DPに基づくプライバシ保証を提供する。
論文 参考訳（メタデータ） (2023-11-24T17:56:44Z) - Initialization Matters: Privacy-Utility Analysis of Overparameterized
Neural Networks [72.51255282371805]
我々は、最悪の近傍データセット上でのモデル分布間のKLばらつきのプライバシー境界を証明した。
このKLプライバシー境界は、トレーニング中にモデルパラメータに対して期待される2乗勾配ノルムによって決定される。
論文 参考訳（メタデータ） (2023-10-31T16:13:22Z) - A Differentially Private Weighted Empirical Risk Minimization Procedure and its Application to Outcome Weighted Learning [4.322221694511603]
差分プライバシー(DP)は、データのプライバシー問題に対処するための魅力的なフレームワークである。
DPは、機密データから情報を公開する際に生じるプライバシー損失に数学的に証明可能な境界を提供する。
一般のwERMに対する最初の微分プライベートアルゴリズムを提案し、理論DPを保証する。
論文 参考訳（メタデータ） (2023-07-24T21:03:25Z) - Differentially private multivariate medians [4.588028371034407]
差分的にプライベートな深度に基づく中央値に対する新しい有限サンプル性能保証法を開発した。
Cauchyの限界の下では、重み付けされた位置推定のコストがプライバシーのコストよりも高いことを示している。
論文 参考訳（メタデータ） (2022-10-12T17:56:04Z) - A Differentially Private Framework for Deep Learning with Convexified
Loss Functions [4.059849656394191]
差分プライバシー(DP)は、基礎となるトレーニングセットのプライバシーを保護するためにディープラーニングに応用されている。
既存のDP実践は、客観的摂動、勾配摂動、出力摂動の3つのカテゴリに分類される。
本稿では,DPノイズをランダムにサンプリングしたニューロンに注入し,新しい出力摂動機構を提案する。
論文 参考訳（メタデータ） (2022-04-03T11:10:05Z) - DP-UTIL: Comprehensive Utility Analysis of Differential Privacy in
Machine Learning [3.822543555265593]
差別化プライバシ(DP)は、プライバシー漏洩を理由とする厳格な形式主義として浮上している。
機械学習(ML)では、DPはトレーニング例の限定/開示に使用されている。
ディープニューラルネットワークの場合、勾配の摂動はプライバシリークを低くする。
論文 参考訳（メタデータ） (2021-12-24T08:40:28Z) - Smoothed Differential Privacy [55.415581832037084]
微分プライバシー(DP)は、最悪のケース分析に基づいて広く受け入れられ、広く適用されているプライバシーの概念である。
本稿では, 祝賀されたスムーズな解析の背景にある最悪の平均ケースのアイデアに倣って, DPの自然な拡張を提案する。
サンプリング手順による離散的なメカニズムはDPが予測するよりもプライベートであるのに対して,サンプリング手順による連続的なメカニズムはスムーズなDP下では依然としてプライベートではないことが証明された。
論文 参考訳（メタデータ） (2021-07-04T06:55:45Z) - Privacy Preserving in Non-Intrusive Load Monitoring: A Differential
Privacy Perspective [7.60875347889224]
NILM推論の理論的精度と差分プライバシーパラメータのギャップを橋渡しする。
マルチショットNILM問題を解くための階層的枠組みを提案する。
論文 参考訳（メタデータ） (2020-11-12T05:10:10Z) - Differentially Private Federated Learning with Laplacian Smoothing [72.85272874099644]
フェデレートラーニングは、ユーザ間でプライベートデータを共有せずに、協調的にモデルを学習することで、データのプライバシを保護することを目的としている。
敵は、リリースしたモデルを攻撃することによって、プライベートトレーニングデータを推測することができる。
差別化プライバシは、トレーニングされたモデルの正確性や実用性を著しく低下させる価格で、このような攻撃に対する統計的保護を提供する。
論文 参考訳（メタデータ） (2020-05-01T04:28:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。