論文の概要: ExpM+NF Tractable Exponential Mechanism via Normalizing Flow, A Path through the Accuracy-Privacy Ceiling Constraining Differentially Private ML

• arxiv url: http://arxiv.org/abs/2311.09200v2
• Date: Thu, 7 Dec 2023 03:39:42 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-08 18:00:18.240541
• Title: ExpM+NF Tractable Exponential Mechanism via Normalizing Flow, A Path through the Accuracy-Privacy Ceiling Constraining Differentially Private ML
• Title（参考訳）: 微分プライベートmlを制約する精度-プライバシー天井を通り抜ける流れの正規化によるexpm+nfトラクタブル指数関数機構
• Authors: Robert A. Bridges, Vandy J. Tombs, Christopher B. Stanley
• Abstract要約: Exponential Private Mechanism (ExpM) は、DPSGD、最先端技術(SOTA)、および差分プライベート機械学習(ML)のデファクトメソッドに対する多くの利点を約束する。 しかし、ExpMは2つの障害によって、現代のMLアルゴリズムの差分プライベートトレーニングから締め出された。 我々はExpM+NFが、$varepsilon$DP for $varepsilon$ a low as $1mathrme-3$ -- three order of magnitudeで、非プライベートトレーニング精度(AUC)の94%以上を達成することを示した。
• 参考スコア（独自算出の注目度）: 0.9094127664014627
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The Exponential Mechanism (ExpM), a differentially private optimization method, promises many advantages over Differentially Private Stochastic Gradient Descent (DPSGD), the state-of-the-art (SOTA) and de facto method for differentially private machine learning (ML). Yet, ExpM has been historically stymied from differentially private training of modern ML algorithms by two obstructions: ExpM requires a sensitivity bound for the given loss function; ExpM requires sampling from a historically intractable density. We prove a sensitivity bound for $\ell(2)$ loss, and investigate using Normalizing Flows (NFs), deep networks furnishing approximate sampling from the otherwise intractable ExpM distribution. We prove that as the NF output converges to ExpM distribution, the privacy ($\varepsilon$) of an NF sample converges to that of the ExpM distribution. Under the assumption that the NF output distribution is the ExpM distribution, we empirically test ExpM+NF against DPSGD using the SOTA implementation (Opacus \cite{opacus} with PRV accounting) in multiple classification tasks on the Adult Dataset (census data) and MIMIC-III Dataset (healthcare records) using Logistic Regression and GRU-D, a deep learning recurrent neural network with \smallsim 20K-100K parameters. In all experiments we find ExpM+NF achieves greater than 94\% of the non-private training accuracy (AUC) with $\varepsilon$-DP for $\varepsilon$ a low as $1\mathrm{e}{-3}$ -- three orders of magnitude stronger privacy with similar accuracy. Further, performance results show ExpM+NF training time is comparable to (slightly less) than DPSGD. Limitations and future directions are provided; notably, research on NF approximation accuracy and its effect on privacy are a promising avenue to substantially advancing the field. Code for these experiments \hl{will be provided after review}.
• Abstract（参考訳）: Exponential Mechanism (ExpM) は、微分プライベートな最適化手法であり、DPSGD、最先端技術(SOTA)、および差分プライベートな機械学習(ML)のデファクト手法に対する多くの利点を約束する。 ExpMは与えられた損失関数に対して感度境界を必要とする; ExpMは歴史的に難解な密度からサンプリングする必要がある。 我々は,$\ell(2)$ 損失に対する感度を証明し,難解な expm 分布から近似サンプリングを行う深層ネットワークである正規化フロー(nfs)を用いて検討する。 NFの出力がExpM分布に収束すると、NFサンプルのプライバシー(\varepsilon$)はExpM分布に収束する。 NF の出力分布が ExpM 分布であるという仮定のもと,我々は SOTA 実装 (Opacus \cite{opacus} と PRV 会計) を用いた DPSGD に対する ExpM+NF を,ロジスティック回帰(Logistic Regression) と GRU-D (GRU-100K パラメータを持つディープラーニングリカレントニューラルネットワーク) を用いて, 成人データセット (Sensus data) とMIMIC-III データセット (医療記録) の複数の分類タスクで実証的にテストした。 すべての実験でExpM+NFは、非プライベートトレーニング精度(AUC)の99%以上を達成でき、$\varepsilon$-DP for $\varepsilon$ a low as $1\mathrm{e}{-3}$ - three order of greater privacy with similar accuracy。 さらに、ExpM+NFトレーニング時間はDPSGDに匹敵する(わずかに少ない)。 制限と今後の方向性、特にNF近似の精度とプライバシへの影響についての研究は、この分野を大幅に前進させる有望な道である。 これらの実験のためのコード \hl{will be provide after review}。

関連論文リスト

• How Private are DP-SGD Implementations? [61.19794019914523]
  2種類のバッチサンプリングを使用する場合、プライバシ分析の間に大きなギャップがあることが示される。 その結果,2種類のバッチサンプリングでは,プライバシ分析の間に大きなギャップがあることが判明した。
  論文  参考訳（メタデータ） (2024-03-26T13:02:43Z)
• Privacy Amplification for the Gaussian Mechanism via Bounded Support [64.86780616066575]
  インスタンスごとの差分プライバシー(pDP)やフィッシャー情報損失(FIL)といったデータ依存のプライバシ会計フレームワークは、固定されたトレーニングデータセット内の個人に対してきめ細かいプライバシー保証を提供する。 本稿では,データ依存会計下でのプライバシ保証を向上することを示すとともに,バウンドサポートによるガウス機構の簡単な修正を提案する。
  論文  参考訳（メタデータ） (2024-03-07T21:22:07Z)
• Differentially Private SGD Without Clipping Bias: An Error-Feedback Approach [62.000948039914135]
  Differentially Private Gradient Descent with Gradient Clipping (DPSGD-GC) を使用して、差分プライバシ(DP)がモデルパフォーマンス劣化の犠牲となることを保証する。 DPSGD-GCに代わる新しいエラーフィードバック(EF)DPアルゴリズムを提案する。 提案アルゴリズムに対するアルゴリズム固有のDP解析を確立し,R'enyi DPに基づくプライバシ保証を提供する。
  論文  参考訳（メタデータ） (2023-11-24T17:56:44Z)
• Initialization Matters: Privacy-Utility Analysis of Overparameterized Neural Networks [72.51255282371805]
  我々は、最悪の近傍データセット上でのモデル分布間のKLばらつきのプライバシー境界を証明した。 このKLプライバシー境界は、トレーニング中にモデルパラメータに対して期待される2乗勾配ノルムによって決定される。
  論文  参考訳（メタデータ） (2023-10-31T16:13:22Z)
• A Differentially Private Weighted Empirical Risk Minimization Procedure and its Application to Outcome Weighted Learning [4.322221694511603]
  差分プライバシー(DP)は、データのプライバシー問題に対処するための魅力的なフレームワークである。 DPは、機密データから情報を公開する際に生じるプライバシー損失に数学的に証明可能な境界を提供する。 一般のwERMに対する最初の微分プライベートアルゴリズムを提案し、理論DPを保証する。
  論文  参考訳（メタデータ） (2023-07-24T21:03:25Z)
• Differentially private multivariate medians [4.588028371034407]
  差分的にプライベートな深度に基づく中央値に対する新しい有限サンプル性能保証法を開発した。 Cauchyの限界の下では、重み付けされた位置推定のコストがプライバシーのコストよりも高いことを示している。
  論文  参考訳（メタデータ） (2022-10-12T17:56:04Z)
• A Differentially Private Framework for Deep Learning with Convexified Loss Functions [4.059849656394191]
  差分プライバシー(DP)は、基礎となるトレーニングセットのプライバシーを保護するためにディープラーニングに応用されている。 既存のDP実践は、客観的摂動、勾配摂動、出力摂動の3つのカテゴリに分類される。 本稿では,DPノイズをランダムにサンプリングしたニューロンに注入し,新しい出力摂動機構を提案する。
  論文  参考訳（メタデータ） (2022-04-03T11:10:05Z)
• DP-UTIL: Comprehensive Utility Analysis of Differential Privacy in Machine Learning [3.822543555265593]
  差別化プライバシ(DP)は、プライバシー漏洩を理由とする厳格な形式主義として浮上している。 機械学習(ML)では、DPはトレーニング例の限定/開示に使用されている。 ディープニューラルネットワークの場合、勾配の摂動はプライバシリークを低くする。
  論文  参考訳（メタデータ） (2021-12-24T08:40:28Z)
• Smoothed Differential Privacy [55.415581832037084]
  微分プライバシー(DP)は、最悪のケース分析に基づいて広く受け入れられ、広く適用されているプライバシーの概念である。 本稿では, 祝賀されたスムーズな解析の背景にある最悪の平均ケースのアイデアに倣って, DPの自然な拡張を提案する。 サンプリング手順による離散的なメカニズムはDPが予測するよりもプライベートであるのに対して,サンプリング手順による連続的なメカニズムはスムーズなDP下では依然としてプライベートではないことが証明された。
  論文  参考訳（メタデータ） (2021-07-04T06:55:45Z)
• Privacy Preserving in Non-Intrusive Load Monitoring: A Differential Privacy Perspective [7.60875347889224]
  NILM推論の理論的精度と差分プライバシーパラメータのギャップを橋渡しする。 マルチショットNILM問題を解くための階層的枠組みを提案する。
  論文  参考訳（メタデータ） (2020-11-12T05:10:10Z)
• Differentially Private Federated Learning with Laplacian Smoothing [72.85272874099644]
  フェデレートラーニングは、ユーザ間でプライベートデータを共有せずに、協調的にモデルを学習することで、データのプライバシを保護することを目的としている。 敵は、リリースしたモデルを攻撃することによって、プライベートトレーニングデータを推測することができる。 差別化プライバシは、トレーニングされたモデルの正確性や実用性を著しく低下させる価格で、このような攻撃に対する統計的保護を提供する。
  論文  参考訳（メタデータ） (2020-05-01T04:28:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。