論文の概要: Are Normalizing Flows the Key to Unlocking the Exponential Mechanism? A Path through the Accuracy-Privacy Ceiling Constraining Differentially Private ML

• arxiv url: http://arxiv.org/abs/2311.09200v3
• Date: Fri, 2 Feb 2024 15:23:17 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-05 19:15:40.341846
• Title: Are Normalizing Flows the Key to Unlocking the Exponential Mechanism? A Path through the Accuracy-Privacy Ceiling Constraining Differentially Private ML
• Title（参考訳）: フローの正規化が指数関数メカニズムの解錠の鍵か? 差動プライベートmlを制約する精度・プライバシー天井を通り抜ける経路
• Authors: Robert A. Bridges, Vandy J. Tombs, Christopher B. Stanley
• Abstract要約: DPSGDの代替として,新しいトレーニング手法ExpM+NFを導入する。 我々は$varepsilon$1mathrme-3$ -- 同じような精度で、はるかに強力な3つのプライバシを達成できます。
• 参考スコア（独自算出の注目度）: 0.9094127664014627
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The state of the art and de facto standard for differentially private machine learning (ML) is differentially private stochastic gradient descent (DPSGD). Yet, the method is inherently wasteful. By adding noise to every gradient, it diminishes the overall privacy with every gradient step. Despite 15 years of fruitful research advancing the composition theorems, sub-sampling methods, and implementation techniques, adequate accuracy and privacy is often unattainable with current private ML methods. Meanwhile, the Exponential Mechanism (ExpM), designed for private optimization, has been historically sidelined from privately training modern ML algorithms primarily because ExpM requires sampling from a historically intractable density. Despite the recent discovery of Normalizing Flow models (NFs), expressive deep networks for approximating intractable distributions, ExpM remains in the background. Our position is that leveraging NFs to circumvent historic obstructions of ExpM is a potentially transformational solution for differentially private ML worth attention. We introduce a new training method, ExpM+NF, as a potential alternative to DPSGD, and we provide experiment with logistic regression and a modern deep learning model to test whether training via ExpM+NF is viable with "good" privacy parameters. Under the assumption that the NF output distribution is the ExpM distribution, we are able to achieve $\varepsilon$ a low as $1\mathrm{e}{-3}$ -- three orders of magnitude stronger privacy with similar accuracy. This work outlines a new avenue for advancing differentially private ML, namely discovering NF approximation guarantees. Code to be provided after review.
• Abstract（参考訳）: 差分プライベート機械学習(ML)における技術とデファクト標準の状態は、差分プライベート確率勾配勾配(DPSGD)である。 しかし、その方法は本質的に無駄である。 すべての勾配にノイズを加えることで、すべての勾配ステップで全体のプライバシーが低下する。 合成定理、サブサンプリング法、実装技法を進歩させる15年間の研究にもかかわらず、適切な精度とプライバシは現在のプライベートMLメソッドでは達成できないことが多い。 一方、プライベート最適化のために設計された指数関数型機構(expm)は、歴史的に難解な密度からのサンプリングを必要とするため、現代のmlアルゴリズムのプライベートなトレーニングから遠ざかっている。 最近の正規化フローモデル(NF)や、難解分布を近似する表現的なディープネットワークの発見にもかかわらず、ExpMは背景に残っている。 我々の立場では、ExpMの歴史的障害を回避するためにNFを活用することは、微分プライベートMLにとって価値のある変革的な解決策である。 DPSGDの代替として、新しいトレーニング手法ExpM+NFを導入し、ロジスティック回帰と現代のディープラーニングモデルを用いて、ExpM+NFによるトレーニングが「よい」プライバシパラメータで実行可能であるかどうかをテストする。 NF出力分布がExpM分布であると仮定すると、$\varepsilon$1\mathrm{e}{-3}$ -- ほぼ同じ精度で3桁強力なプライバシーを達成できる。 この研究は、微分プライベートMLの進歩、すなわちNF近似の保証を発見するための新たな道筋を概説する。 レビュー後に提供されるコード。

関連論文リスト

• How Private are DP-SGD Implementations? [61.19794019914523]
  2種類のバッチサンプリングを使用する場合、プライバシ分析の間に大きなギャップがあることが示される。 その結果,2種類のバッチサンプリングでは,プライバシ分析の間に大きなギャップがあることが判明した。
  論文  参考訳（メタデータ） (2024-03-26T13:02:43Z)
• Privacy Amplification for the Gaussian Mechanism via Bounded Support [64.86780616066575]
  インスタンスごとの差分プライバシー(pDP)やフィッシャー情報損失(FIL)といったデータ依存のプライバシ会計フレームワークは、固定されたトレーニングデータセット内の個人に対してきめ細かいプライバシー保証を提供する。 本稿では,データ依存会計下でのプライバシ保証を向上することを示すとともに,バウンドサポートによるガウス機構の簡単な修正を提案する。
  論文  参考訳（メタデータ） (2024-03-07T21:22:07Z)
• Differentially Private SGD Without Clipping Bias: An Error-Feedback Approach [62.000948039914135]
  Differentially Private Gradient Descent with Gradient Clipping (DPSGD-GC) を使用して、差分プライバシ(DP)がモデルパフォーマンス劣化の犠牲となることを保証する。 DPSGD-GCに代わる新しいエラーフィードバック(EF)DPアルゴリズムを提案する。 提案アルゴリズムに対するアルゴリズム固有のDP解析を確立し,R'enyi DPに基づくプライバシ保証を提供する。
  論文  参考訳（メタデータ） (2023-11-24T17:56:44Z)
• Initialization Matters: Privacy-Utility Analysis of Overparameterized Neural Networks [72.51255282371805]
  我々は、最悪の近傍データセット上でのモデル分布間のKLばらつきのプライバシー境界を証明した。 このKLプライバシー境界は、トレーニング中にモデルパラメータに対して期待される2乗勾配ノルムによって決定される。
  論文  参考訳（メタデータ） (2023-10-31T16:13:22Z)
• A Differentially Private Weighted Empirical Risk Minimization Procedure and its Application to Outcome Weighted Learning [4.322221694511603]
  差分プライバシー(DP)は、データのプライバシー問題に対処するための魅力的なフレームワークである。 DPは、機密データから情報を公開する際に生じるプライバシー損失に数学的に証明可能な境界を提供する。 一般のwERMに対する最初の微分プライベートアルゴリズムを提案し、理論DPを保証する。
  論文  参考訳（メタデータ） (2023-07-24T21:03:25Z)
• Differentially private multivariate medians [4.588028371034407]
  差分的にプライベートな深度に基づく中央値に対する新しい有限サンプル性能保証法を開発した。 Cauchyの限界の下では、重み付けされた位置推定のコストがプライバシーのコストよりも高いことを示している。
  論文  参考訳（メタデータ） (2022-10-12T17:56:04Z)
• A Differentially Private Framework for Deep Learning with Convexified Loss Functions [4.059849656394191]
  差分プライバシー(DP)は、基礎となるトレーニングセットのプライバシーを保護するためにディープラーニングに応用されている。 既存のDP実践は、客観的摂動、勾配摂動、出力摂動の3つのカテゴリに分類される。 本稿では,DPノイズをランダムにサンプリングしたニューロンに注入し,新しい出力摂動機構を提案する。
  論文  参考訳（メタデータ） (2022-04-03T11:10:05Z)
• DP-UTIL: Comprehensive Utility Analysis of Differential Privacy in Machine Learning [3.822543555265593]
  差別化プライバシ(DP)は、プライバシー漏洩を理由とする厳格な形式主義として浮上している。 機械学習(ML)では、DPはトレーニング例の限定/開示に使用されている。 ディープニューラルネットワークの場合、勾配の摂動はプライバシリークを低くする。
  論文  参考訳（メタデータ） (2021-12-24T08:40:28Z)
• Smoothed Differential Privacy [55.415581832037084]
  微分プライバシー(DP)は、最悪のケース分析に基づいて広く受け入れられ、広く適用されているプライバシーの概念である。 本稿では, 祝賀されたスムーズな解析の背景にある最悪の平均ケースのアイデアに倣って, DPの自然な拡張を提案する。 サンプリング手順による離散的なメカニズムはDPが予測するよりもプライベートであるのに対して,サンプリング手順による連続的なメカニズムはスムーズなDP下では依然としてプライベートではないことが証明された。
  論文  参考訳（メタデータ） (2021-07-04T06:55:45Z)
• Privacy Preserving in Non-Intrusive Load Monitoring: A Differential Privacy Perspective [7.60875347889224]
  NILM推論の理論的精度と差分プライバシーパラメータのギャップを橋渡しする。 マルチショットNILM問題を解くための階層的枠組みを提案する。
  論文  参考訳（メタデータ） (2020-11-12T05:10:10Z)
• Differentially Private Federated Learning with Laplacian Smoothing [72.85272874099644]
  フェデレートラーニングは、ユーザ間でプライベートデータを共有せずに、協調的にモデルを学習することで、データのプライバシを保護することを目的としている。 敵は、リリースしたモデルを攻撃することによって、プライベートトレーニングデータを推測することができる。 差別化プライバシは、トレーニングされたモデルの正確性や実用性を著しく低下させる価格で、このような攻撃に対する統計的保護を提供する。
  論文  参考訳（メタデータ） (2020-05-01T04:28:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。