論文の概要: Differentially Private SGD Without Clipping Bias: An Error-Feedback Approach

• arxiv url: http://arxiv.org/abs/2311.14632v2
• Date: Wed, 17 Apr 2024 04:16:15 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-18 19:20:39.463870
• Title: Differentially Private SGD Without Clipping Bias: An Error-Feedback Approach
• Title（参考訳）: クリップバイアスのない個人用SGD : エラーフィードバックアプローチ
• Authors: Xinwei Zhang, Zhiqi Bu, Zhiwei Steven Wu, Mingyi Hong,
• Abstract要約: Differentially Private Gradient Descent with Gradient Clipping (DPSGD-GC) を使用して、差分プライバシ(DP)がモデルパフォーマンス劣化の犠牲となることを保証する。 DPSGD-GCに代わる新しいエラーフィードバック(EF)DPアルゴリズムを提案する。 提案アルゴリズムに対するアルゴリズム固有のDP解析を確立し,R'enyi DPに基づくプライバシ保証を提供する。
• 参考スコア（独自算出の注目度）: 62.000948039914135
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Differentially Private Stochastic Gradient Descent with Gradient Clipping (DPSGD-GC) is a powerful tool for training deep learning models using sensitive data, providing both a solid theoretical privacy guarantee and high efficiency. However, using DPSGD-GC to ensure Differential Privacy (DP) comes at the cost of model performance degradation due to DP noise injection and gradient clipping. Existing research has extensively analyzed the theoretical convergence of DPSGD-GC, and has shown that it only converges when using large clipping thresholds that are dependent on problem-specific parameters. Unfortunately, these parameters are often unknown in practice, making it hard to choose the optimal clipping threshold. Therefore, in practice, DPSGD-GC suffers from degraded performance due to the {\it constant} bias introduced by the clipping. In our work, we propose a new error-feedback (EF) DP algorithm as an alternative to DPSGD-GC, which not only offers a diminishing utility bound without inducing a constant clipping bias, but more importantly, it allows for an arbitrary choice of clipping threshold that is independent of the problem. We establish an algorithm-specific DP analysis for our proposed algorithm, providing privacy guarantees based on R{\'e}nyi DP. Additionally, we demonstrate that under mild conditions, our algorithm can achieve nearly the same utility bound as DPSGD without gradient clipping. Our empirical results on Cifar-10/100 and E2E datasets, show that the proposed algorithm achieves higher accuracies than DPSGD while maintaining the same level of DP guarantee.
• Abstract（参考訳）: Differentially Private Stochastic Gradient Descent with Gradient Clipping (DPSGD-GC)は、センシティブなデータを使用してディープラーニングモデルをトレーニングする強力なツールである。 しかし、DPSGD-GCを用いることで、差分プライバシー(DP)がDPノイズインジェクションと勾配クリッピングによってモデル性能の低下を引き起こすことを保証する。 既存の研究では、DPSGD-GCの理論的収束を広く分析し、問題固有のパラメータに依存する大きなクリッピング閾値を使用する場合にのみ収束することが示されている。 残念ながら、これらのパラメータは実際にはよく知られておらず、最適なクリッピングしきい値を選択することは困難である。 したがって、実際には、DPSGD-GCはクリッピングによって引き起こされる {\it constant} バイアスによって劣化した性能に悩まされる。 本研究では,DPSGD-GCに代わる新しい誤りフィードバック(EF)DPアルゴリズムを提案する。 本稿では,提案アルゴリズムに対して,R{\'e}nyi DPに基づくプライバシ保証を提供するアルゴリズム固有のDP解析手法を確立する。 さらに, 緩やかな条件下では, 勾配クリッピングを伴わずにDPSGDとほぼ同等の効用が得られることを示した。 我々のCifar-10/100データセットとE2Eデータセットに対する実験結果から,提案アルゴリズムはDP保証レベルを維持しつつ,DPSGDよりも高い精度を達成することが示された。

関連論文リスト

• DiSK: Differentially Private Optimizer with Simplified Kalman Filter for Noise Reduction [57.83978915843095]
  本稿では,微分プライベート勾配の性能を著しく向上する新しいフレームワークであるDiSKを紹介する。 大規模トレーニングの実用性を確保するため,Kalmanフィルタプロセスを簡素化し,メモリと計算要求を最小化する。
  論文  参考訳（メタデータ） (2024-10-04T19:30:39Z)
• Weights Shuffling for Improving DPSGD in Transformer-based Models [7.356743536182233]
  本研究は,DPSGD(differially-Private Gradient Descent)における革新的なシャッフル機構を導入し,非シャッフルケースと同じプライバシ保証で大規模モデルの実用性を向上する。 順列化は理論上はDPSGDのプライバシー保証を改善するが、シャッフルモデル上での正確なプライバシー損失の追跡は特に困難である。
  論文  参考訳（メタデータ） (2024-07-22T06:41:59Z)
• Bias-Aware Minimisation: Understanding and Mitigating Estimator Bias in Private SGD [56.01810892677744]
  DP-SGDにおいて,サンプルごとの勾配ノルムとプライベート勾配オラクルの推定バイアスの関連性を示す。 BAM(Bias-Aware Minimisation)を提案する。
  論文  参考訳（メタデータ） (2023-08-23T09:20:41Z)
• The importance of feature preprocessing for differentially private linear optimization [38.125699428109826]
  微分プライベートモデルを訓練するための最も一般的なアルゴリズムの1つは、微分プライベート勾配降下(DPSGD)である。 線形分類の単純な場合であっても、非プライベートな最適化とは異なり、(プライベートな)特徴前処理は微分プライベートな最適化に不可欠であることを示す。 我々はDPSGDFと呼ばれるアルゴリズムを提案し、DPSGDと特徴前処理を組み合わせることで、特徴の直径に比例した最適性ギャップが生じることを証明した。
  論文  参考訳（メタデータ） (2023-07-19T20:20:52Z)
• Normalized/Clipped SGD with Perturbation for Differentially Private Non-Convex Optimization [94.06564567766475]
  DP-SGDとDP-NSGDは、センシティブなトレーニングデータを記憶する大規模モデルのリスクを軽減する。 DP-NSGD は DP-SGD よりも比較的チューニングが比較的容易であるのに対して,これらの2つのアルゴリズムは同様の精度を実現する。
  論文  参考訳（メタデータ） (2022-06-27T03:45:02Z)
• Differentially Private SGDA for Minimax Problems [83.57322009102973]
  本研究は, 勾配勾配降下上昇(SGDA)が原始二重集団リスクの弱さの観点から最適に有効であることを示す。 これは、非滑らかで強固なコンケーブ設定において、初めて知られている結果である。
  論文  参考訳（メタデータ） (2022-01-22T13:05:39Z)
• Improving Differentially Private SGD via Randomly Sparsified Gradients [31.295035726077366]
  ディファレンシャル・プライベート・グラデーション・オブザーバ(DP-SGD)は、厳密に定義されたプライバシー境界圧縮を提供するため、ディープラーニングにおいて広く採用されている。 本稿では,通信コストを向上し,プライバシ境界圧縮を強化するためのRSを提案する。
  論文  参考訳（メタデータ） (2021-12-01T21:43:34Z)
• Improving Deep Learning with Differential Privacy using Gradient Encoding and Denoising [36.935465903971014]
  本稿では,差分プライバシー保証を伴う深層学習モデルの学習を目的とした。 我々の鍵となる手法は勾配をエンコードしてより小さなベクトル空間にマッピングすることである。 我々のメカニズムは最先端のDPSGDよりも優れていることを示す。
  論文  参考訳（メタデータ） (2020-07-22T16:33:14Z)
• Private Stochastic Non-Convex Optimization: Adaptive Algorithms and Tighter Generalization Bounds [72.63031036770425]
  有界非次元最適化のための差分プライベート(DP)アルゴリズムを提案する。 標準勾配法に対する経験的優位性について,2つの一般的なディープラーニング手法を実証する。
  論文  参考訳（メタデータ） (2020-06-24T06:01:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。