論文の概要: Differentially Private SGD with Sparse Gradients
- arxiv url: http://arxiv.org/abs/2112.00845v1
- Date: Wed, 1 Dec 2021 21:43:34 GMT
- ステータス: 処理完了
- システム内更新日: 2021-12-03 16:43:00.168061
- Title: Differentially Private SGD with Sparse Gradients
- Title(参考訳): スパース勾配を有する微分プライベートSGD
- Authors: Junyi Zhu, Matthew Blaschko
- Abstract要約: DP-SGDは、勾配次元の数に応じてスケールするノイズの量を注入する必要がある。
本研究では,パラメータの漸進的に増加するサブセットをランダムに凍結し,緩やかな勾配更新を行うランダムフリーズを提案する。
DP-SGDフレームワークにランダム凍結を適用することで、同じ回数で精度を維持しながら、最大70%の表現間隔を実現します。
- 参考スコア(独自算出の注目度): 2.5275732254383763
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: To protect sensitive training data, differentially private stochastic
gradient descent (DP-SGD) has been adopted in deep learning to provide
rigorously defined privacy. However, DP-SGD requires the injection of an amount
of noise that scales with the number of gradient dimensions, resulting in large
performance drops compared to non-private training. In this work, we propose
random freeze which randomly freezes a progressively increasing subset of
parameters and results in sparse gradient updates while maintaining or
increasing accuracy. We theoretically prove the convergence of random freeze
and find that random freeze exhibits a signal loss and perturbation moderation
trade-off in DP-SGD. Applying random freeze across various DP-SGD frameworks,
we maintain accuracy within the same number of iterations while achieving up to
70% representation sparsity, which demonstrates that the trade-off exists in a
variety of DP-SGD methods. We further note that random freeze significantly
improves accuracy, in particular for large networks. Additionally, axis-aligned
sparsity induced by random freeze leads to various advantages for projected
DP-SGD or federated learning in terms of computational cost, memory footprint
and communication overhead.
- Abstract(参考訳): センシティブなトレーニングデータを保護するため、深層学習において、厳密に定義されたプライバシーを提供するために、微分プライベート確率勾配降下(DP-SGD)が採用されている。
しかし、dp-sgdでは、勾配次元の数でスケールするノイズ量の注入が必要となり、非プライベートトレーニングに比べて大きなパフォーマンス低下が生じる。
本研究では,パラメータの漸進的に増加する部分集合をランダムに凍結し,精度を維持したり向上させたりしながら緩やかな勾配更新を行うランダム凍結を提案する。
理論的にはランダム凍結の収束を証明し、DP-SGDにおいてランダム凍結は信号損失と摂動変調のトレードオフを示す。
様々なDP-SGDフレームワークにランダム凍結を適用し、同じ回数で精度を維持しながら、最大70%の表現幅を実現し、様々なDP-SGD手法にトレードオフが存在することを示す。
さらに、大規模なネットワークにおいて、ランダム凍結は精度を著しく向上させる。
さらに、ランダム凍結によって引き起こされる軸方向の間隔は、計算コスト、メモリフットプリント、通信オーバーヘッドの点で、プロジェクションされたDP-SGDやフェデレーション学習に様々な利点をもたらす。
関連論文リスト
- PCDP-SGD: Improving the Convergence of Differentially Private SGD via
Projection in Advance [0.0]
Differentially Private SGD(DP-SGD)は、集中型および連合型の両方の設定において、トレーニングデータの理論的保証を提供する。
冗長な勾配ノルムを圧縮し,より重要な勾配成分を保存することを目的とした,汎用フレームワークPCDP-SGDを提案する。
我々は,PCDP-SGDがコンピュータビジョンタスクにおける最先端のDP-SGD変種と比較して高い精度を実現することを証明した。
論文 参考訳(メタデータ) (2023-12-06T13:34:15Z) - Differentially Private SGD Without Clipping Bias: An Error-Feedback
Approach [67.7315816158682]
Differentially Private Gradient Descent with gradient clipping (DPSGD-GC)は、ディープラーニングモデルをトレーニングするための強力なツールである。
DPノイズインジェクションと勾配クリッピングによるモデル性能劣化のコストがかかる。
DPSGD-GCに代わる新しいエラーフィードバック(EF)DPアルゴリズムを提案する。
論文 参考訳(メタデータ) (2023-11-24T17:56:44Z) - Bias-Aware Minimisation: Understanding and Mitigating Estimator Bias in
Private SGD [56.01810892677744]
DP-SGDにおいて,サンプルごとの勾配ノルムとプライベート勾配オラクルの推定バイアスの関連性を示す。
BAM(Bias-Aware Minimisation)を提案する。
論文 参考訳(メタデータ) (2023-08-23T09:20:41Z) - Normalized/Clipped SGD with Perturbation for Differentially Private
Non-Convex Optimization [94.06564567766475]
DP-SGDとDP-NSGDは、センシティブなトレーニングデータを記憶する大規模モデルのリスクを軽減する。
DP-NSGD は DP-SGD よりも比較的チューニングが比較的容易であるのに対して,これらの2つのアルゴリズムは同様の精度を実現する。
論文 参考訳(メタデータ) (2022-06-27T03:45:02Z) - Differentially Private SGDA for Minimax Problems [83.57322009102973]
本研究は, 勾配勾配降下上昇(SGDA)が原始二重集団リスクの弱さの観点から最適に有効であることを示す。
これは、非滑らかで強固なコンケーブ設定において、初めて知られている結果である。
論文 参考訳(メタデータ) (2022-01-22T13:05:39Z) - Bypassing the Ambient Dimension: Private SGD with Gradient Subspace
Identification [47.23063195722975]
微分プライベートSGD(DP-SGD)は、微分プライベートな経験的リスク最小化(ERM)を解決する最も一般的な方法の1つである。
各勾配更新におけるノイズの多い摂動のため、DP-SGDの誤差率は、モデル内のパラメータ数である周囲次元$p$でスケールする。
雑音勾配を低次元部分空間に投影することでノイズ低減を行うDP-SGDを提案する。
論文 参考訳(メタデータ) (2020-07-07T22:31:01Z) - Understanding Gradient Clipping in Private SGD: A Geometric Perspective [68.61254575987013]
ディープラーニングモデルは、トレーニングデータが機密情報を含む可能性がある多くの機械学習アプリケーションで、ますます人気が高まっている。
多くの学習システムは、(異なる)プライベートSGDでモデルをトレーニングすることで、差分プライバシーを取り入れている。
各プライベートSGDアップデートにおける重要なステップは勾配クリッピングであり、L2ノルムがしきい値を超えると、個々の例の勾配を小さくする。
論文 参考訳(メタデータ) (2020-06-27T19:08:12Z) - Differentially Private Variational Autoencoders with Term-wise Gradient
Aggregation [12.880889651679094]
差分プライバシー制約の下で,様々な相違点を持つ変分オートエンコーダの学習方法について検討する。
損失項の構成に合わせてランダム化勾配を2つの異なる方法で作成する項ワイズDP-SGDを提案する。
論文 参考訳(メタデータ) (2020-06-19T16:12:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。