論文の概要: Improving Differentially Private SGD via Randomly Sparsified Gradients
- arxiv url: http://arxiv.org/abs/2112.00845v3
- Date: Wed, 28 Jun 2023 13:30:48 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-29 19:01:03.395991
- Title: Improving Differentially Private SGD via Randomly Sparsified Gradients
- Title(参考訳): ランダムスパルシファイド勾配による微分プライベートsgdの改善
- Authors: Junyi Zhu, Matthew B. Blaschko
- Abstract要約: ディファレンシャル・プライベート・グラデーション・オブザーバ(DP-SGD)は、厳密に定義されたプライバシー境界圧縮を提供するため、ディープラーニングにおいて広く採用されている。
本稿では,通信コストを向上し,プライバシ境界圧縮を強化するためのRSを提案する。
- 参考スコア(独自算出の注目度): 31.295035726077366
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Differentially private stochastic gradient descent (DP-SGD) has been widely
adopted in deep learning to provide rigorously defined privacy, which requires
gradient clipping to bound the maximum norm of individual gradients and
additive isotropic Gaussian noise. With analysis of the convergence rate of
DP-SGD in a non-convex setting, we identify that randomly sparsifying gradients
before clipping and noisification adjusts a trade-off between internal
components of the convergence bound and leads to a smaller upper bound when the
noise is dominant. Additionally, our theoretical analysis and empirical
evaluations show that the trade-off is not trivial but possibly a unique
property of DP-SGD, as either canceling noisification or gradient clipping
eliminates the trade-off in the bound. This observation is indicative, as it
implies DP-SGD has special inherent room for (even simply random) gradient
compression. To verify the observation and utilize it, we propose an efficient
and lightweight extension using random sparsification (RS) to strengthen
DP-SGD. Experiments with various DP-SGD frameworks show that RS can improve
performance. Additionally, the produced sparse gradients of RS exhibit
advantages in reducing communication cost and strengthening privacy against
reconstruction attacks, which are also key problems in private machine
learning.
- Abstract(参考訳): 個人差分的確率勾配勾配(DP-SGD)は、個々の勾配の最大ノルムと付加等方性ガウス雑音を束縛するために、厳密に定義されたプライバシーを提供するために、ディープラーニングにおいて広く採用されている。
非凸状態でのdp-sgdの収束速度の解析により、クリッピングとノイズ化前の勾配をランダムにスパース化することで、収束境界の内部成分間のトレードオフを調整し、ノイズが支配的である場合の上限を小さくする。
さらに, 理論的解析および実証評価の結果, トレードオフは自明なものではなく, DP-SGDのユニークな特性である可能性が示唆された。
この観測は、DP-SGDが(単純なランダムな)勾配圧縮に固有の空間を持っていることを暗示している。
そこで我々は,DP-SGDを強化するためにランダムスペーシフィケーション(RS)を用いた効率的で軽量な拡張手法を提案する。
様々なDP-SGDフレームワークを用いた実験では、RSはパフォーマンスを向上させることができる。
さらに、生成したRSのスパース勾配は、通信コストの削減と、プライベート機械学習の重要な問題であるリコンストラクション攻撃に対するプライバシー強化の利点を示す。
関連論文リスト
- PCDP-SGD: Improving the Convergence of Differentially Private SGD via
Projection in Advance [0.0]
Differentially Private SGD(DP-SGD)は、集中型および連合型の両方の設定において、トレーニングデータの理論的保証を提供する。
冗長な勾配ノルムを圧縮し,より重要な勾配成分を保存することを目的とした,汎用フレームワークPCDP-SGDを提案する。
我々は,PCDP-SGDがコンピュータビジョンタスクにおける最先端のDP-SGD変種と比較して高い精度を実現することを証明した。
論文 参考訳(メタデータ) (2023-12-06T13:34:15Z) - Differentially Private SGD Without Clipping Bias: An Error-Feedback
Approach [67.7315816158682]
Differentially Private Gradient Descent with gradient clipping (DPSGD-GC)は、ディープラーニングモデルをトレーニングするための強力なツールである。
DPノイズインジェクションと勾配クリッピングによるモデル性能劣化のコストがかかる。
DPSGD-GCに代わる新しいエラーフィードバック(EF)DPアルゴリズムを提案する。
論文 参考訳(メタデータ) (2023-11-24T17:56:44Z) - Bias-Aware Minimisation: Understanding and Mitigating Estimator Bias in
Private SGD [56.01810892677744]
DP-SGDにおいて,サンプルごとの勾配ノルムとプライベート勾配オラクルの推定バイアスの関連性を示す。
BAM(Bias-Aware Minimisation)を提案する。
論文 参考訳(メタデータ) (2023-08-23T09:20:41Z) - Normalized/Clipped SGD with Perturbation for Differentially Private
Non-Convex Optimization [94.06564567766475]
DP-SGDとDP-NSGDは、センシティブなトレーニングデータを記憶する大規模モデルのリスクを軽減する。
DP-NSGD は DP-SGD よりも比較的チューニングが比較的容易であるのに対して,これらの2つのアルゴリズムは同様の精度を実現する。
論文 参考訳(メタデータ) (2022-06-27T03:45:02Z) - Differentially Private SGDA for Minimax Problems [83.57322009102973]
本研究は, 勾配勾配降下上昇(SGDA)が原始二重集団リスクの弱さの観点から最適に有効であることを示す。
これは、非滑らかで強固なコンケーブ設定において、初めて知られている結果である。
論文 参考訳(メタデータ) (2022-01-22T13:05:39Z) - Bypassing the Ambient Dimension: Private SGD with Gradient Subspace
Identification [47.23063195722975]
微分プライベートSGD(DP-SGD)は、微分プライベートな経験的リスク最小化(ERM)を解決する最も一般的な方法の1つである。
各勾配更新におけるノイズの多い摂動のため、DP-SGDの誤差率は、モデル内のパラメータ数である周囲次元$p$でスケールする。
雑音勾配を低次元部分空間に投影することでノイズ低減を行うDP-SGDを提案する。
論文 参考訳(メタデータ) (2020-07-07T22:31:01Z) - Understanding Gradient Clipping in Private SGD: A Geometric Perspective [68.61254575987013]
ディープラーニングモデルは、トレーニングデータが機密情報を含む可能性がある多くの機械学習アプリケーションで、ますます人気が高まっている。
多くの学習システムは、(異なる)プライベートSGDでモデルをトレーニングすることで、差分プライバシーを取り入れている。
各プライベートSGDアップデートにおける重要なステップは勾配クリッピングであり、L2ノルムがしきい値を超えると、個々の例の勾配を小さくする。
論文 参考訳(メタデータ) (2020-06-27T19:08:12Z) - Differentially Private Variational Autoencoders with Term-wise Gradient
Aggregation [12.880889651679094]
差分プライバシー制約の下で,様々な相違点を持つ変分オートエンコーダの学習方法について検討する。
損失項の構成に合わせてランダム化勾配を2つの異なる方法で作成する項ワイズDP-SGDを提案する。
論文 参考訳(メタデータ) (2020-06-19T16:12:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。