論文の概要: Clip Body and Tail Separately: High Probability Guarantees for DPSGD with Heavy Tails
- arxiv url: http://arxiv.org/abs/2405.17529v1
- Date: Mon, 27 May 2024 16:30:11 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-29 23:40:54.882669
- Title: Clip Body and Tail Separately: High Probability Guarantees for DPSGD with Heavy Tails
- Title（参考訳）: 転倒・転倒・転倒・転倒・転倒・転倒・転倒・転倒・転倒・転倒・転倒・転倒・転倒・転倒・転倒・転倒・転倒・転倒・転倒・転倒・転倒・転倒・転倒・転倒・転倒・転倒・転倒・転倒・転倒
- Authors: Haichao Sha, Yang Cao, Yong Liu, Yuncheng Wu, Ruixuan Liu, Hong Chen,
- Abstract要約: Differentially Private Gradient Descent (DPSGD)は、ディープラーニングにおけるトレーニングデータのプライバシを保護するために広く利用されている。
DPSGDは、標準への勾配をクリップし、訓練手順に校正されたノイズを注入する。
本稿では,2つの重要な反復を含む新しい手法であるDPSGDを提案する。
- 参考スコア（独自算出の注目度）: 20.432871178766927
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Differentially Private Stochastic Gradient Descent (DPSGD) is widely utilized to preserve training data privacy in deep learning, which first clips the gradients to a predefined norm and then injects calibrated noise into the training procedure. Existing DPSGD works typically assume the gradients follow sub-Gaussian distributions and design various clipping mechanisms to optimize training performance. However, recent studies have shown that the gradients in deep learning exhibit a heavy-tail phenomenon, that is, the tails of the gradient have infinite variance, which may lead to excessive clipping loss to the gradients with existing DPSGD mechanisms. To address this problem, we propose a novel approach, Discriminative Clipping~(DC)-DPSGD, with two key designs. First, we introduce a subspace identification technique to distinguish between body and tail gradients. Second, we present a discriminative clipping mechanism that applies different clipping thresholds for body and tail gradients to reduce the clipping loss. Under the non-convex condition, \ourtech{} reduces the empirical gradient norm from {${\mathbb{O}\left(\log^{\max(0,\theta-1)}(T/\delta)\log^{2\theta}(\sqrt{T})\right)}$} to {${\mathbb{O}\left(\log(\sqrt{T})\right)}$} with heavy-tailed index $\theta\geq 1/2$, iterations $T$, and arbitrary probability $\delta$. Extensive experiments on four real-world datasets demonstrate that our approach outperforms three baselines by up to 9.72\% in terms of accuracy.
- Abstract（参考訳）: Differentially Private Stochastic Gradient Descent (DPSGD)は、ディープラーニングにおけるトレーニングデータのプライバシを保護するために広く利用されている。
既存のDPSGDの研究は通常、勾配がガウス以下の分布に従うと仮定し、訓練性能を最適化する様々なクリッピング機構を設計する。
しかし、近年の研究では、ディープラーニングの勾配は重尾現象、すなわち勾配の尾は無限にばらつきがあり、既存のDPSGD機構による勾配への過剰な切断損失をもたらす可能性があることが示されている。
この問題に対処するために,2つの鍵となる設計を持つ識別クリッピング〜(DC)-DPSGDを提案する。
まず,体と尾の勾配を区別する部分空間識別手法を提案する。
第2に, クリッピング損失を低減するために, ボディーおよびテール勾配に異なるクリッピング閾値を適用した識別的クリッピング機構を提案する。
非凸条件の下で、 \ourtech{} は経験的勾配ノルムを {${\mathbb{O}\left(\log^{\max(0,\theta-1)}(T/\delta)\log^{2\theta}(\sqrt{T})\right)}$} から {${\mathbb{O}\left(\log(\sqrt{T})\right)}$} へ還元する。
4つの実世界のデータセットに対する大規模な実験により、我々のアプローチは精度で最大9.72倍の3つのベースラインを上回ります。
関連論文リスト
- Differential Private Stochastic Optimization with Heavy-tailed Data: Towards Optimal Rates [15.27596975662702]
重み付き勾配を用いたDP最適化の最適速度を達成するアルゴリズムについて検討する。
その結果,DP下での凸最適化の理論的限界が達成可能であることを示す。
論文 参考訳（メタデータ） (2024-08-19T11:07:05Z) - Differentially Private SGD Without Clipping Bias: An Error-Feedback Approach [62.000948039914135]
Differentially Private Gradient Descent with Gradient Clipping (DPSGD-GC) を使用して、差分プライバシ(DP)がモデルパフォーマンス劣化の犠牲となることを保証する。
DPSGD-GCに代わる新しいエラーフィードバック(EF)DPアルゴリズムを提案する。
提案アルゴリズムに対するアルゴリズム固有のDP解析を確立し,R'enyi DPに基づくプライバシ保証を提供する。
論文 参考訳（メタデータ） (2023-11-24T17:56:44Z) - Clip21: Error Feedback for Gradient Clipping [8.979288425347702]
我々はClip21を設計し、分散メソッドに対する最初の有効で実用的なフィードバックメカニズムを設計する。
提案手法は, 競合手法よりも高速に収束する。
論文 参考訳（メタデータ） (2023-05-30T10:41:42Z) - EPISODE: Episodic Gradient Clipping with Periodic Resampled Corrections
for Federated Learning with Heterogeneous Data [9.379890125442333]
グラディエント・クリッピングは、リカレントニューラルネットワークのような爆発的な勾配を持つディープニューラルネットワークにとって重要な技術である。
最近のデータセットでは、損失関数は従来の滑らかさ条件を満たさないが、緩和された線形条件、すなわち緩和された滑らかさを満たすことが示されている。
EPISODEは各クライアントから再サンプリングし、グローバルな勾配を求め、クライアント全体に対して勾配クリッピングを適用するかどうかを決定する。
論文 参考訳（メタデータ） (2023-02-14T16:05:51Z) - Normalized/Clipped SGD with Perturbation for Differentially Private
Non-Convex Optimization [94.06564567766475]
DP-SGDとDP-NSGDは、センシティブなトレーニングデータを記憶する大規模モデルのリスクを軽減する。
DP-NSGD は DP-SGD よりも比較的チューニングが比較的容易であるのに対して,これらの2つのアルゴリズムは同様の精度を実現する。
論文 参考訳（メタデータ） (2022-06-27T03:45:02Z) - Gradient Correction beyond Gradient Descent [63.33439072360198]
勾配補正は明らかに、ニューラルネットワークのトレーニングにおいて、最も重要な側面である。
勾配補正を行うためのフレームワーク(textbfGCGD)を導入する。
実験結果から, 勾配補正フレームワークは, トレーニングエポックスを$sim$20%削減し, ネットワーク性能を向上させることができることがわかった。
論文 参考訳（メタデータ） (2022-03-16T01:42:25Z) - Large Scale Private Learning via Low-rank Reparametrization [77.38947817228656]
本稿では、大規模ニューラルネットワークに微分プライベートSGDを適用する際の課題を解決するために、再パラメータ化方式を提案する。
BERTモデルにディファレンシャルプライバシを適用し、4つの下流タスクで平均精度が8,3.9%に達するのはこれが初めてである。
論文 参考訳（メタデータ） (2021-06-17T10:14:43Z) - Agnostic Learning of Halfspaces with Gradient Descent via Soft Margins [92.7662890047311]
勾配降下は、分類誤差$tilde O(mathsfOPT1/2) + varepsilon$ in $mathrmpoly(d,1/varepsilon)$ time and sample complexity.
論文 参考訳（メタデータ） (2020-10-01T16:48:33Z) - Understanding Gradient Clipping in Private SGD: A Geometric Perspective [68.61254575987013]
ディープラーニングモデルは、トレーニングデータが機密情報を含む可能性がある多くの機械学習アプリケーションで、ますます人気が高まっている。
多くの学習システムは、(異なる)プライベートSGDでモデルをトレーニングすることで、差分プライバシーを取り入れている。
各プライベートSGDアップデートにおける重要なステップは勾配クリッピングであり、L2ノルムがしきい値を超えると、個々の例の勾配を小さくする。
論文 参考訳（メタデータ） (2020-06-27T19:08:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。