論文の概要: Differential Privacy of Noisy (S)GD under Heavy-Tailed Perturbations
- arxiv url: http://arxiv.org/abs/2403.02051v1
- Date: Mon, 4 Mar 2024 13:53:41 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-06 18:37:12.893347
- Title: Differential Privacy of Noisy (S)GD under Heavy-Tailed Perturbations
- Title（参考訳）: 重心動揺下でのノイズ(S)GDの差分プライバシー
- Authors: Umut \c{S}im\c{s}ekli, Mert G\"urb\"uzbalaban, Sinan
Y{\i}ld{\i}r{\i}m, Lingjiong Zhu
- Abstract要約: 降下反復音(SGD)に重尾ノイズを注入することは,ここ数年で注目されている。
重み付き摂動を持つSGDは、(0, tildemathcalO (1/n)$ DP保証が得られることを示す。
重み付きノイズ発生機構はガウスの場合と同じようなDP保証を実現し,軽み付きノイズの代替となる可能性が示唆された。
- 参考スコア（独自算出の注目度）: 6.220757855114254
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Injecting heavy-tailed noise to the iterates of stochastic gradient descent
(SGD) has received increasing attention over the past few years. While various
theoretical properties of the resulting algorithm have been analyzed mainly
from learning theory and optimization perspectives, their privacy preservation
properties have not yet been established. Aiming to bridge this gap, we provide
differential privacy (DP) guarantees for noisy SGD, when the injected noise
follows an $\alpha$-stable distribution, which includes a spectrum of
heavy-tailed distributions (with infinite variance) as well as the Gaussian
distribution. Considering the $(\epsilon, \delta)$-DP framework, we show that
SGD with heavy-tailed perturbations achieves $(0, \tilde{\mathcal{O}}(1/n))$-DP
for a broad class of loss functions which can be non-convex, where $n$ is the
number of data points. As a remarkable byproduct, contrary to prior work that
necessitates bounded sensitivity for the gradients or clipping the iterates,
our theory reveals that under mild assumptions, such a projection step is not
actually necessary. We illustrate that the heavy-tailed noising mechanism
achieves similar DP guarantees compared to the Gaussian case, which suggests
that it can be a viable alternative to its light-tailed counterparts.
- Abstract（参考訳）: 確率勾配降下 (SGD) の反復音に対する重尾雑音の注入は, ここ数年, 注目されている。
得られたアルゴリズムの様々な理論的特性は、主に学習理論と最適化の観点から分析されてきたが、そのプライバシー保護性はまだ確立されていない。
このギャップを埋めるため、ノイズを注入したノイズが$\alpha$-stable分布に従うとき、ガウス分布と同様に(無限に分散した)重み付き分布のスペクトルを含む差分プライバシー (dp) を提供する。
例えば、$(\epsilon, \delta)$-DPフレームワークを考えると、データポイント数として$n$が非凸の広い損失関数のクラスに対して$(0, \tilde{\mathcal{O}}(1/n))$-DPを達成することを示す。
特筆すべき副産物として, 勾配の有界感度やイテレートのクリッピングを必要とする先行研究とは対照的に, 軽度の仮定の下では, このような投影ステップは実際には必要ではないことを明らかにする。
重み付きノージング機構はガウス型の場合と比較して同様のdp保証を実現しており、軽量なノージング機構の代替案である可能性が示唆されている。
関連論文リスト
- Noise is All You Need: Private Second-Order Convergence of Noisy SGD [15.31952197599396]
プライバシーのために必要となるノイズは、標準の滑らか性仮定の下で既に二階収束を示唆していることが示される。
DP-SGDは、最小限の仮定の下で、二階定常点を見つけるために使用できる。
論文 参考訳（メタデータ） (2024-10-09T13:43:17Z) - Effect of Random Learning Rate: Theoretical Analysis of SGD Dynamics in Non-Convex Optimization via Stationary Distribution [6.144680854063938]
本研究では,その収束特性を明らかにするために,ランダムな学習率を持つ勾配降下(SGD)の変種を考察する。
ポアソンSGDによって更新されたパラメータの分布は、弱い仮定の下で定常分布に収束することを示した。
論文 参考訳（メタデータ） (2024-06-23T06:52:33Z) - Differentially Private SGD Without Clipping Bias: An Error-Feedback Approach [62.000948039914135]
Differentially Private Gradient Descent with Gradient Clipping (DPSGD-GC) を使用して、差分プライバシ(DP)がモデルパフォーマンス劣化の犠牲となることを保証する。
DPSGD-GCに代わる新しいエラーフィードバック(EF)DPアルゴリズムを提案する。
提案アルゴリズムに対するアルゴリズム固有のDP解析を確立し,R'enyi DPに基づくプライバシ保証を提供する。
論文 参考訳（メタデータ） (2023-11-24T17:56:44Z) - Normalized/Clipped SGD with Perturbation for Differentially Private
Non-Convex Optimization [94.06564567766475]
DP-SGDとDP-NSGDは、センシティブなトレーニングデータを記憶する大規模モデルのリスクを軽減する。
DP-NSGD は DP-SGD よりも比較的チューニングが比較的容易であるのに対して,これらの2つのアルゴリズムは同様の精度を実現する。
論文 参考訳（メタデータ） (2022-06-27T03:45:02Z) - Efficient Private SCO for Heavy-Tailed Data via Averaged Clipping [40.69950711262191]
我々は、差分プライベート(DP)を保証する重み付きデータに対する差分プライベート凸最適化について検討する。
我々は,制約付きおよび制約なし凸問題に対するAClipped-dpSGDというアルゴリズムに対して,新たな収束結果を確立し,複雑性境界を改善した。
論文 参考訳（メタデータ） (2022-06-27T01:39:15Z) - Benign Underfitting of Stochastic Gradient Descent [72.38051710389732]
本研究では,適切な学習データを得ることで,一般化性能を実現する「従来型」学習ルールとして,勾配降下度(SGD)がどの程度理解されるかを検討する。
類似現象が起こらない近縁な交換SGDを解析し、その集団リスクが実際に最適な速度で収束することを証明する。
論文 参考訳（メタデータ） (2022-02-27T13:25:01Z) - Non Asymptotic Bounds for Optimization via Online Multiplicative
Stochastic Gradient Descent [0.0]
グラディエントDescent(SGD)の勾配雑音は,その特性において重要な役割を担っていると考えられている。
ミニバッチによるSGDの平均と共分散構造を持つ雑音クラスは、同様の特性を持つことを示す。
また,M-SGDアルゴリズムの強い凸状態における収束の限界を定めている。
論文 参考訳（メタデータ） (2021-12-14T02:25:43Z) - Optimizing Information-theoretical Generalization Bounds via Anisotropic
Noise in SGLD [73.55632827932101]
SGLDにおけるノイズ構造を操作することにより,情報理論の一般化を最適化する。
低経験的リスクを保証するために制約を課すことで、最適なノイズ共分散が期待される勾配共分散の平方根であることを証明する。
論文 参考訳（メタデータ） (2021-10-26T15:02:27Z) - Stability of Stochastic Gradient Descent on Nonsmooth Convex Losses [52.039438701530905]
任意のリプシッツ非平滑凸損失に対して,数種類の勾配勾配降下(SGD)に対して,鋭い上下境界を与える。
我々の限界は、極端に過剰な集団リスクを伴う、微分的にプライベートな非平滑凸最適化のための新しいアルゴリズムを導出することを可能にする。
論文 参考訳（メタデータ） (2020-06-12T02:45:21Z) - Non-Convex SGD Learns Halfspaces with Adversarial Label Noise [50.659479930171585]
分布固有モデルにおいて,同種半空間の学習を代理する問題に対する解を示す。
任意の凸分布において、誤分類誤差は本質的にハーフスペースの誤分類誤差につながることを示す。
論文 参考訳（メタデータ） (2020-06-11T18:55:59Z) - The Heavy-Tail Phenomenon in SGD [7.366405857677226]
最小損失のHessianの構造に依存すると、SGDの反復はエンフェビーテールの定常分布に収束する。
深層学習におけるSGDの行動に関する知見に分析結果を変換する。
論文 参考訳（メタデータ） (2020-06-08T16:43:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。