論文の概要: Privacy of SGD under Gaussian or Heavy-Tailed Noise: Guarantees without Gradient Clipping

• arxiv url: http://arxiv.org/abs/2403.02051v2
• Date: Mon, 12 May 2025 11:51:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-13 20:21:48.549882
• Title: Privacy of SGD under Gaussian or Heavy-Tailed Noise: Guarantees without Gradient Clipping
• Title（参考訳）: ガウス音・重音下におけるSGDのプライバシ:グラディエント・クリッピングを伴わない保証
• Authors: Umut Şimşekli, Mert Gürbüzbalaban, Sinan Yıldırım, Lingjiong Zhu,
• Abstract要約: 重み付きノイズの理論的利点と経験的利益のギャップを、最適化とプライバシー保護のために橋渡しする。 ヘビーテールのノイズ発生スキームは、ライトテールのノイズの代替となる可能性があることを示す。
• 参考スコア（独自算出の注目度）: 15.348717323408652
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The injection of heavy-tailed noise into the iterates of stochastic gradient descent (SGD) has garnered growing interest in recent years due to its theoretical and empirical benefits for optimization and generalization. However, its implications for privacy preservation remain largely unexplored. Aiming to bridge this gap, we provide differential privacy (DP) guarantees for noisy SGD, when the injected noise follows an $\alpha$-stable distribution, which includes a spectrum of heavy-tailed distributions (with infinite variance) as well as the light-tailed Gaussian distribution. Considering the $(\epsilon, \delta)$-DP framework, we show that SGD with heavy-tailed perturbations achieves $(0, O(1/n))$-DP for a broad class of loss functions which can be non-convex, where $n$ is the number of data points. As a remarkable byproduct, contrary to prior work that necessitates bounded sensitivity for the gradients or clipping the iterates, our theory can handle unbounded gradients without clipping, and reveals that under mild assumptions, such a projection step is not actually necessary. Our results suggest that, given other benefits of heavy-tails in optimization, heavy-tailed noising schemes can be a viable alternative to their light-tailed counterparts.
• Abstract（参考訳）: 確率勾配降下 (SGD) の反復音への重み付き雑音の注入は, 最適化と一般化の理論的, 実証的な利点により近年, 関心が高まっている。 しかし、プライバシー保護の意味はほとんど解明されていない。 このギャップを埋めるために、我々はノイズが$\alpha$-stable分布に従えば、ノイズの多いSGDに対して差分プライバシー(DP)保証を提供する。 例えば$(\epsilon, \delta)$-DPフレームワークを考えると、重み付き摂動を持つSGDが、非凸であるような幅広い損失関数のクラスに対して$(0, O(1/n))$-DPを達成することを示す。 顕著な副産物として、勾配の有界感度や繰り返しの切断を必要とする以前の研究とは対照的に、我々の理論はクリッピングなしで非有界勾配を扱うことができ、軽微な仮定の下ではそのような射影ステップは実際には必要ないことが分かる。 以上の結果から,重み付け方式の他の利点を考えると,重み付け方式は軽量化方式の代替となる可能性が示唆された。

関連論文リスト

• On the Convergence of DP-SGD with Adaptive Clipping [56.24689348875711]
  勾配クリッピングによるグラディエントDescentは、微分プライベート最適化を実現するための強力な技術である。 本稿では,量子クリッピング(QC-SGD)を用いたSGDの総合収束解析について述べる。 本稿では,QC-SGDが一定閾値クリッピングSGDに類似したバイアス問題にどのように悩まされているかを示す。
  論文  参考訳（メタデータ） (2024-12-27T20:29:47Z)
• Noise is All You Need: Private Second-Order Convergence of Noisy SGD [15.31952197599396]
  プライバシーのために必要となるノイズは、標準の滑らか性仮定の下で既に二階収束を示唆していることが示される。 DP-SGDは、最小限の仮定の下で、二階定常点を見つけるために使用できる。
  論文  参考訳（メタデータ） (2024-10-09T13:43:17Z)
• Effect of Random Learning Rate: Theoretical Analysis of SGD Dynamics in Non-Convex Optimization via Stationary Distribution [6.144680854063938]
  本研究では,その収束特性を明らかにするために,ランダムな学習率を持つ勾配降下(SGD)の変種を考察する。 ポアソンSGDによって更新されたパラメータの分布は、弱い仮定の下で定常分布に収束することを示した。
  論文  参考訳（メタデータ） (2024-06-23T06:52:33Z)
• Differentially Private SGD Without Clipping Bias: An Error-Feedback Approach [62.000948039914135]
  Differentially Private Gradient Descent with Gradient Clipping (DPSGD-GC) を使用して、差分プライバシ(DP)がモデルパフォーマンス劣化の犠牲となることを保証する。 DPSGD-GCに代わる新しいエラーフィードバック(EF)DPアルゴリズムを提案する。 提案アルゴリズムに対するアルゴリズム固有のDP解析を確立し,R'enyi DPに基づくプライバシ保証を提供する。
  論文  参考訳（メタデータ） (2023-11-24T17:56:44Z)
• Normalized/Clipped SGD with Perturbation for Differentially Private Non-Convex Optimization [94.06564567766475]
  DP-SGDとDP-NSGDは、センシティブなトレーニングデータを記憶する大規模モデルのリスクを軽減する。 DP-NSGD は DP-SGD よりも比較的チューニングが比較的容易であるのに対して,これらの2つのアルゴリズムは同様の精度を実現する。
  論文  参考訳（メタデータ） (2022-06-27T03:45:02Z)
• Efficient Private SCO for Heavy-Tailed Data via Averaged Clipping [40.69950711262191]
  我々は、差分プライベート(DP)を保証する重み付きデータに対する差分プライベート凸最適化について検討する。 我々は,制約付きおよび制約なし凸問題に対するAClipped-dpSGDというアルゴリズムに対して,新たな収束結果を確立し,複雑性境界を改善した。
  論文  参考訳（メタデータ） (2022-06-27T01:39:15Z)
• Benign Underfitting of Stochastic Gradient Descent [72.38051710389732]
  本研究では,適切な学習データを得ることで,一般化性能を実現する「従来型」学習ルールとして,勾配降下度(SGD)がどの程度理解されるかを検討する。 類似現象が起こらない近縁な交換SGDを解析し、その集団リスクが実際に最適な速度で収束することを証明する。
  論文  参考訳（メタデータ） (2022-02-27T13:25:01Z)
• Non Asymptotic Bounds for Optimization via Online Multiplicative Stochastic Gradient Descent [0.0]
  グラディエントDescent(SGD)の勾配雑音は,その特性において重要な役割を担っていると考えられている。 ミニバッチによるSGDの平均と共分散構造を持つ雑音クラスは、同様の特性を持つことを示す。 また,M-SGDアルゴリズムの強い凸状態における収束の限界を定めている。
  論文  参考訳（メタデータ） (2021-12-14T02:25:43Z)
• Optimizing Information-theoretical Generalization Bounds via Anisotropic Noise in SGLD [73.55632827932101]
  SGLDにおけるノイズ構造を操作することにより,情報理論の一般化を最適化する。 低経験的リスクを保証するために制約を課すことで、最適なノイズ共分散が期待される勾配共分散の平方根であることを証明する。
  論文  参考訳（メタデータ） (2021-10-26T15:02:27Z)
• Stability of Stochastic Gradient Descent on Nonsmooth Convex Losses [52.039438701530905]
  任意のリプシッツ非平滑凸損失に対して,数種類の勾配勾配降下(SGD)に対して,鋭い上下境界を与える。 我々の限界は、極端に過剰な集団リスクを伴う、微分的にプライベートな非平滑凸最適化のための新しいアルゴリズムを導出することを可能にする。
  論文  参考訳（メタデータ） (2020-06-12T02:45:21Z)
• Non-Convex SGD Learns Halfspaces with Adversarial Label Noise [50.659479930171585]
  分布固有モデルにおいて,同種半空間の学習を代理する問題に対する解を示す。 任意の凸分布において、誤分類誤差は本質的にハーフスペースの誤分類誤差につながることを示す。
  論文  参考訳（メタデータ） (2020-06-11T18:55:59Z)
• The Heavy-Tail Phenomenon in SGD [7.366405857677226]
  最小損失のHessianの構造に依存すると、SGDの反復はエンフェビーテールの定常分布に収束する。 深層学習におけるSGDの行動に関する知見に分析結果を変換する。
  論文  参考訳（メタデータ） (2020-06-08T16:43:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。