論文の概要: Almost Sure Convergence Analysis of Stochastic Gradient Methods with Clipping and Additive Noise

• arxiv url: http://arxiv.org/abs/2609.12119v2
• Date: Wed, 16 Sep 2026 15:48:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-20 08:55:53.383472
• Title: Almost Sure Convergence Analysis of Stochastic Gradient Methods with Clipping and Additive Noise
• Title（参考訳）: ゆらぎと付加音を伴う確率勾配法のほぼ確実に収束解析
• Abstract要約: 勾配クリッピングと付加雑音を伴う勾配降下(SGD)は、特に応用において機械学習訓練の標準技術となっている。 勾配クリップと付加雑音を持つSGDは、特に応用において、機械学習トレーニングの標準技術となっている。
• 参考スコア（独自算出の注目度）: 7.061954653503474
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Stochastic gradient descent (SGD) with gradient clipping and additive noise has become a standard technique for training machine learning models, particularly in applications requiring robustness or privacy guarantees. However, clipping introduces a bias in stochastic gradients, while additive noise introduces additional variance, making the long-run behaviour of individual optimization trajectories difficult to characterize. In this work, we prove that SGD with clipping and additive Gaussian noise (SGD-CN) converges almost surely (a.s.) under smoothness and uniformly bounded stochastic-gradient noise assumptions, provided the step sizes satisfy some standard decaying conditions. Our analysis extends to momentum variants such as the stochastic heavy ball and Nesterov's accelerated gradient, where we show that careful energy constructions yield similar guarantees. These results provide stronger theoretical foundations for understanding the pathwise behaviour of clipped stochastic gradient methods and suggest that, despite the bias and noise introduced by clipping and perturbation, the algorithm remains stable in both convex and nonconvex regimes.
• Abstract（参考訳）: 勾配クリッピングと付加雑音を伴う確率勾配降下(SGD)は、特に堅牢性やプライバシー保証を必要とするアプリケーションにおいて、機械学習モデルをトレーニングするための標準技術となっている。 しかし、クリッピングは確率勾配のバイアスをもたらし、加法ノイズはさらなる分散をもたらし、個々の最適化軌道の長期的挙動を特徴付けることは困難である。 本研究では, クリッピングおよび加法的ガウス雑音(SGD-CN)を伴うSGDが, 標準減衰条件を満たすステップサイズを条件として, 滑らかさと一様有界な確率勾配雑音仮定の下でほぼ確実に収束することを証明する。 我々の分析は、確率重球やネステロフの加速勾配のような運動量変化にまで拡張し、注意深いエネルギー構造が同様の保証をもたらすことを示した。 これらの結果は、クリッピング確率勾配法の経路的挙動を理解するための強力な理論基盤を提供し、クリッピングと摂動によってもたらされるバイアスとノイズにもかかわらず、このアルゴリズムは凸法と非凸法の両方で安定していることを示唆している。

関連論文リスト

• Robust Stochastic Gradient Posterior Sampling with Lattice Based Discretisation [20.44428092865608]
  MCMC法は拡張性のある後方サンプリングを可能にするが、しばしばミニバッチサイズや勾配ノイズに対する感度に悩まされる。 格子ランダムウォークの離散化の拡張であるグラディエントランダムウォーク(SGLRW)を提案する。
  論文  参考訳（メタデータ） (2026-02-17T18:09:49Z)
• Stability and Generalization of Nonconvex Optimization with Heavy-Tailed Noise [24.27538723361077]
  重み付き雑音下で境界を確立するための一般的な枠組みを開発する。 重み付き雑音下でのいくつかの人気アルゴリズムの安定性と一般化解析について述べる。
  論文  参考訳（メタデータ） (2026-01-27T15:50:57Z)
• Gradient Normalization Provably Benefits Nonconvex SGD under Heavy-Tailed Noise [60.92029979853314]
  重み付き雑音下でのグラディエントDescence(SGD)の収束を確実にする上での勾配正規化とクリッピングの役割について検討する。 我々の研究は、重尾雑音下でのSGDの勾配正規化の利点を示す最初の理論的証拠を提供する。 我々は、勾配正規化とクリッピングを取り入れた加速SGD変種を導入し、さらに重み付き雑音下での収束率を高めた。
  論文  参考訳（メタデータ） (2024-10-21T22:40:42Z)
• Breaking the Heavy-Tailed Noise Barrier in Stochastic Optimization Problems [56.86067111855056]
  構造密度の重み付き雑音によるクリップ最適化問題を考察する。 勾配が有限の順序モーメントを持つとき、$mathcalO(K-(alpha - 1)/alpha)$よりも高速な収束率が得られることを示す。 得られた推定値が無視可能なバイアスと制御可能な分散を持つことを示す。
  論文  参考訳（メタデータ） (2023-11-07T17:39:17Z)
• Convex and Non-convex Optimization Under Generalized Smoothness [69.69521650503431]
  凸法と非最適化法の分析は、しばしばリプシッツ勾配を必要とし、この軌道による解析を制限する。 最近の研究は、非一様滑らか性条件を通した勾配設定を一般化している。
  論文  参考訳（メタデータ） (2023-06-02T04:21:59Z)
• Clipped Stochastic Methods for Variational Inequalities with Heavy-Tailed Noise [64.85879194013407]
  単調なVIPと非単調なVIPの解法における信頼度に対数的依存を持つ最初の高確率結果が証明された。 この結果は光尾の場合で最もよく知られたものと一致し,非単調な構造問題に新鮮である。 さらに,多くの実用的な定式化の勾配雑音が重く,クリッピングによりSEG/SGDAの性能が向上することを示す。
  論文  参考訳（メタデータ） (2022-06-02T15:21:55Z)
• Revisiting the Characteristics of Stochastic Gradient Noise and Dynamics [25.95229631113089]
  勾配雑音は有限分散を持ち、したがって中央極限定理(CLT)が適用されることを示す。 次に、勾配降下の定常分布の存在を実証し、その分布を少ない学習速度で近似する。
  論文  参考訳（メタデータ） (2021-09-20T20:39:14Z)
• Differentiable Annealed Importance Sampling and the Perils of Gradient Noise [68.44523807580438]
  Annealed importance sample (AIS) と関連するアルゴリズムは、限界推定のための非常に効果的なツールである。 差別性は、目的として限界確率を最適化する可能性を認めるため、望ましい性質である。 我々はメトロポリス・ハスティングスのステップを放棄して微分可能アルゴリズムを提案し、ミニバッチ計算をさらに解き放つ。
  論文  参考訳（メタデータ） (2021-07-21T17:10:14Z)
• Stability and Convergence of Stochastic Gradient Clipping: Beyond Lipschitz Continuity and Smoothness [23.22461721824713]
  グラデーションクリッピングは、爆発グラデーション問題が発生しやすい問題のトレーニングプロセスを安定化させる技術です。 本稿では,非滑らか凸関数に対する勾配クリッピング(サブ)勾配法(SGD)の定性的および定量的な結果を確立する。 また,特殊ケースとしてSGDをクリップした運動量を用いたクリップ方式の収束性についても検討した。
  論文  参考訳（メタデータ） (2021-02-12T12:41:42Z)
• Stochastic Optimization with Heavy-Tailed Noise via Accelerated Gradient Clipping [69.9674326582747]
  そこで本研究では,重み付き分散雑音を用いたスムーズな凸最適化のための,クリップ付きSSTMと呼ばれる新しい1次高速化手法を提案する。 この場合、最先端の結果を上回る新たな複雑さが証明される。 本研究は,SGDにおいて,ノイズに対する光細かな仮定を伴わずにクリッピングを施した最初の非自明な高確率複雑性境界を導出した。
  論文  参考訳（メタデータ） (2020-05-21T17:05:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。