論文の概要: Convergence Analysis of SGD under Expected Smoothness
- arxiv url: http://arxiv.org/abs/2510.20608v2
- Date: Sun, 26 Oct 2025 02:53:43 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-10-28 13:14:10.631446
- Title: Convergence Analysis of SGD under Expected Smoothness
- Title（参考訳）: 平滑化が期待されるSGDの収束解析
- Authors: Yuta Kawamoto, Hideaki Iiduka,
- Abstract要約: 勾配降下(SGD)は大規模学習の成果であるが、古典的な分析は強すぎる(有界な分散)か粗い(一様雑音)のどちらかの仮定に依存している。
期待滑らか性(ES)条件は、目標値と全勾配に勾配の第2モーメントを結びつけるフレキシブルな代替手段として現れている。
- 参考スコア（独自算出の注目度）: 7.2620484413601325
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Stochastic gradient descent (SGD) is the workhorse of large-scale learning, yet classical analyses rely on assumptions that can be either too strong (bounded variance) or too coarse (uniform noise). The expected smoothness (ES) condition has emerged as a flexible alternative that ties the second moment of stochastic gradients to the objective value and the full gradient. This paper presents a self-contained convergence analysis of SGD under ES. We (i) refine ES with interpretations and sampling-dependent constants; (ii) derive bounds of the expectation of squared full gradient norm; and (iii) prove $O(1/K)$ rates with explicit residual errors for various step-size schedules. All proofs are given in full detail in the appendix. Our treatment unifies and extends recent threads (Khaled and Richt\'arik, 2020; Umeda and Iiduka, 2025).
- Abstract（参考訳）: 確率勾配降下(SGD)は、大規模学習の作業者であるが、古典的な分析は、強すぎる(有界な分散)か粗い(一様雑音)のどちらかの仮定に依存している。
期待滑らか性(ES)条件は、確率的勾配の第2モーメントを目的値と全勾配に結びつけるフレキシブルな代替手段として登場した。
本稿では,ES下でのSGDの自己完結収束解析について述べる。
我が家
(i)解釈及びサンプリング依存定数でESを洗練すること。
(ii)正方形完全勾配ノルムの予想の有界性、及び
(iii)様々なステップサイズスケジュールに対して明示的な残差誤差で$O(1/K)$レートを証明します。
すべての証明は付録に詳しく記載されている。
我々の治療は最近のスレッド(Khaled and Richt\'arik, 2020; Umeda and Iiduka, 2025)を統一し拡張する。
関連論文リスト
- Stochastic Gradient Descent in Non-Convex Problems: Asymptotic Convergence with Relaxed Step-Size via Stopping Time Methods [13.677904140815386]
Gradient Descent (SGD) は機械学習の研究で広く使われている。
本稿では,より緩やかなステップサイズ条件下でのSGDの収束解析法を提案する。
論文 参考訳（メタデータ） (2025-04-17T02:56:20Z) - Faster Convergence of Stochastic Accelerated Gradient Descent under Interpolation [51.248784084461334]
我々はNesterov加速度アンダーホ条件の一般化版に対する新しい収束率を証明した。
本分析により, 従来の研究に比べて, 強い成長定数への依存度を$$$から$sqrt$に下げることができた。
論文 参考訳（メタデータ） (2024-04-03T00:41:19Z) - Breaking the Heavy-Tailed Noise Barrier in Stochastic Optimization Problems [56.86067111855056]
構造密度の重み付き雑音によるクリップ最適化問題を考察する。
勾配が有限の順序モーメントを持つとき、$mathcalO(K-(alpha - 1)/alpha)$よりも高速な収束率が得られることを示す。
得られた推定値が無視可能なバイアスと制御可能な分散を持つことを示す。
論文 参考訳（メタデータ） (2023-11-07T17:39:17Z) - Demystifying the Myths and Legends of Nonconvex Convergence of SGD [17.445810977264067]
勾配勾配勾配(SGD)とその変種は、大規模最適化問題の解法の主要な仕事場である。
分析として,勾配の非収束に関連する神話や伝説について考察した。
論文 参考訳（メタデータ） (2023-10-19T17:58:59Z) - Convergence and concentration properties of constant step-size SGD
through Markov chains [0.0]
定常段差勾配勾配(SGD)を用いた滑らかで強凸な目標の最適化について検討する。
緩やかに制御された分散を伴う不偏勾配推定に対して、反復は全変動距離の不変分布に収束することを示す。
全ての結果は無症状であり、その結果はいくつかのアプリケーションを通して議論されている。
論文 参考訳（メタデータ） (2023-06-20T12:36:28Z) - Convergence Rates of Stochastic Gradient Descent under Infinite Noise
Variance [14.06947898164194]
ヘビーテールは様々なシナリオで勾配降下 (sgd) で現れる。
SGDの収束保証は、潜在的に無限のばらつきを持つ状態依存性および重尾ノイズ下で提供します。
その結果,SGDは無限に分散した重尾雑音下であっても,地球最適値に収束できることが示された。
論文 参考訳（メタデータ） (2021-02-20T13:45:11Z) - Faster Convergence of Stochastic Gradient Langevin Dynamics for
Non-Log-Concave Sampling [110.88857917726276]
我々は,非log-concaveとなる分布のクラスからサンプリングするために,勾配ランゲヴィンダイナミクス(SGLD)の新たな収束解析を行う。
我々のアプローチの核心は、補助的時間反転型マルコフ連鎖を用いたSGLDのコンダクタンス解析である。
論文 参考訳（メタデータ） (2020-10-19T15:23:18Z) - Fine-Grained Analysis of Stability and Generalization for Stochastic
Gradient Descent [55.85456985750134]
我々は,SGDの反復的リスクによって制御される新しい境界を開発する,平均モデル安定性と呼ばれる新しい安定性尺度を導入する。
これにより、最良のモデルの振舞いによって一般化境界が得られ、低雑音環境における最初の既知の高速境界が導かれる。
我々の知る限りでは、このことはSGDの微分不能な損失関数でさえも初めて知られている安定性と一般化を与える。
論文 参考訳（メタデータ） (2020-06-15T06:30:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。