論文の概要: Last-Iterate Convergence of Clipped SGD with Linear Decay
- arxiv url: http://arxiv.org/abs/2610.18555v1
- Date: Tue, 13 Oct 2026 15:29:42 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-16 20:46:20.92073
- Title: Last-Iterate Convergence of Clipped SGD with Linear Decay
- Title（参考訳）: 線形減衰を有するクラッピングSGDのLon-Iterate Convergence
- Abstract要約: 重み付き雑音下でのクリッピング勾配降下の最終点収束について検討した。
非平滑な複合目的と、近位更新を伴う滑らかな複合目標に対する最終保証を確立する。
- 参考スコア（独自算出の注目度）: 28.92040284704949
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In this paper, we study the last-iterate convergence of clipped stochastic gradient descent under heavy-tailed noise. We assume that the stochastic gradients are unbiased and that the noise has a bounded central $p$-th moment, where $1<p\le2$. For smooth convex objectives, a linearly decreasing learning rate gives a high-probability error bound of order $O(LR^2\log(1/δ)/T+σR(\log(1/δ)/T)^{(p-1)/p})$. We further establish last-iterate guarantees for nonsmooth composite objectives and smooth composite objectives with proximal updates. In addition, when a causal adversary replaces at most $q$ gradients, the same clipped update achieves a bound with $\log(1/δ)$ replaced by $\log(1/δ)+q$. The corresponding lower bounds for the clean and corrupted oracle models are also provided.
- Abstract（参考訳）: 本稿では,重み付き雑音下での切り裂かれた確率勾配勾配の終点収束について検討する。
確率勾配は偏りがなく、ノイズは1<p\le2$となるような中心的な$p$-第1モーメントを持つと仮定する。
滑らかな凸対象に対して、線形に減少する学習速度は、$O(LR^2\log(1/δ)/T+σR(\log(1/δ)/T)^{(p-1)/p})$の高確率誤差境界を与える。
さらに、非滑らかな複合目的と、近位更新を伴う滑らかな複合目標について、最終的保証を確立する。
さらに、因果敵が少なくとも$q$グラデーションを置き換えると、同じクリップされた更新が$\log(1/δ)$でバウンドされ、$\log(1/δ)+q$に置き換えられる。
クリーンで破損したオラクルモデルに対する対応する下限も提供される。
関連論文リスト
- Convergence Analysis of STORM Under Different Geometries [54.00747543528431]
分散低減効果により,STORMは非最適化のための高速収束を実現することを示す。
すべての結果は同じです。
同じ選択をしました
論文 参考訳（メタデータ） (2026-10-01T12:46:42Z) - Clipped or Unclipped? Finite-Sample Trade-offs for Averaged SGD under Heavy-Tailed Noise [66.13091490213743]
グラディエントクリッピングはトレーニングを安定させるために広く用いられているが、平均的なSGDの統計的精度を改善する必要はない。
有限条件の$p$-th モーメント,$pge2$ の条件下で, クリッピングおよび非クリッピングのPolyak-Ruppert平均 SGD の比較を導出した。
我々の主な結果は、$p>2$の場合、ガウス項が未開偏差境界を独占する明確な精度と信頼条件を与える。
論文 参考訳（メタデータ） (2026-09-26T21:47:14Z) - Ordinary Nonconvex SGD under Distance-Dependent Moments: Finite-Horizon Stationarity and Nagaev Bounds [1.6582968942719265]
一様雑音-モーメンタリティ境界は、距離によって変動が増加する勾配を除外する。
直接降下すると、スムーズな転位引数が3エプシロン6$を回復する。
局所化半径は、非レート仮定、クリッピング正規化、運動量、バッチサイズの増加といった境界から導かれる。
論文 参考訳（メタデータ） (2026-09-24T19:37:07Z) - Convergence of Stochastic Gradient Methods under Heavy-Tailed Noise and Hölder Smoothness [0.0]
我々は勾配クリッピング(G-Clip)を分析し、上述のレートをge1+s$で回収する一方、非常に重く細い体制では1+s$で回収することを示した。
論文 参考訳（メタデータ） (2026-09-11T12:40:43Z) - Constrained Online Learning with Noisy Constraint Values [55.29259818039367]
一般的な実現可能性の下では、我々のLEDGERアルゴリズムは、期待される損失$O(sqrt T)と期待される予算違反$O(sqrtTlog(eT))を達成します。
スレーター条件、フィードバックチャネル間の独立性、絶対的制約値境界は不要である。
論文 参考訳（メタデータ） (2026-09-07T01:38:41Z) - When Does $\ell_2$-Boosting Overfit Benignly? High-Dimensional Risk Asymptotics and the $\ell_1$ Implicit Bias [15.113649527486276]
良性オーバーフィッティングが線形レートで失敗することを示します。
この局所化機構は信号の存在下で持続するべきであるが、正確な信号-雑音分解は未解決の問題である。
論文 参考訳（メタデータ） (2026-05-07T14:14:09Z) - Fast Last-Iterate Convergence of SGD in the Smooth Interpolation Regime [26.711510824243803]
本研究では, 最適騒音が0または0に近い政権において, 円滑な凸目標に対する勾配降下(SGD)の集団収束保証について検討した。
十分に調整されたステップサイズでは、最後の繰り返しに対してほぼ最適な$widetildeO (1/T + sigma_star/sqrtT)$レートを得る。
論文 参考訳（メタデータ） (2025-07-15T12:52:47Z) - From Continual Learning to SGD and Back: Better Rates for Continual Linear Models [50.11453013647086]
以前見られたタスクの損失を、$k$の繰り返しの後、忘れること、すなわち、分析する。
実現可能な最小二乗の設定において、新しい最上界を創出する。
我々は、タスクを繰り返しないランダム化だけで、十分に長いタスクシーケンスで破滅的な事態を防げることを初めて証明した。
論文 参考訳（メタデータ） (2025-04-06T18:39:45Z) - A Simple Convergence Proof of Adam and Adagrad [74.24716715922759]
我々はAdam Adagradと$O(d(N)/st)$アルゴリズムの収束の証明を示す。
Adamはデフォルトパラメータで使用する場合と同じ収束$O(d(N)/st)$で収束する。
論文 参考訳（メタデータ） (2020-03-05T01:56:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。