論文の概要: On the Last-Iterate Convergence of Clipped Gradient Methods
- arxiv url: http://arxiv.org/abs/2610.21026v1
- Date: Wed, 14 Oct 2026 23:46:40 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-16 19:13:16.105557
- Title: On the Last-Iterate Convergence of Clipped Gradient Methods
- Title（参考訳）: クラッピング勾配法の最後のIterate Convergenceについて
- Abstract要約: 重み付き雑音下では、$mathtClippedtext-mathttSGD$に対して、高い確率で最初の最適最終レートを証明した。
- 参考スコア（独自算出の注目度）: 3.8357180714081327
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In stochastic (strongly) convex optimization, establishing last-iterate convergence guarantees for first-order methods has recently garnered increasing attention, as this not only deepens the theoretical understanding of these algorithms but also aligns more closely with practice. Notably, people have demonstrated that one of the most famous, simple, and popular methods, Stochastic Gradient Descent ($\mathtt{SGD}$), provably achieves last-iterate convergence. However, the existing results may have limited applicability, since they typically rely on strong conditions on the gradient noise (e.g., an exponentially decaying tail) rather than the more realistic heavy-tailed noise. Unfortunately, when faced with heavy-tailed noise, $\mathtt{SGD}$ is known to exhibit undesirable behavior or even fail to converge. To address the challenge of heavy-tailed noise, people have proposed $\mathtt{Clipped}\text{-}\mathtt{SGD}$, an algorithm that combines $\mathtt{SGD}$ with a simple mechanism, gradient clipping. Although $\mathtt{Clipped}\text{-}\mathtt{SGD}$ performs well in practice, its last-iterate convergence property remains highly underexplored. In this work, we prove the first optimal last-iterate rates in high probability for $\mathtt{Clipped}\text{-}\mathtt{SGD}$ under heavy-tailed noise, thereby closing a gap in the literature.
- Abstract（参考訳）: 確率的(強く)凸最適化において、一階法における最終点収束保証を確立することは、近年注目を集めている。
特に、最も有名で単純で人気のある方法の1つ、Stochastic Gradient Descent(\mathtt{SGD}$)が、確実に最終段階の収束を達成することを示した。
しかし、既存の結果は、より現実的な重尾ノイズよりも、勾配ノイズ(例えば指数関数的に減衰する尾)に強い条件に依存するため、適用性に制限がある可能性がある。
残念なことに、重い尾のノイズに直面した場合、$\mathtt{SGD}$は望ましくない振る舞いを示すこと、あるいは収束に失敗することさえ知られている。
これは、$\mathtt{SGD}$と単純なメカニズム、勾配クリッピングを組み合わせたアルゴリズムである。
$\mathtt{Clipped}\text{-}\mathtt{SGD}$ は実際はよく機能するが、その最後の点収束性は非常に過小評価されている。
本研究では、重み付き雑音下での$\mathtt{Clipped}\text{-}\mathtt{SGD}$に対する高い確率における最初の最適最終定位率を証明し、文献のギャップを埋める。
関連論文リスト
- Can Adaptive Gradient Methods Converge under Heavy-Tailed Noise? A Case Study of AdaGrad [3.8357180714081327]
適応的勾配法は,アルゴリズム的な変化を伴わずに最小限の雑音を収束させることができることを示す。
また、重み付き最適化のための既存の minimax レートが $mathtAdaGrad$ では達成できないことを示し、既存の minimax レートが $mathtAdaGrad$ では達成できないことを示唆する。
論文 参考訳（メタデータ） (2026-05-18T17:30:15Z) - Nonconvex Stochastic Optimization under Heavy-Tailed Noises: Optimal Convergence without Gradient Clipping [21.865728815935665]
重み付き雑音下での最初の収束を提供するが、切断はしない。
また、テールインデックス$mathfrakp$が事前に不明な場合には、最初の$mathcalO(Tfrac1-mathfrakp3mathfrakp-2)$収束率も設定する。
論文 参考訳（メタデータ） (2024-12-27T08:46:46Z) - Breaking the Heavy-Tailed Noise Barrier in Stochastic Optimization Problems [56.86067111855056]
構造密度の重み付き雑音によるクリップ最適化問題を考察する。
勾配が有限の順序モーメントを持つとき、$mathcalO(K-(alpha - 1)/alpha)$よりも高速な収束率が得られることを示す。
得られた推定値が無視可能なバイアスと制御可能な分散を持つことを示す。
論文 参考訳（メタデータ） (2023-11-07T17:39:17Z) - Gradient-free optimization of highly smooth functions: improved analysis
and a new algorithm [87.22224691317766]
この研究は、目的関数が極めて滑らかであるという仮定の下で、ゼロ次ノイズオラクル情報による問題を研究する。
ゼロオーダー射影勾配勾配アルゴリズムを2種類検討する。
論文 参考訳（メタデータ） (2023-06-03T17:05:13Z) - Optimal Extragradient-Based Bilinearly-Coupled Saddle-Point Optimization [116.89941263390769]
滑らかな凸凹凸結合型サドル点問題, $min_mathbfxmax_mathbfyF(mathbfx) + H(mathbfx,mathbfy)$ を考える。
漸進的勾配指数(AG-EG)降下指数アルゴリズムについて述べる。
論文 参考訳（メタデータ） (2022-06-17T06:10:20Z) - High-probability Bounds for Non-Convex Stochastic Optimization with
Heavy Tails [55.561406656549686]
我々は、勾配推定が末尾を持つ可能性のある一階アルゴリズムを用いたヒルベルト非最適化を考える。
本研究では, 勾配, 運動量, 正規化勾配勾配の収束を高確率臨界点に収束させることと, 円滑な損失に対する最もよく知られた繰り返しを示す。
論文 参考訳（メタデータ） (2021-06-28T00:17:01Z) - ROOT-SGD: Sharp Nonasymptotics and Near-Optimal Asymptotics in a Single Algorithm [71.13558000599839]
第一次アルゴリズムを用いて,厳密な凸と滑らかな非制約最適化問題の解法について検討する。
我々は,過去の勾配を平均化し,実装が容易な小説「Recursive One-Over-T SGD」を考案した。
有限サンプル, 漸近感覚, 感覚の両面において, 最先端の性能を同時に達成できることを実証する。
論文 参考訳（メタデータ） (2020-08-28T14:46:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。