論文の概要: Last-Iterate Convergence Rate of Normalized Gradient Descent under Hölder Smoothness

• arxiv url: http://arxiv.org/abs/2610.06070v1
• Date: Mon, 05 Oct 2026 10:04:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-09 18:55:18.283307
• Title: Last-Iterate Convergence Rate of Normalized Gradient Descent under Hölder Smoothness
• Title（参考訳）: ヘルダーの平滑化下における正規化グラディエント発色における最終Iterate Convergence速度
• Abstract要約: 凸, $(,M_)$-Hlder-smooth 目的に対する正規化勾配勾配勾配の最終定値収束について検討した。 線形に減少するステップサイズは$mathcalObigl(T-(1+)/2bigr)$で、最良値/重み付き平均値の順序に一致する。
• 参考スコア（独自算出の注目度）: 19.54293832549439
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Normalized gradient descent is a widely studied adaptive optimization method. Most existing analyses focus on the best iterate or a weighted average of the iterates, whereas practical implementations typically return the last iterate. In this paper, we study the last-iterate convergence of normalized gradient descent for convex, $(ν,M_ν)$-Hölder-smooth objectives. For a constant stepsize, we establish an upper bound of $\mathcal{O}\bigl((\log^2(T)/T)^{(1+ν)/2}\bigr)$, which contains a logarithmic overhead relative to the known $\mathcal{O}\bigl(T^{-(1+ν)/2}\bigr)$ guarantees for the best and weighted-average iterates. For $ν= 0$, this overhead is known to be unavoidable. We complement this analysis with numerical results based on the performance estimation problem (PEP), investigating the finite-horizon worst-case behavior in the smooth setting and whether the logarithmic overhead reflects an intrinsic limitation of constant-step normalized gradient descent. We then show that a linearly decreasing stepsize yields a last-iterate guarantee of $\mathcal{O}\bigl(T^{-(1+ν)/2}\bigr)$, matching the order of the best-iterate/weighted-average guarantees without requiring knowledge of $ν$ and $M_ν$.
• Abstract（参考訳）: 正規化勾配降下法は適応最適化法として広く研究されている。 既存の分析のほとんどは、最も良いイテレーションや重み付けされたイテレーションの平均にフォーカスするが、実践的な実装は通常、最後のイテレーションを返す。 本稿では, 凸, $(ν, M_ν)$-Hölder-smooth 目的に対する正規化勾配降下の最終定値収束について検討する。 一定のステップサイズに対して、既知の$\mathcal{O}\bigl(T^{-(1+ν)/2}\bigr)$に対して対数的オーバーヘッドを含む$\mathcal{O}\bigl((\log^2(T)/T)^{(1+ν)/2}\bigr)$の上限を確立する。 ν= 0$ の場合、このオーバーヘッドは避けられないことが知られている。 この解析を性能推定問題 (PEP) に基づく数値計算で補完し、スムーズな設定における有限水平最悪のケース挙動と対数的オーバーヘッドが定段正規化勾配の内在的制限を反映しているかどうかを考察する。 すると、線形に減少するステップサイズは$\mathcal{O}\bigl(T^{-(1+ν)/2}\bigr)$の最終定値保証を、$ν$と$M_ν$の知識を必要とせず、最高の定値/重み付き平均保証の順序に一致することを示す。

関連論文リスト

• Convergence Analysis of STORM Under Different Geometries [54.00747543528431]
  分散低減効果により,STORMは非最適化のための高速収束を実現することを示す。 すべての結果は同じです。 同じ選択をしました
  論文  参考訳（メタデータ） (2026-10-01T12:46:42Z)
• New Bounds for the Last Iterate of the Stochastic subGradient Method [11.179752660122281]
  本稿では,1次元凸リプシッツ目標に対する下段法の最後の繰り返しについて検討する。 最後の繰り返しは1/sqrt n$の順序の最適化誤差を特徴とする。 i.d.仮定がなければ、最適化誤差は位数 $(log n)/sqrt n$ となる。
  論文  参考訳（メタデータ） (2026-06-23T17:55:18Z)
• Nonconvex Stochastic Optimization under Heavy-Tailed Noises: Optimal Convergence without Gradient Clipping [21.865728815935665]
  重み付き雑音下での最初の収束を提供するが、切断はしない。 また、テールインデックス$mathfrakp$が事前に不明な場合には、最初の$mathcalO(Tfrac1-mathfrakp3mathfrakp-2)$収束率も設定する。
  論文  参考訳（メタデータ） (2024-12-27T08:46:46Z)
• Gradient Compressed Sensing: A Query-Efficient Gradient Estimator for High-Dimensional Zeroth-Order Optimization [48.84672493756553]
  我々は,1ステップあたり$Obig(slogfrac dsbig)$クエリのみを使用する勾配のクエリ効率と精度の高い推定器を提案する。 Indyk-Price-Woodruff (IPW) アルゴリズムを線形測定から非線形関数への圧縮センシングにおいて一般化した。
  論文  参考訳（メタデータ） (2024-05-27T03:52:53Z)
• Optimal Extragradient-Based Bilinearly-Coupled Saddle-Point Optimization [116.89941263390769]
  滑らかな凸凹凸結合型サドル点問題, $min_mathbfxmax_mathbfyF(mathbfx) + H(mathbfx,mathbfy)$ を考える。 漸進的勾配指数(AG-EG)降下指数アルゴリズムについて述べる。
  論文  参考訳（メタデータ） (2022-06-17T06:10:20Z)
• The Convergence Rate of SGD's Final Iterate: Analysis on Dimension Dependence [2.512827436728378]
  Gradient Descent (SGD) は最適化において最も単純で一般的な手法の一つである。 定次元設定におけるSGDの最終点収束を特徴付ける方法を示す。
  論文  参考訳（メタデータ） (2021-06-28T11:51:04Z)
• High-probability Bounds for Non-Convex Stochastic Optimization with Heavy Tails [55.561406656549686]
  我々は、勾配推定が末尾を持つ可能性のある一階アルゴリズムを用いたヒルベルト非最適化を考える。 本研究では, 勾配, 運動量, 正規化勾配勾配の収束を高確率臨界点に収束させることと, 円滑な損失に対する最もよく知られた繰り返しを示す。
  論文  参考訳（メタデータ） (2021-06-28T00:17:01Z)
• Hybrid Stochastic-Deterministic Minibatch Proximal Gradient: Less-Than-Single-Pass Optimization with Nearly Optimal Generalization [83.80460802169999]
  HSDMPGは、学習モデル上で過大なエラーの順序である$mathcalObig(1/sttnbig)$を達成可能であることを示す。 損失係数について、HSDMPGは学習モデル上で過大なエラーの順序である$mathcalObig(1/sttnbig)$を達成できることを示す。
  論文  参考訳（メタデータ） (2020-09-18T02:18:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。