論文の概要: Why Clipping Matters in AdaGrad? Toward a High-Probability Theory under Generalized Smoothness

• arxiv url: http://arxiv.org/abs/2609.30276v1
• Date: Wed, 12 Aug 2026 12:16:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-05 14:48:16.116901
• Title: Why Clipping Matters in AdaGrad? Toward a High-Probability Theory under Generalized Smoothness
• Title（参考訳）: なぜAdaGradのクリーピングが問題になるのか? 一般化された平滑性の下での高確率理論に向けて
• Abstract要約: 難治性AdaGradは重み付き雑音下での幻覚的誤校正が可能であることを示す。 我々の主な成果は、元々のAdaGrad更新に対する有限水平高確率保証である。
• 参考スコア（独自算出の注目度）: 4.713346234141295
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We analyze the original same-step coordinate-wise AdaGrad under generalized smoothness and heavy-tailed noise with bounded variance. In this setting, local curvature may grow sub-quadratically with the gradient norm, and stochastic gradients are assumed to have only bounded conditional second moments. We show that unclipped AdaGrad can become \emph{anisotropically miscalibrated}: under heavy-tailed noise, the adaptive denominator can learn the geometry of rare noise shocks rather than the local curvature of the objective, leading to a persistent directional distortion that blocks finite-horizon Euclidean progress. We then prove that clipping repairs this failure mode. Our main result is a finite-horizon high-probability guarantee for the original non-lagged AdaGrad update, yielding $\frac1T\sum_{t=0}^{T-1}\|\nabla f(x_t)\|^2=\mathcal{O}\left(\frac{d\big(\sqrt{\log T} + \log \frac{1}δ\big)}{\sqrt{T}}\right),$ and hence $\widetilde{\mathcal O}(\varepsilon^{-2})$ complexity. This shows that, for AdaGrad under heavy-tailed noise, clipping is a structural stabilizer of the adaptive geometry rather than merely a robustness heuristic.
• Abstract（参考訳）: 一般化された滑らかさと重み付き雑音下でのアダグラッドの原位置座標を有界分散で解析する。 この設定では、局所曲率は勾配ノルムと準四分的に成長し、確率勾配は条件付き第二モーメントのみを持つと仮定される。 重み付き雑音下では、適応分母は目的の局所曲率よりも稀なノイズショックの幾何学を学習することができ、有限水平ユークリッドの進行を妨害する永続的な方向歪みをもたらす。 そして、クリッピングがこの障害モードを修復することを証明します。 我々の主な結果は、元々の非ラグな AdaGrad 更新に対する有限ホリゾン高確率保証であり、$\frac1T\sum_{t=0}^{T-1}\|\nabla f(x_t)\|^2=\mathcal{O}\left(\frac{d\big(\sqrt{\log T} + \log \frac{1}δ\big)}{\sqrt{T}}\right),$$$\widetilde{\mathcal O}(\varepsilon^{-2}) である。 これは、AdaGradが重み付き雑音の下では、クリッピングは単に頑健なヒューリスティックというよりは適応幾何学の構造的安定化であることを示している。

関連論文リスト

• Revisiting AdaGrad in Stochastic Convex Optimization: Last Iterates, High Probability, and Lower Bounds [5.603202398374589]
  AdaGrad-Norm と AdaGrad はガウス以下の雑音や有界反復の下でも、普遍的テクスブフラスト定位率を認めないことを示す。 また、この$log T$損失は、有界条件が課されると消えることを示す。
  論文  参考訳（メタデータ） (2026-09-26T15:48:40Z)
• Self-Normalized Martingales and Uniform Regret Bounds for Linear Regression [65.82017723631897]
  自己正規化マルティンガレのスケール不変上界が可能であることを示す。 通常の正規化ペナルティを含まない自己正規化濃度不等式を導出する。
  論文  参考訳（メタデータ） (2026-05-02T22:39:00Z)
• Nonconvex Stochastic Optimization under Heavy-Tailed Noises: Optimal Convergence without Gradient Clipping [21.865728815935665]
  重み付き雑音下での最初の収束を提供するが、切断はしない。 また、テールインデックス$mathfrakp$が事前に不明な場合には、最初の$mathcalO(Tfrac1-mathfrakp3mathfrakp-2)$収束率も設定する。
  論文  参考訳（メタデータ） (2024-12-27T08:46:46Z)
• Provable Complexity Improvement of AdaGrad over SGD: Upper and Lower Bounds in Stochastic Non-Convex Optimization [18.47705532817026]
  適応勾配法は、最も成功したニューラルネットワークトレーニングアルゴリズムの一つである。 これらの手法は凸SGD-ノルマリティよりも次元依存性が優れていることが知られている。 本稿では,構造物の滑らかさと勾配雑音の分散に関する新しい仮定を紹介する。
  論文  参考訳（メタデータ） (2024-06-07T02:55:57Z)
• Breaking the Heavy-Tailed Noise Barrier in Stochastic Optimization Problems [56.86067111855056]
  構造密度の重み付き雑音によるクリップ最適化問題を考察する。 勾配が有限の順序モーメントを持つとき、$mathcalO(K-(alpha - 1)/alpha)$よりも高速な収束率が得られることを示す。 得られた推定値が無視可能なバイアスと制御可能な分散を持つことを示す。
  論文  参考訳（メタデータ） (2023-11-07T17:39:17Z)
• Optimal Extragradient-Based Bilinearly-Coupled Saddle-Point Optimization [116.89941263390769]
  滑らかな凸凹凸結合型サドル点問題, $min_mathbfxmax_mathbfyF(mathbfx) + H(mathbfx,mathbfy)$ を考える。 漸進的勾配指数(AG-EG)降下指数アルゴリズムについて述べる。
  論文  参考訳（メタデータ） (2022-06-17T06:10:20Z)
• High Probability Bounds for a Class of Nonconvex Algorithms with AdaGrad Stepsize [55.0090961425708]
  本研究では,AdaGradのスムーズな非確率問題に対する簡易な高確率解析法を提案する。 我々はモジュラーな方法で解析を行い、決定論的設定において相補的な$mathcal O (1 / TT)$収束率を得る。 我々の知る限りでは、これは真に適応的なスキームを持つAdaGradにとって初めての高い確率である。
  論文  参考訳（メタデータ） (2022-04-06T13:50:33Z)
• Agnostic Learning of Halfspaces with Gradient Descent via Soft Margins [92.7662890047311]
  勾配降下は、分類誤差$tilde O(mathsfOPT1/2) + varepsilon$ in $mathrmpoly(d,1/varepsilon)$ time and sample complexity.
  論文  参考訳（メタデータ） (2020-10-01T16:48:33Z)
• Fast Dimension Independent Private AdaGrad on Publicly Estimated Subspaces [24.52697154861819]
  AdaGradは、従来のAdaGradに匹敵する後悔と、ノイズによるよく制御された用語を達成していることを示す。 我々は制約付きおよび制約なしの最小化において一般凸関数で操作する。
  論文  参考訳（メタデータ） (2020-08-14T20:46:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。