論文の概要: Adam under Generalized Smoothness with Second-Moment-Type Stochastic Gradients

• arxiv url: http://arxiv.org/abs/2609.37787v1
• Date: Tue, 29 Sep 2026 15:19:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-30 21:28:47.673122
• Title: Adam under Generalized Smoothness with Second-Moment-Type Stochastic Gradients
• Title（参考訳）: 二次モーメント型確率勾配を持つ一般化滑らかなアダム
• Abstract要約: アダムは、目的が大域的な滑らかさから著しく逸脱した場合でも安定な状態にあることが広く観察されている。 本稿では,比較的一般的な条件下で肯定的な回答を与える。 高確率収束率を全範囲$p2$で保証し、信頼度は$-1/2$とする。
• 参考スコア（独自算出の注目度）: 21.496755166270912
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Adam is widely observed to remain stable even when the objective deviates significantly from global smoothness. Under the generalized smoothness framework, however, existing analyses rely on strong tail assumptions on the stochastic gradients, such as almost-sure boundedness or sub-Gaussianity. Whether Adam converges on generalized smooth objectives under only second moment information on the stochastic gradients, without such concentration assumptions, was identified as an important open direction by Li et al. (2023). This paper gives an affirmative answer under fairly general conditions: such tail assumptions are not necessary. Building on the Adam self-normalization framework of Jin et al. (2026), developed for classical smoothness and bounded variance, we extend the stopping-time and de-preconditioning strategy to the $L_0$-$L_p$ generalized smoothness condition and a generalized second moment ABC condition. Even when the stochastic-gradient condition provides only second moment information that may grow along the trajectory, the stochastic trajectory of Adam remains in a locally well-behaved smoothness region, with stretched-exponential tail decay under bounded variance and global smoothness. Consequently, we establish high-probability convergence rate guarantees over the full range $p<2$, with confidence dependence of order $δ^{-1/2}$, while the stepsize prefactor depends on $δ$ only through a single logarithmic factor. We further construct a hard instance showing that, under only second-moment information, this $δ^{-1/2}$-type confidence dependence is sharp. Finally, in the regime $p<1$, we combine the trajectory control with polynomial-growth estimates on rare events to obtain convergence rate guarantees in expectation.
• Abstract（参考訳）: アダムは、目的が大域的な滑らかさから著しく逸脱した場合でも安定な状態にあることが広く観察されている。 しかし、一般化された滑らかさの枠組みの下では、既存の解析は、ほとんど余剰有界性やガウス以下の準ガウス性のような確率勾配の強い尾の仮定に依存している。 アダムが一般の滑らかな対象に収束するかどうかは、そのような濃度の仮定なしに、確率勾配についての2番目のモーメント情報しか持たないが、Li et al (2023) によって重要な開方向として同定された。 本稿では、比較的一般的な条件下で肯定的な答えを与える:そのような尾の仮定は不要である。 古典的滑らかさと有界分散のために開発されたJin et al(2026)のAdam自己正規化フレームワークに基づいて、停止時間と非前提戦略を、一般化された滑らか度条件と一般化された第2モーメントABC条件に拡張する。 確率的勾配条件が軌道に沿って成長する可能性のある第2モーメント情報のみを与えるとしても、アダムの確率的軌道は局所的に良好な滑らかさ領域に留まり、有界な分散と大域的な滑らかさの下で伸張された指数的尾崩壊が生じる。 したがって、次数$δ^{-1/2}$の信頼度を持つ完全範囲$p<2$に対して高確率収束率を保証し、一方、ステップ化プレファクタは1つの対数係数を通してのみ$δ$に依存する。 さらに、第2モーメント情報のみの下で、この$δ^{-1/2}$型信頼依存が鋭いことを示すハードケースを構築した。 最後に、規則$p<1$では、軌道制御と希少事象の多項式成長推定を組み合わせ、期待される収束率の保証を得る。

関連論文リスト

• SGD with Dependent Data: Optimal Estimation, Regret, and Inference [3.038061705362137]
  勾配降下 (SGD) は, 広範囲の段階的スケジュールと探索率スキームの下で, 独立情報と依存情報の両方に対応できることが示されている。 SGDは統計的に最適な推定誤差と後悔を同時に達成し,既存の結果を拡張し,改善することを示す。 オンラインのスパースレグレッションのために、我々はSGDベースの新しいアルゴリズムを開発し、ストレージの$d$のみを使用し、1イテレーションあたり$O(d)$フロップを必要とする。
  論文  参考訳（メタデータ） (2026-01-04T04:52:11Z)
• Stopping Rules for Stochastic Gradient Descent via Anytime-Valid Confidence Sequences [51.56484100374058]
  凸最適化のための勾配降下(SGD)の停止規則について検討した。 我々は、投影されたSGDの重み付き平均準最適度に対して、任意の有意、データ依存の高信頼シーケンスを開発する。 これらは、厳格でタイムユニフォームなパフォーマンス保証と、有限時間$varepsilon$-optimality証明書である。
  論文  参考訳（メタデータ） (2025-12-15T09:26:45Z)
• Convergence Analysis of SGD under Expected Smoothness [7.2620484413601325]
  勾配降下(SGD)は大規模学習の成果であるが、古典的な分析は強すぎる(有界な分散)か粗い(一様雑音)のどちらかの仮定に依存している。 期待滑らか性(ES)条件は、目標値と全勾配に勾配の第2モーメントを結びつけるフレキシブルな代替手段として現れている。
  論文  参考訳（メタデータ） (2025-10-23T14:39:57Z)
• High Probability Convergence of Adam Under Unbounded Gradients and Affine Variance Noise [4.9495085874952895]
  我々はAdamが高い確率で定常点に収束できることを示し、$mathcalOleft(rm poly(log T)/sqrtTright)$を座標ワイドな「アフィン」ノイズ分散の下で表す。 また、Adamの閉包は$mathcalOleft(rm poly(left T)right)$の順序でノイズレベルに適応していることも明らかにされている。
  論文  参考訳（メタデータ） (2023-11-03T15:55:53Z)
• Convergence of Adam Under Relaxed Assumptions [72.24779199744954]
  我々は、アダムがより現実的な条件下で、$O(epsilon-4)$勾配複雑性で$epsilon$-定常点に収束することを示している。 また、Adamの分散還元版を$O(epsilon-3)$の加速勾配複雑性で提案する。
  論文  参考訳（メタデータ） (2023-04-27T06:27:37Z)
• Benign Underfitting of Stochastic Gradient Descent [72.38051710389732]
  本研究では,適切な学習データを得ることで,一般化性能を実現する「従来型」学習ルールとして,勾配降下度(SGD)がどの程度理解されるかを検討する。 類似現象が起こらない近縁な交換SGDを解析し、その集団リスクが実際に最適な速度で収束することを証明する。
  論文  参考訳（メタデータ） (2022-02-27T13:25:01Z)
• High-probability Bounds for Non-Convex Stochastic Optimization with Heavy Tails [55.561406656549686]
  我々は、勾配推定が末尾を持つ可能性のある一階アルゴリズムを用いたヒルベルト非最適化を考える。 本研究では, 勾配, 運動量, 正規化勾配勾配の収束を高確率臨界点に収束させることと, 円滑な損失に対する最もよく知られた繰り返しを示す。
  論文  参考訳（メタデータ） (2021-06-28T00:17:01Z)
• Convergence Rates of Stochastic Gradient Descent under Infinite Noise Variance [14.06947898164194]
  ヘビーテールは様々なシナリオで勾配降下 (sgd) で現れる。 SGDの収束保証は、潜在的に無限のばらつきを持つ状態依存性および重尾ノイズ下で提供します。 その結果,SGDは無限に分散した重尾雑音下であっても,地球最適値に収束できることが示された。
  論文  参考訳（メタデータ） (2021-02-20T13:45:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。