論文の概要: On the Convergence of Vanilla Adam under Heavy-Tailed Noise and Index Sampling

• arxiv url: http://arxiv.org/abs/2611.03201v1
• Date: Mon, 02 Nov 2026 14:26:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-06 05:47:56.255844
• Title: On the Convergence of Vanilla Adam under Heavy-Tailed Noise and Index Sampling
• Title（参考訳）: 重音・指数サンプリング下におけるバニラ・アダムの収束性について
• Abstract要約: 本稿では,バニラ・アダムの収束に及ぼすヘビーテールノイズの影響と指標サンプリングとの関係について述べる。 数値実験により,重み付き雑音の影響とバッチサイズの増加による計算的利点に関する理論的知見が得られた。
• 参考スコア（独自算出の注目度）: 7.2620484413601325
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Understanding how stochastic gradient noise affects the convergence of Adam is an important problem in stochastic optimization, particularly when the noise exhibits heavy-tailed behavior. In this paper, we investigate the convergence of vanilla Adam in both the expected risk and the empirical risk minimization, focusing on the effects of heavy-tailed noise and its relationship to index sampling. For the expected risk minimization, we establish convergence guarantees under Hölder smoothness and bounded $\mathfrak{p}$-th moment assumptions, allowing stochastic gradient noise with infinite variance. Our analysis provides explicit upper bounds on the expected squared gradient norm and shows that the iteration-dependent convergence term decays more slowly as $\mathfrak{p}$ decreases. For the empirical risk minimization, we establish asymptotic and non-asymptotic convergence guarantees and demonstrate that heavy-tailed population noise can deteriorate convergence bounds through dataset-dependent constants as the dataset size increases. Furthermore, under Lipschitz smoothness, we formulate multistage Adam with practical learning rate schedules and demonstrate that increasing batch sizes can reduce index-sampling noise and improve convergence guarantees and SFO complexity. Numerical experiments support our theoretical findings on the effects of heavy-tailed noise and the computational benefits of increasing batch sizes.
• Abstract（参考訳）: 確率勾配雑音がAdamの収束にどのように影響するかを理解することは、確率最適化において重要な問題である。 本稿では,バニラ・アダムの予測リスクと経験的リスク最小化の両面における収束性について検討する。 予測されるリスク最小化のために、Hölder の滑らかさと有界$\mathfrak{p}$-th moment の仮定の下で収束保証を確立する。 我々の解析は期待される2乗勾配ノルム上の明らかな上限を提供し、反復依存収束項は $\mathfrak{p}$ が減少するにつれてよりゆっくりと崩壊することを示す。 経験的リスク最小化のために、漸近的および非漸近的収束保証を確立するとともに、データセットサイズが大きくなるにつれて、重み付き集団ノイズがデータセット依存定数を介して収束境界を悪化させることを示す。 さらに,Lipschitzのスムーズさの下で,多段階Adamを実用的な学習率スケジュールで定式化し,バッチサイズの増加はインデックスサンプリングノイズを低減し,収束保証やSFOの複雑さを改善することを実証する。 数値実験により,重み付き雑音の影響とバッチサイズの増加による計算的利点に関する理論的知見が得られた。

関連論文リスト

• Muon Converges under Heavy-Tailed Noise: Nonconvex Hölder-Smooth Empirical Risk Minimization [8.579148218325168]
  Muon は、Stiefel 多様体に勾配を射影することでパラメータ更新を強制する最近の提案である。 さらに,ミュオンはミニバッチネスよりも早く収束することを示す。
  論文  参考訳（メタデータ） (2026-03-16T10:15:38Z)
• Stochastic Weakly Convex Optimization Under Heavy-Tailed Noises [55.43924214633558]
  本稿では,サブワイブルノイズとSsBCノイズの2種類のノイズに着目した。 これら2つのノイズ仮定の下では、凸最適化と滑らかな最適化の文脈において、SFOMの不規則および高確率収束が研究されている。
  論文  参考訳（メタデータ） (2025-07-17T16:48:45Z)
• Gradient Normalization Provably Benefits Nonconvex SGD under Heavy-Tailed Noise [60.92029979853314]
  重み付き雑音下でのグラディエントDescence(SGD)の収束を確実にする上での勾配正規化とクリッピングの役割について検討する。 我々の研究は、重尾雑音下でのSGDの勾配正規化の利点を示す最初の理論的証拠を提供する。 我々は、勾配正規化とクリッピングを取り入れた加速SGD変種を導入し、さらに重み付き雑音下での収束率を高めた。
  論文  参考訳（メタデータ） (2024-10-21T22:40:42Z)
• Breaking the Heavy-Tailed Noise Barrier in Stochastic Optimization Problems [56.86067111855056]
  構造密度の重み付き雑音によるクリップ最適化問題を考察する。 勾配が有限の順序モーメントを持つとき、$mathcalO(K-(alpha - 1)/alpha)$よりも高速な収束率が得られることを示す。 得られた推定値が無視可能なバイアスと制御可能な分散を持つことを示す。
  論文  参考訳（メタデータ） (2023-11-07T17:39:17Z)
• High Probability Convergence of Adam Under Unbounded Gradients and Affine Variance Noise [4.9495085874952895]
  我々はAdamが高い確率で定常点に収束できることを示し、$mathcalOleft(rm poly(log T)/sqrtTright)$を座標ワイドな「アフィン」ノイズ分散の下で表す。 また、Adamの閉包は$mathcalOleft(rm poly(left T)right)$の順序でノイズレベルに適応していることも明らかにされている。
  論文  参考訳（メタデータ） (2023-11-03T15:55:53Z)
• Clipped Stochastic Methods for Variational Inequalities with Heavy-Tailed Noise [64.85879194013407]
  単調なVIPと非単調なVIPの解法における信頼度に対数的依存を持つ最初の高確率結果が証明された。 この結果は光尾の場合で最もよく知られたものと一致し,非単調な構造問題に新鮮である。 さらに,多くの実用的な定式化の勾配雑音が重く,クリッピングによりSEG/SGDAの性能が向上することを示す。
  論文  参考訳（メタデータ） (2022-06-02T15:21:55Z)
• Optimizing Information-theoretical Generalization Bounds via Anisotropic Noise in SGLD [73.55632827932101]
  SGLDにおけるノイズ構造を操作することにより,情報理論の一般化を最適化する。 低経験的リスクを保証するために制約を課すことで、最適なノイズ共分散が期待される勾配共分散の平方根であることを証明する。
  論文  参考訳（メタデータ） (2021-10-26T15:02:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。