論文の概要: The Convergence Behavior of Adam under Heavy-Tailed Noise

• arxiv url: http://arxiv.org/abs/2607.27383v2
• Date: Sun, 02 Aug 2026 16:57:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-04 15:07:24.061844
• Title: The Convergence Behavior of Adam under Heavy-Tailed Noise
• Title（参考訳）: 重音下におけるアダムの収束挙動
• Authors: Yijiang Pang,
• Abstract要約: 重み付き雑音下での素ベクトル形式Adamに対する最初の収束保証を確立する。 我々は、Adamが重み付き雑音の下で$(,)$定常点に収束することを示している。
• 参考スコア（独自算出の注目度）: 1.7344431802333924
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We establish the first convergence guarantees for the plain vector-form Adam optimizer under heavy-tailed stochastic noise. While several Adam variants are known to achieve optimal iteration complexity in bounded-variance nonsmooth nonconvex optimization, little is understood about their behavior when stochastic gradients admit only a bounded $p$-th central moment for some $p \in (1,2]$, a setting increasingly observed in modern deep learning. To address this gap, we generalize the recent online-to-nonconvex conversion framework to accommodate heavy-tailed martingale-difference noise. Building on this generalized framework, we develop a discounted regret analysis for Adam, without restrictive parameter coupling. Our results show that Adam converges to $(ρ,ε)$-stationary points under heavy-tailed noise. However, it exhibits a suboptimal iteration complexity and $p$-dependent convergence, a suboptimality that persists even in the bounded-variance case ($p=2$). Specifically, the $ε$-dominant term in the iteration complexity for reaching in-expectation stationarity is $T=\mathrm{O}\left(Δρ^{1/2}(G+σ)^{\frac{5p}{3p-4}}ε^{-\left(\frac{5p}{3p-4}+\frac{3}{2}\right)}\right)$ for $p\in(\frac{4}{3},2]$, which simplifies to $T=\mathrm{O}(ε^{-13/2})$ when $p=2$. When the domain radius is known and used to control the online-learner output, a standard setup in related literature, the convergence rate improves to match the optimal complexity. In this case, the $ε$-dominant iteration complexity is $T=\mathrm{O}\left(Δρ^{1/2}(G+σ)^{\frac{p}{p-1}}ε^{-\left(\frac{p}{p-1}+\frac{3}{2}\right)}\right)$ for $p\in(1,2]$, which simplifies to $T=\mathrm{O}(ε^{-7/2})$ when $p=2$. These findings provide new theoretical insight into the robustness and limitations of Adam in heavy-tailed regimes.
• Abstract（参考訳）: 重み付き確率雑音下での素ベクトル形式Adamオプティマイザに対する最初の収束保証を確立する。 いくつかのアダム変種は、有界分散非滑らかな非凸最適化において最適な反復複雑性を達成することが知られているが、確率勾配が、ある$p \in (1,2]$に対して有界な$p$-th中心モーメントしか持たない場合の振る舞いについてはほとんど理解されていない。 このギャップに対処するため、近年のオンライン-非凸変換フレームワークを一般化し、重み付きマーチンゲール差雑音に対応する。 この一般化された枠組みに基づいて、制限的パラメータ結合を伴わずに、Adam の離散的後悔分析を開発する。 以上の結果から,Adamは重尾雑音下において$(ρ,ε)$-定常点に収束することが示唆された。 しかし、超最適反復複雑性と$p$依存収束(英語版)(suboptimality)は、有界分散の場合(p=2$)でも持続する。 具体的には、反復複雑性における$ε$-dominant項は、$T=\mathrm{O}\left(Δρ^{1/2}(G+σ)^{\frac{5p}{3p-4}}ε^{-\left(\frac{5p}{3p-4}+\frac{3}{2}\right)}\right)$ for $p\in(\frac{4}{3},2]$であり、$T=\mathrm{O}(ε^{-13/2})$は$p=2$である。 ドメイン半径が知られ、関連する文献の標準設定であるオンライン・ラーナー出力を制御するために使用されると、収束速度は最適な複雑さに合うように改善される。 この場合、$ε$優位反復複雑性は$T=\mathrm{O}\left(Δρ^{1/2}(G+σ)^{\frac{p}{p-1}}ε^{-\left(\frac{p}{p-1}+\frac{3}{2}\right)}\right)$ for $p\in(1,2]$であり、$T=\mathrm{O}(ε^{-7/2})$は$p=2$である。 これらの発見は、重い尾を持つ体制におけるアダムの頑丈さと限界に関する新たな理論的洞察を与える。

関連論文リスト

• Convergence Guarantees for RMSProp and Adam in Generalized-smooth Non-convex Optimization with Affine Noise Variance [23.112775335244258]
  我々はまず,適応学習率を持つAdamの特殊なケースであるRMSPropを分析する。 我々は、勾配ノルムの関数でもある降下補題において、新しい上界一階項を開発する。 RMSPropとAdamの両者の結果は、citearvani2023lowerで確立された複雑さと一致した。
  論文  参考訳（メタデータ） (2024-04-01T19:17:45Z)
• High Probability Convergence of Adam Under Unbounded Gradients and Affine Variance Noise [4.9495085874952895]
  我々はAdamが高い確率で定常点に収束できることを示し、$mathcalOleft(rm poly(log T)/sqrtTright)$を座標ワイドな「アフィン」ノイズ分散の下で表す。 また、Adamの閉包は$mathcalOleft(rm poly(left T)right)$の順序でノイズレベルに適応していることも明らかにされている。
  論文  参考訳（メタデータ） (2023-11-03T15:55:53Z)
• Closing the Gap Between the Upper Bound and the Lower Bound of Adam's Iteration Complexity [51.96093077151991]
  我々はAdamの新しい収束保証を導出し、$L$-smooth条件と有界雑音分散仮定のみを導出する。 本証明は,運動量と適応学習率の絡み合いを扱うために,新しい手法を利用する。
  論文  参考訳（メタデータ） (2023-10-27T09:16:58Z)
• Convergence of Adam Under Relaxed Assumptions [72.24779199744954]
  我々は、アダムがより現実的な条件下で、$O(epsilon-4)$勾配複雑性で$epsilon$-定常点に収束することを示している。 また、Adamの分散還元版を$O(epsilon-3)$の加速勾配複雑性で提案する。
  論文  参考訳（メタデータ） (2023-04-27T06:27:37Z)
• A Novel Convergence Analysis for Algorithms of the Adam Family [105.22760323075008]
  本稿ではAdam, AMSGrad, AdaboundなどのAdamスタイルの手法群に対する収束の一般的な証明を示す。 我々の分析は非常に単純で汎用的なので、より広範な非構成最適化問題の族を解くための収束を確立するために利用することができる。
  論文  参考訳（メタデータ） (2021-12-07T02:47:58Z)
• A Simple Convergence Proof of Adam and Adagrad [74.24716715922759]
  我々はAdam Adagradと$O(d(N)/st)$アルゴリズムの収束の証明を示す。 Adamはデフォルトパラメータで使用する場合と同じ収束$O(d(N)/st)$で収束する。
  論文  参考訳（メタデータ） (2020-03-05T01:56:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。