論文の概要: Central limit theorem for the averaged Adam optimizer

• arxiv url: http://arxiv.org/abs/2606.21433v1
• Date: Fri, 19 Jun 2026 13:49:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-25 13:26:53.704666
• Title: Central limit theorem for the averaged Adam optimizer
• Title（参考訳）: 平均化アダムオプティマイザに対する中心極限定理
• Authors: Steffen Dereich, Arnulf Jentzen,
• Abstract要約: 我々は、特に収束の速度を正確に定量化する中心極限定理を提供する。 収束の順序はアルゴリズムのステップ数において$n-1/2$である。
• 参考スコア（独自算出の注目度）: 2.105564340986074
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this article, we analyse convergence of the averaged Adam optimizer to an attracting zero of the Adam vector field. We provide a central limit theorem that, in particular, quantifies exactly the speed of convergence. The order of convergence is $n^{-1/2}$ in the number of steps of the algorithm which coincides with the order observed for classical stochastic approximation algorithms. The covariance in the central limit theorem is given in terms of properties of the Adam algorithm in the state of the attractor.
• Abstract（参考訳）: 本稿では、平均化されたアダムオプティマイザの収束度をアダムベクトル場の誘引零度に解析する。 我々は、特に収束の速度を正確に定量化する中心極限定理を提供する。 収束の順序は、古典確率近似アルゴリズムで観測された順序と一致するアルゴリズムのステップ数において$n^{-1/2}$である。 中心極限定理の共分散は、誘引子の状態におけるアダムアルゴリズムの特性の観点から与えられる。

関連論文リスト

• Finite-Sample Wasserstein Error Bounds and Concentration Inequalities for Nonlinear Stochastic Approximation [6.800624963330628]
  ワッサーシュタイン-$p$距離における非線形近似アルゴリズムの非漸近誤差境界を導出する。 正規化された最後の繰り返しは、$p$-ワッサーシュタイン距離のガウス分布に階数$_n1/6$で収束することを示し、$_n$はステップサイズである。 これらの分布保証は、モーメント境界やマルコフの不等式から得られるものより改善される高確率濃度の不等式を暗示する。
  論文  参考訳（メタデータ） (2026-02-02T18:41:06Z)
• Nonasymptotic CLT and Error Bounds for Two-Time-Scale Stochastic Approximation [12.69327994479157]
  We consider linear two-time-scale approximation algorithm driven by martingale noise。 我々は、PolyakRuppert平均化を用いた2時間スケール近似のためのワッサーシュタイン-1距離に関する最初の漸近的中心極限定理を導出した。
  論文  参考訳（メタデータ） (2025-02-14T03:20:30Z)
• Convergence of Adam for Non-convex Objectives: Relaxed Hyperparameters and Non-ergodic Case [0.0]
  本稿では,バニラ・アダムの収束と非エルゴード収束の課題について考察する。 これらの発見は、非ゴーディック最適化問題を解くために、Adamの確固たる理論基盤を構築する。
  論文  参考訳（メタデータ） (2023-07-20T12:02:17Z)
• Convergence of Adam Under Relaxed Assumptions [72.24779199744954]
  我々は、アダムがより現実的な条件下で、$O(epsilon-4)$勾配複雑性で$epsilon$-定常点に収束することを示している。 また、Adamの分散還元版を$O(epsilon-3)$の加速勾配複雑性で提案する。
  論文  参考訳（メタデータ） (2023-04-27T06:27:37Z)
• Explicit Second-Order Min-Max Optimization: Practical Algorithms and Complexity Analysis [71.05708939639537]
  本研究では,非制約問題に対するグローバルなサドル点を求めるために,不正確なNewton型手法をいくつか提案し,解析する。 提案手法は,Sur分解の必要回数の$O(log(1/eps)$因子をシェービングすることで,既存のライン検索に基づくmin-max最適化を改善する。
  論文  参考訳（メタデータ） (2022-10-23T21:24:37Z)
• Non-asymptotic Convergence of Adam-type Reinforcement Learning Algorithms under Markovian Sampling [56.394284787780364]
  本稿では、ポリシー勾配(PG)と時間差(TD)学習の2つの基本RLアルゴリズムに対して、最初の理論的収束解析を行う。 一般の非線形関数近似の下では、PG-AMSGradは定常点の近傍に収束し、$mathcalO(log T/sqrtT)$である。 線形関数近似の下では、一定段階のTD-AMSGradは$mathcalO(log T/sqrtT)の速度で大域的最適化の近傍に収束する。
  論文  参考訳（メタデータ） (2020-02-15T00:26:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。