Fugu-MT 論文翻訳(概要): On the Convergence of Adam, Revisited

論文の概要: On the Convergence of Adam, Revisited

arxiv url: http://arxiv.org/abs/2607.03519v1
Date: Fri, 03 Jul 2026 17:45:56 GMT
ステータス: 翻訳完了
システム内更新日: 2026-07-07 22:26:29.638486
Title: On the Convergence of Adam, Revisited
Title（参考訳）: アダムの収束について
Abstract要約: 任意のモーメント減衰パラメータを持つオンライン最適化のためのAdamは、平均的後悔をゼロから切り離すことができることを示す。このゼロではない平均的後悔の結果は、アダムW、RMSProp、NAdam、Adan、AdaMax、Muonなどのアダム変種や、アダムの3周期傾斜のi.d.変種にまで及んでいる。
参考スコア（独自算出の注目度）: 2.1485350418225244
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: We show that projected Adam for online optimization with arbitrary moment decay parameters $β_1,β_2\in[0,1)$ can have average regret bounded away from zero. A similar result of Reddi-Kale-Kumar from 2018 required $β_1<\sqrt{β_2}$. Similar to their result, we use a three-periodic sequence of linear functions on $[-1,1]$ with slopes $c,-1,-1$, though we use $c$ slightly larger than $2$. This nonzero average regret result extends to Adam variants such as AdamW, RMSProp, NAdam, Adan, AdaMax, Muon, and to an i.i.d. variant of the three-periodic sequence of slopes for Adam.
Abstract（参考訳）: 任意のモーメント減衰パラメータが$β_1,β_2\in[0,1)$でオンライン最適化のためにAdamを投影すると、平均的後悔はゼロから逸脱する。 2018年のReddi-Kale-Kumarの同様の結果は、$β_1<\sqrt{β_2}$であった。それらの結果と同様、$[-1,1]$で3周期の線形関数列を使用し、$c,-1,-1$を持つが、$c$は$2よりわずかに大きい。このゼロではない平均的後悔の結果は、アダムW、RMSProp、NAdam、Adan、AdaMax、Muonなどのアダム変種や、アダムの3周期傾斜のi.d.変種にまで及んでいる。

関連論文リスト

Adam Converges Without Any Modification On Update Rules [24.855239154362895]
Adam氏は、大規模言語モデル(LLM)を含むニューラルネットワークをトレーニングするためのデフォルトのアルゴリズムである。 citetreddi 2019コンバージェンスは、Adam氏が多様化し、AIモデルトレーニングへの展開に対する懸念を提起した例である。
論文参考訳（メタデータ） (2026-03-02T17:08:51Z)
Implicit Bias of Per-sample Adam on Separable Data: Departure from the Full-batch Regime [26.492222550365735]
アダムは深層学習の事実上のデファクトであるが、理論的な理解は限られている。線形分離可能なデータに対するロジスティック回帰のために, インクリメンタルAdamの暗黙バイアス(ステップ毎に1つのサンプルを用いて)について検討した。我々は、Adam が $ell_infty$-max-margin に確実に収束する構造化データセットのクラスを構築する。
論文参考訳（メタデータ） (2025-10-30T09:41:33Z)
On the $O(\frac{\sqrt{d}}{K^{1/4}})$ Convergence Rate of AdamW Measured by $\ell_1$ Norm [52.95596504632859]
本稿では、$ell_1$ノルムで測定されたAdamWに対して、収束速度 $frac1Ksum_k=1KEleft[||nabla f(xk)||_1right]leq O(fracsqrtdCK1/4)$を確立する。結果は、二重モーメント機構を用いたAdamW変種であるNAdamWに拡張し、同じ収束率を維持していることを示す。
論文参考訳（メタデータ） (2025-05-17T05:02:52Z)
When Can You Get Away with Low Memory Adam? [48.30892531847662]
我々は、$textitSlimAdam$がAdamのパフォーマンスと安定性にマッチし、合計2回目で98%のコストを節約できることを示します。 code for $textitSlimAdam$はhttps://github.com/dayal-kalra/low-Memory-adamで入手できる。
論文参考訳（メタデータ） (2025-03-03T18:59:40Z)
ADOPT: Modified Adam Can Converge with Any $β_2$ with the Optimal Rate [21.378608502899077]
本稿では,ADOPTという新しい適応勾配法を提案する。これは,有界雑音の仮定に依存することなく,$mathcalOの最適収束率を実現する。 ADOPTは、画像分類、生成モデル、自然言語処理、深層強化学習など、幅広いタスクにおいて、Adamとその変種と比較して優れた結果が得られる。
論文参考訳（メタデータ） (2024-11-05T06:57:47Z)
Adam Can Converge Without Any Modification on Update Rules [24.575453562687095]
バニラ・アダムは依然として非常に人気があり、実際はうまく機能している。我々は、$beta$が大きければ、Adamは臨界点の近傍に収束することを示す。我々の発散結果は収束結果と同一の設定を考慮し、$beta$を増大させるときに発散から収束への相転移を示す。
論文参考訳（メタデータ） (2022-08-20T08:12:37Z)
Variance-Aware Confidence Set: Variance-Dependent Bound for Linear Bandits and Horizon-Free Bound for Linear Mixture MDP [76.94328400919836]
線形バンドイットと線形混合決定プロセス(mdp)に対する分散認識信頼セットの構築方法を示す。線形バンドイットに対しては、$d を特徴次元とする$widetildeo(mathrmpoly(d)sqrt1 + sum_i=1ksigma_i2) が成り立つ。線形混合 MDP に対し、$widetildeO(mathrmpoly(d)sqrtK)$ regret bound を得る。
論文参考訳（メタデータ） (2021-01-29T18:57:52Z)
Adam$^+$: A Stochastic Method with Adaptive Variance Reduction [56.051001950733315]
Adamはディープラーニングアプリケーションに広く使われている最適化手法である。我々はAdam$+$(Adam-plusと発音する)という新しい方法を提案する。画像分類,言語モデリング,自動音声認識など,さまざまなディープラーニングタスクに関する実証研究により,Adam$+$がAdamを著しく上回ることを示した。
論文参考訳（メタデータ） (2020-11-24T09:28:53Z)
A new regret analysis for Adam-type algorithms [78.825194932103]
理論的には、オンライン凸最適化に対する後悔の保証は、急速に崩壊する$beta_1to0$スケジュールを必要とする。最適なデータ依存リセット境界を一定の$beta_1$で導出できる新しいフレームワークを提案する。
論文参考訳（メタデータ） (2020-03-21T19:19:51Z)
A Simple Convergence Proof of Adam and Adagrad [74.24716715922759]
我々はAdam Adagradと$O(d(N)/st)$アルゴリズムの収束の証明を示す。 Adamはデフォルトパラメータで使用する場合と同じ収束$O(d(N)/st)$で収束する。
論文参考訳（メタデータ） (2020-03-05T01:56:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。