Fugu-MT 論文翻訳(概要): HomeAdam: Adam and AdamW Algorithms Sometimes Go Home to Obtain Better Provable Generalization

論文の概要: HomeAdam: Adam and AdamW Algorithms Sometimes Go Home to Obtain Better Provable Generalization

arxiv url: http://arxiv.org/abs/2603.02649v1
Date: Tue, 03 Mar 2026 06:29:24 GMT
ステータス: 翻訳完了
システム内更新日: 2026-03-04 21:38:10.667657
Title: HomeAdam: Adam and AdamW Algorithms Sometimes Go Home to Obtain Better Provable Generalization
Title（参考訳）: HomeAdam:AdamとAdamWのアルゴリズムは、予測可能な一般化を達成できる
Authors: Feihu Huang, Guanyi Zhang, Songcan Chen,
Abstract要約: モーメントベースのSGDを返却することで,効率的なAdamアルゴリズム(HomeAdam(W))のクラスを提案する。我々は、HomeAdam(W) が$O(frac1N)$よりも小さい一般化誤差を持つことを証明している。
参考スコア（独自算出の注目度）: 43.39364515909059
License: http://creativecommons.org/licenses/by-nc-sa/4.0/
Abstract: Adam and AdamW are a class of default optimizers for training deep learning models in machine learning. These adaptive algorithms converge faster but generalize worse compared to SGD. In fact, their proved generalization error $O(\frac{1}{\sqrt{N}})$ also is larger than $O(\frac{1}{N})$ of SGD, where $N$ denotes training sample size. Recently, although some variants of Adam have been proposed to improve its generalization, their improved generalizations are still unexplored in theory. To fill this gap, in the paper, we restudy generalization of Adam and AdamW via algorithmic stability, and first prove that Adam and AdamW without square-root (i.e., Adam(W)-srf) have a generalization error $O(\frac{\hatρ^{-2T}}{N})$, where $T$ denotes iteration number and $\hatρ>0$ denotes the smallest element of second-order momentum plus a small positive number. To improve generalization, we propose a class of efficient clever Adam (i.e., HomeAdam(W)) algorithms via sometimes returning momentum-based SGD. Moreover, we prove that our HomeAdam(W) have a smaller generalization error $O(\frac{1}{N})$ than $O(\frac{\hatρ^{-2T}}{N})$ of Adam(W)-srf, since $\hatρ$ is generally very small. In particular, it is also smaller than the existing $O(\frac{1}{\sqrt{N}})$ of Adam(W). Meanwhile, we prove our HomeAdam(W) have a faster convergence rate of $O(\frac{1}{T^{1/4}})$ than $O(\frac{\breveρ^{-1}}{T^{1/4}})$ of the Adam(W)-srf, where $\breveρ\leq\hatρ$ also is very small. Extensive numerical experiments demonstrate efficiency of our HomeAdam(W) algorithms.
Abstract（参考訳）: AdamとAdamWは、機械学習でディープラーニングモデルをトレーニングするためのデフォルトオプティマイザのクラスである。これらの適応アルゴリズムは、より高速に収束するが、SGDと比較してより良く一般化する。実際、それらの証明された一般化誤差$O(\frac{1}{\sqrt{N}})$もまた、SGDの$O(\frac{1}{N})$よりも大きい。近年、アダムのいくつかの変種は一般化を改善するために提案されているが、それらの改良された一般化は理論上はまだ解明されていない。このギャップを埋めるために、アルゴリズム的安定性によってAdamとAdamWの一般化を再検討し、まずAdamとAdamWが平方根を持たない(すなわちAdam(W)-srf)一般化誤差$O(\frac{\hatρ^{-2T}}{N})$であることを証明する。一般化を改善するために,時折運動量に基づくSGDを返却することで,効率的なAdamアルゴリズム(HomeAdam(W))を提案する。さらに、我々のHomeAdam(W) がより小さい一般化誤差 $O(\frac{1}{N})$ より小さいことを証明している。特に、既存の$O(\frac{1}{\sqrt{N}})$ of Adam(W)よりも小さい。一方、我々のHomeAdam(W)が$O(\frac{1}{T^{1/4}})$より速い収束率を持つことを示す:$O(\frac {\breveρ^{-1}}{T^{1/4}})$ of Adam(W)-srf, ここでは$\breveρ\leq\hatρ$も非常に小さい。大規模な数値実験は、HomeAdam(W)アルゴリズムの効率を実証する。

論文の概要: HomeAdam: Adam and AdamW Algorithms Sometimes Go Home to Obtain Better Provable Generalization

関連論文リスト