論文の概要: On the Two Faces of Adam in Separable Linear Classification

• arxiv url: http://arxiv.org/abs/2609.33904v1
• Date: Sun, 27 Sep 2026 20:37:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-04 15:47:33.322572
• Title: On the Two Faces of Adam in Separable Linear Classification
• Title（参考訳）: 分離線形分類におけるアダムの2面について
• Abstract要約: ログロス下でのソフトマックスパラメトリゼーションを用いた分離線形分類において, 決定論的, 完全バッチ, バイアス補正されたAdamの挙動を考察する。 アダムは安定性定数$$が 0 であるとき、最大ノルム・マルジン最適度に近付くことが知られ、一方正の$はユークリッド・マルジン最適度に近付くことが知られている。
• 参考スコア（独自算出の注目度）: 30.031267910132218
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We consider the behavior of deterministic, full-batch, bias-corrected Adam in separable linear classification with softmax parametrization under log-loss. In this setting, under a wide range of conditions Adam is known to approach max-norm-margin optimality when its stability constant $ε$ is zero, while with a positive $ε$, it is known to approach Euclidean-margin optimality. Our main contribution is the quantitative description of Adam's behavior for small fixed positive $ε$. We give sufficient conditions under which an Adam-trained classifier nearly maximizes the max-norm margin before the updates become gradient-like. We also show that the classifier reaches a fixed target Euclidean margin only much later. Specifically, we show that for polynomially decreasing stepsizes with exponent \(a\), where \(1/3<a<1\), the updates become approximately proportional to the negative gradient after $Θ(\log(1/ε)^{1/(1-a)})$ iterations. At that time, the classifier still nearly maximizes the max-norm margin. Reaching a fixed target Euclidean margin above that of every max-norm-optimal classifier, but below the optimum, is shown to require $ε^{-Θ(1)/(1-a)}$ iterations. Under inverse-linear stepsize decay (\(a=1\)), the update transition takes polynomially many iterations, whereas reaching the target margin takes exponentially many. Experiments support these predictions. The later change in the classifier can improve or worsen generalization after training error reaches zero, connecting the analysis to grokking and its reverse.
• Abstract（参考訳）: ログロス下でのソフトマックスパラメトリゼーションを用いた分離線形分類において, 決定論的, 完全バッチ, バイアス補正されたAdamの挙動を考察する。 この設定では、アダムはその安定性定数$ε$がゼロであるときに極ノルム・マルジン最適度に近づくことが知られ、一方正の$ε$ではユークリッド・マルジン最適度に近づくことが知られている。 私たちの主な貢献は、小さな固定正の$ε$に対するアダムの振舞いの定量的記述である。 我々は、アダム訓練された分類器が、更新が勾配的になる前に、最大ノルムマージンをほぼ最大化する十分な条件を与える。 また、分類器が固定目標ユークリッドマージンに達するのは、かなり後になってからであることを示す。 具体的には、指数 \(a\) で多項式的に段階化を減少させるとき、(1/3<a<1\) に対して、更新は、$(\log(1/ε)^{1/(1-a)}) の反復の後、負の勾配にほぼ比例することを示す。 このとき、分類器は依然として最大ノルムマージンを最大化している。 すべての最大ノルム最適分類器より上の固定的対象ユークリッドマージンを取るが、最適値より下にあるのは、$ε^{->(1)/(1-a)}$反復である。 逆線形次数分解 (\(a=1\) の下では、更新遷移は多項式的に多くの繰り返しを取るが、目標マージンに達するには指数関数的に多くの繰り返しを必要とする。 実験はこれらの予測をサポートする。 後の分類器の変更は、トレーニングエラーがゼロになった後に一般化を改善または悪化させ、解析をグラッキングとその逆に接続する。

関連論文リスト

• Sublinear Time Quantum Sensitivity Sampling [57.356528942341534]
  本稿では、量子感応サンプリングのための統一的なフレームワークを提案し、量子コンピューティングの利点を古典近似問題の幅広いクラスに拡張する。 我々のフレームワークは、コアセットを構築するための合理化されたアプローチを提供し、クラスタリング、回帰、低ランク近似などのアプリケーションにおいて、大幅なランタイム改善を提供します。
  論文  参考訳（メタデータ） (2025-09-20T20:18:49Z)
• Fast Last-Iterate Convergence of SGD in the Smooth Interpolation Regime [26.711510824243803]
  本研究では, 最適騒音が0または0に近い政権において, 円滑な凸目標に対する勾配降下(SGD)の集団収束保証について検討した。 十分に調整されたステップサイズでは、最後の繰り返しに対してほぼ最適な$widetildeO (1/T + sigma_star/sqrtT)$レートを得る。
  論文  参考訳（メタデータ） (2025-07-15T12:52:47Z)
• Tight bounds for maximum $\ell_1$-margin classifiers [10.055143995729415]
  適応性は、標準的な識別的設定に対する最大$ell_$-margin分類器には適用されないことを示す。 ノイズを補間すると、誤差は次数$frac1sqrtlog(d/n)$で消滅する。
  論文  参考訳（メタデータ） (2022-12-07T17:05:31Z)
• Optimal Extragradient-Based Bilinearly-Coupled Saddle-Point Optimization [116.89941263390769]
  滑らかな凸凹凸結合型サドル点問題, $min_mathbfxmax_mathbfyF(mathbfx) + H(mathbfx,mathbfy)$ を考える。 漸進的勾配指数(AG-EG)降下指数アルゴリズムについて述べる。
  論文  参考訳（メタデータ） (2022-06-17T06:10:20Z)
• Optimal and instance-dependent guarantees for Markovian linear stochastic approximation [47.912511426974376]
  標準スキームの最後の繰り返しの2乗誤差に対して、$t_mathrmmix tfracdn$の非漸近境界を示す。 マルコフ雑音による政策評価について,これらの結果のまとめを導出する。
  論文  参考訳（メタデータ） (2021-12-23T18:47:50Z)
• Correcting Momentum with Second-order Information [50.992629498861724]
  最適積に$O(epsilon)$epsilon点を求める非臨界最適化のための新しいアルゴリズムを開発した。 我々は、さまざまな大規模ディープラーニングベンチマークとアーキテクチャで結果を検証する。
  論文  参考訳（メタデータ） (2021-03-04T19:01:20Z)
• Optimal Robust Linear Regression in Nearly Linear Time [97.11565882347772]
  学習者が生成モデル$Y = langle X,w* rangle + epsilon$から$n$のサンプルにアクセスできるような高次元頑健な線形回帰問題について検討する。 i) $X$ is L4-L2 hypercontractive, $mathbbE [XXtop]$ has bounded condition number and $epsilon$ has bounded variance, (ii) $X$ is sub-Gaussian with identity second moment and $epsilon$ is
  論文  参考訳（メタデータ） (2020-07-16T06:44:44Z)
• Gradient Methods Never Overfit On Separable Data [31.714928102950584]
  標準勾配法は分離可能なデータに過度に適合しないことを示す。 データセットに対するマージン違反数の非漸近的境界を示す。
  論文  参考訳（メタデータ） (2020-06-30T18:01:46Z)
• A Simple Convergence Proof of Adam and Adagrad [74.24716715922759]
  我々はAdam Adagradと$O(d(N)/st)$アルゴリズムの収束の証明を示す。 Adamはデフォルトパラメータで使用する場合と同じ収束$O(d(N)/st)$で収束する。
  論文  参考訳（メタデータ） (2020-03-05T01:56:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。