論文の概要: Watch Your Step: Adam's Margin Maximization Bias Depends on the Learning Rate Schedule

• arxiv url: http://arxiv.org/abs/2611.01929v1
• Date: Sun, 01 Nov 2026 14:06:48 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-11-03 19:17:45.375262
• Title: Watch Your Step: Adam's Margin Maximization Bias Depends on the Learning Rate Schedule
• Title（参考訳）: ステップを見る:AdamのMargin Maximization Biasは学習率スケジュールに依存している
• Abstract要約: 本稿では、Adamの暗黙バイアスとその類似性について、二項分類タスクにおける勾配モデル上の符号降下について検討する。 我々は、 frac 1L - frac12$ のとき、Adam は深い線形ネットワークに対して軌道に依存しないマージン-最大化バイアスを持たないことを示した。
• 参考スコア（独自算出の注目度）: 22.08387089416152
• License:
• Abstract: We study the implicit bias of Adam and its similarity to sign gradient descent on homogeneous models in binary classification tasks. Perhaps surprisingly, we uncover that these depend on the learning rate schedule. While previous works studied strongly decaying learning rate schedules $η(t)=\mathrm o \left(t^{1/L-1}\right)$, where $L$ is the homogeneity degree, and showed $\ell_\infty$-margin-maximization biases, we focus on the more common complementary regime, including constant and weakly decaying schedules. For a polynomial schedule $t^α$ and homogeneity degree $L$, we show that when $α> \frac 1L - \frac12$, Adam has no trajectory-independent margin-maximization bias for deep linear networks (in the KKT sense): first, there is no non-trivial, locally Lipschitz, convex implicit regularizer in this setting, including any squared norm. Second, on width-$1$ networks, the result holds without requiring convexity, implying that any implicit regularizer for wide networks must be trivial when restricted to a width-$1$ network. Nevertheless, we positively characterize the implicit bias in this regime as maximizing a trajectory-dependent weighted-$\ell_2$ margin for any $L$-homogeneous model. The fundamental mechanism behind our results is convergence of Adam's preconditioner to a trajectory-dependent vector, which also allows showing that the limiting parameter direction depends on initialization. In the intermediate regime $\frac 1L - 1 \leq α\leq \frac1L - \frac12$ we prove an $\ell_\infty$ bias, conditional on gradient directional convergence to a full-support vector. Of independent interest, we establish a loss decay rate for full batch Adam on general homogeneous models, whose leading order depends only on the second-moment parameter.
• Abstract（参考訳）: 本稿では,Adamの暗黙バイアスとその類似性について検討する。 おそらく驚くべきことに、これらが学習率のスケジュールに依存することが判明した。 以前の研究では、強い減衰学習率のスケジュールは$η(t)=\mathrm o \left(t^{1/L-1}\right)$であり、ここでは$L$は均質度であり、$\ell_\infty$-margin-maximizationのバイアスを示した。 多項式スケジュール $t^α$ およびホモジニティ次数 $L$ に対して、Adam は(KKT の意味で)深い線形ネットワークに対して軌道非依存のマージン-最大化バイアスを持たないことを示し、まず、この設定には非自明で局所的なリプシッツ、凸な正規化子(英語版)(convex implicit regularizer)は存在しない。 第二に、幅1$のネットワークでは、この結果は凸性を必要とせず、幅1$のネットワークに制限された場合、広帯域ネットワークの暗黙の正規化器は自明でなければならないことを意味する。 しかしながら、この状態における暗黙バイアスは、任意の$L$-同次モデルに対して、軌道依存重み付き$$ell_2$マージンを最大化するものとして、肯定的に特徴づける。 結果の背後にある基本的なメカニズムは、アダムのプレコンディショナーを軌道依存ベクトルに収束させることであり、これはまた、制限パラメータ方向が初期化に依存することを示すことができる。 中間状態 $\frac 1L - 1 \leq α\leq \frac1L - \frac12$ では、フルサポートベクトルへの勾配方向収束の条件である $\ell_\infty$ バイアスが証明される。 独立な利害関係においては、第2モーメントパラメータにのみ依存する一般同次モデル上で、全バッチAdamの損失減衰率を確立する。

関連論文リスト

• When Does $\ell_2$-Boosting Overfit Benignly? High-Dimensional Risk Asymptotics and the $\ell_1$ Implicit Bias [15.113649527486276]
  良性オーバーフィッティングが線形レートで失敗することを示します。 この局所化機構は信号の存在下で持続するべきであるが、正確な信号-雑音分解は未解決の問題である。
  論文  参考訳（メタデータ） (2026-05-07T14:14:09Z)
• Regularized Online RLHF with Generalized Bilinear Preferences [68.44113000390544]
  一般的な嗜好を伴う文脈的オンラインRLHFの問題を考える。 一般化された双線形選好モデルを用いて、低ランクなスキュー対称行列による選好を捉える。 グリーディポリシーの双対ギャップは推定誤差の正方形によって有界であることを示す。
  論文  参考訳（メタデータ） (2026-02-26T15:27:53Z)
• Anisotropic local law for non-separable sample covariance matrices [10.181748307494608]
  サンプル共分散行列の局所法則を$K = N-1sum_i=1N g_ig_ig_i*$ とすると、Rn$ の確率ベクトル $g_1, ldots, g_N は共通共分散$$と独立である。 我々は,条件付き平均ゼロ分布,ランダム特徴モデル$g = (Xw)$,ガウス測度など,我々の仮定を満たす非分離例のクラスについて論じる。
  論文  参考訳（メタデータ） (2026-02-20T03:28:51Z)
• Optimal Unconstrained Self-Distillation in Ridge Regression: Strict Improvements, Precise Asymptotics, and One-Shot Tuning [61.07540493350384]
  自己蒸留(英: Self-distillation, SD)とは、教師自身の予測と地道の混合で学生を訓練する過程である。 任意の予測リスクに対して、各正規化レベルにおいて、最適に混合された学生がリッジ教師に改善されることが示される。 本稿では,グリッド探索やサンプル分割,再構成なしに$star$を推定する一貫したワンショットチューニング手法を提案する。
  論文  参考訳（メタデータ） (2026-02-19T17:21:15Z)
• Closed-form $\ell_r$ norm scaling with data for overparameterized linear regression and diagonal linear networks under $\ell_p$ bias [0.0]
  パラメータノルムの族をスケールするために、統一的で高確率な特徴を与える。 次に、降下によって訓練された線形ネットワークについて研究する。
  論文  参考訳（メタデータ） (2025-09-25T13:59:22Z)
• Simple Convergence Proof of Adam From a Sign-like Descent Perspective [58.89890024903816]
  我々は、Adamが以前の$cal O(fracln TTs14)$よりも$cal O(frac1Ts14)$の最適なレートを達成することを示す。 我々の理論分析は、収束を保証する重要な要因として運動量の役割に関する新たな洞察を提供する。
  論文  参考訳（メタデータ） (2025-07-08T13:19:26Z)
• Convergence Rate Analysis of LION [54.28350823319057]
  LION は、勾配カルシュ=クーン=T (sqrtdK-)$で測定された $cal(sqrtdK-)$ の反復を収束する。 従来のSGDと比較して,LIONは損失が小さく,性能も高いことを示す。
  論文  参考訳（メタデータ） (2024-11-12T11:30:53Z)
• Sample Complexity of Asynchronous Q-Learning: Sharper Analysis and Variance Reduction [63.41789556777387]
  非同期Q-ラーニングはマルコフ決定過程(MDP)の最適行動値関数(またはQ-関数)を学習することを目的としている。 Q-関数の入出力$varepsilon$-正確な推定に必要なサンプルの数は、少なくとも$frac1mu_min (1-gamma)5varepsilon2+ fract_mixmu_min (1-gamma)$の順である。
  論文  参考訳（メタデータ） (2020-06-04T17:51:00Z)
• A Simple Convergence Proof of Adam and Adagrad [74.24716715922759]
  我々はAdam Adagradと$O(d(N)/st)$アルゴリズムの収束の証明を示す。 Adamはデフォルトパラメータで使用する場合と同じ収束$O(d(N)/st)$で収束する。
  論文  参考訳（メタデータ） (2020-03-05T01:56:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。