Fugu-MT 論文翻訳(概要): Robust Layerwise Scaling Rules by Proper Weight Decay Tuning

論文の概要: Robust Layerwise Scaling Rules by Proper Weight Decay Tuning

arxiv url: http://arxiv.org/abs/2510.15262v1
Date: Fri, 17 Oct 2025 02:58:35 GMT
ステータス: 翻訳完了
システム内更新日: 2025-10-20 20:17:34.450379
Title: Robust Layerwise Scaling Rules by Proper Weight Decay Tuning
Title（参考訳）: 適切な減量調整によるロバスト層スケーリングルール
Authors: Zhiyuan Fan, Yifeng Liu, Qingyue Zhao, Angela Yuan, Quanquan Gu,
Abstract要約: 現代のスケール不変アーキテクチャでは、トレーニングは急速に劣化したグラデーション状態に入る。我々は,AdamWに対して,幅をまたいだサブ層ゲインを保ったウェイトデカイスケーリングルールを導入する。この結果は,パラメータが設定した定常スケールを明示的に制御することにより,ほぼ入出力体制を超えて$mu$Pを拡大する。
参考スコア（独自算出の注目度）: 50.11170157029911
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Empirical scaling laws prescribe how to allocate parameters, data, and compute, while maximal-update parameterization ($\mu$P) enables learning-rate transfer across widths by equalizing early-time update magnitudes. However, in modern scale-invariant architectures, training quickly enters an optimizer-governed steady state where normalization layers create backward scale sensitivity and the effective learning rate becomes width dependent, degrading $\mu$P transfer. We address this by introducing a weight-decay scaling rule for AdamW that preserves sublayer gain across widths. Empirically, the singular-value spectrum of each matrix parameter scales in norm as $\sqrt{\eta/\lambda}$ with an approximately invariant shape; under width scaling $d$, we observe that the top singular value scales approximately as $\sqrt{\eta/\lambda}\cdot d^{0.75}$. Combining this observation with the $\mu$P learning-rate rule $\eta_2\propto d^{-1}$ for matrix-like parameters implies an empirical weight-decay scaling rule $\lambda_2\propto \sqrt{d}$ that approximately keeps sublayer gains width invariant. Together with vector-like parameters trained at $\eta_1=\Theta_d(1)$ and $\lambda_1=0$, this yields \emph{zero-shot} transfer of both learning rate and weight decay from proxy to target widths, removing per-width sweeps. We validate the rule on LLaMA-style Transformers and in a minimal synthetic setting, and we provide a simple diagnostic, matching top singular values, to check sublayer-gain invariance. Our results extend $\mu$P beyond the near-init regime by explicitly controlling steady-state scales set by the optimizer, offering a practical recipe for width-robust hyperparameter transfer under AdamW.
Abstract（参考訳）: 経験的スケーリング法則はパラメータ、データ、計算の割り当て方法を規定する一方、最大更新パラメータ化(\mu$P)は、早期更新の規模を等しくすることで、幅をまたいだ学習レートの転送を可能にする。しかし、現代のスケール不変アーキテクチャでは、トレーニングはすぐに最適化された定常状態に入り、正規化層は後方スケールの感度を発生させ、効果的な学習速度は幅に依存するようになり、$\mu$P転送が低下する。我々は,AdamWに対して,幅をまたいだサブレイヤゲインを保ったウェイトデカイスケーリングルールを導入することで,この問題に対処する。経験的に、各行列パラメータの特異値スペクトルは、ほぼ不変な形でノルムでスケールする:$\sqrt{\eta/\lambda}$; 幅スケーリング$d$では、最上位特異値はおよそ$\sqrt{\eta/\lambda}\cdot d^{0.75}$となる。この観察と、行列のようなパラメータに対する $\eta_2\propto d^{-1}$ の学習レートルールとを組み合わせると、経験的ウェイトデカイスケーリングルール $\lambda_2\propto \sqrt{d}$ は、サブレイヤーの幅をほぼ不変に保つ。 $\eta_1=\Theta_d(1)$と$\lambda_1=0$でトレーニングされたベクトルのようなパラメータとともに、学習速度とウェイト崩壊の両方をプロキシからターゲットの幅に転送し、幅ごとのスイープを削除する。我々はLLaMA方式のトランスフォーマーと最小限の合成条件でルールを検証し、サブ層ゲインの不変性をチェックするための単純な診断と一致した最高特異値を提供する。我々は,最適化器が設定した定常スケールを明示的に制御し,AdamWの下での幅ローブなハイパーパラメータ転送の実践的レシピを提供することにより,近入政権を超えて$\mu$Pを拡大した。

論文の概要: Robust Layerwise Scaling Rules by Proper Weight Decay Tuning

関連論文リスト