論文の概要: On the Depth Transfer of Neural Optimizers via L-Smoothness

• arxiv url: http://arxiv.org/abs/2610.14344v1
• Date: Fri, 09 Oct 2026 21:43:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-20 22:02:45.152444
• Title: On the Depth Transfer of Neural Optimizers via L-Smoothness
• Title（参考訳）: L-Smoothnessによるニューラルオプティマイザの深さ移動について
• Abstract要約: 逆深さ残差分枝スケーリングは固定幅で定数を非依存にするのに十分であることを示す。 我々の限界は、所定の基準に制限された更新に対して、追加の深さ依存性の曲率補正なしで学習速度尺度を動機付けます。 これは、逆深さ残留スケーリングの幾何学的説明と、AdamW, Muon, MOGAに関連する作用素-ノルム幾何学への応用を提供する。
• 参考スコア（独自算出の注目度）: 10.750661824988972
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Scaling deep learning models efficiently requires predictable performance transfer across compute regimes. Establishing reliable hyperparameter transfer allows optimal training dynamics and structural choices to be discovered on low-cost proxy models, avoiding catastrophic failures during massive-scale training. Existing depth-transfer analyses are architecture-specific and heuristic: hyperparameter transfer is only justified through toy blocks, and both rely on infinite-depth dynamics, a specific initialization, and feature-learning criteria. Building on $L$-smoothness framework of Xu et al. (2026), we understand hyperparameter transfer as how do the Lipschitz and $L$-smoothness constants of the loss scale with the depth $K$? We show that inverse-depth residual branch scaling $α=Θ(1/K)$ is sufficient to make both constants depth-independent at fixed width, uniformly over the bounded parameter domain and for arbitrary $p\to q$ geometries. Because the bounds depend on each residual branch only through its Lipschitz and smoothness constants, the argument applies to general residual networks (including branches of block depth $\geq 2$ such as transformer and ResNet blocks) without assumptions on initialization or correlations between layer weights. Since the smoothness constant controls the curvature penalty in the descent inequality, our bounds motivate a learning-rate scale without an additional depth-dependent curvature correction for updates bounded in the prescribed norm. This provides a geometric explanation of inverse-depth residual scaling and its application to the operator-norm geometries associated with AdamW, Muon, and MOGA. Learning-rate sweeps on GPT-2 (depths 2--128) and CIFAR-100 ResNets (8--32 residual blocks) confirm that Muon and MOGA exhibit stable learning-rate transfer under these prescriptions, with a common optimal rate across a 64-fold increase in depth.
• Abstract（参考訳）: ディープラーニングモデルを効率的にスケールするには、計算レギュレータ間での予測可能なパフォーマンス転送が必要である。 信頼性の高いハイパーパラメータ転送を確立することで、低コストのプロキシモデルで最適なトレーニングダイナミクスと構造選択が発見され、大規模なトレーニング中に破滅的な失敗を避けることができる。 既存のDeep-Transfer分析はアーキテクチャに特有でヒューリスティックなものであり、ハイパーパラメータ転送はおもちゃブロックを通してのみ正当化され、どちらも無限深度ダイナミクス、特定の初期化、特徴学習基準に依存している。 Xu et al (2026) の $L$-smoothness フレームワーク上に構築すると、超パラメータ移動は、深さ$K$で損失スケールの Lipschitz と $L$-smoothness定数をどのように理解することができるか? 逆-深さ残差分枝スケーリング $α= ～(1/K)$ は、有界パラメータ領域を均一に上り、任意の$p\to q$ ジオメトリに対して、固定幅で2つの定数を独立にするのに十分であることを示す。 境界はリプシッツと滑らか性定数を通してのみ各残差分に依存しているため、この議論は層重みの初期化や相関を仮定することなく、一般的な残差分ネットワーク(変圧器やResNetブロックのようなブロック深さ$$\geq 2$の分枝を含む)に適用される。 勾配不等式における曲率ペナルティを滑らか性定数が制御するので、所定ノルムに制限された更新に対する追加の深さ依存性の曲率補正なしで学習速度尺度を動機付けることができる。 これは、逆深さ残留スケーリングの幾何学的説明と、AdamW, Muon, MOGAに関連する作用素-ノルム幾何学への応用を提供する。 GPT-2 (deepths 2--128) と CIFAR-100 ResNets (8--32 残留ブロック) の学習速度は、Muon と MOGA がこれらの処方薬の下で安定な学習速度移動を示すことを確認する。

関連論文リスト

• Stability-Constrained Approximation in Spline KANs: Exact Layer Balancing and Budget-Compatible Saturation [51.56484100374058]
  我々は、ハードレイヤーワイドリプシッツ予算の下で近似を研究する。 構成条件下では、対応するレイヤエラーをキャンセルする必要はないことを示す。 クラスのすべての作用素に対して、安定した深さ-$L$タワーが存在し、累積誤差の定数分を実現できる。
  論文  参考訳（メタデータ） (2026-09-14T20:17:04Z)
• DeepLoop: Depth Scaling for Looped Transformers [91.7922038545625]
  ループ変換器は、複数のラウンドにコンパクトな物理ブロックのスタックを適用することで、シーケンシャルな計算をスケールする。 我々は、この密着した深さ効果を、訪問配向係数によって制御された一階の摂動によって定式化する。 結果のメソッド textbfDeepLoop は Post-LN DeepNorm アーキテクチャを保持し、非ロール深度に対して $= (2N)1/2$ と $=(8N)-1/2$ をセットする。
  論文  参考訳（メタデータ） (2026-07-15T06:37:05Z)
• Closed-Form Spectral Regularization for Multi-Task Model Merging [96.82449201305234]
  モデルマージは、個別に調整された複数の専門家をトレーニングデータなしで単一のマルチタスクモデルに結合する。 State-of-the-art merging method formulate merging as a layer-wise interference problem。 本稿では,逐次降下の勾配-流路に一致するソフト指数フィルタを組み合わせた閉形式手法SWUDIを提案する。
  論文  参考訳（メタデータ） (2026-06-05T14:00:47Z)
• How to Scale Mixture-of-Experts: From muP to the Maximally Scale-Stable Parameterization [45.69980208532521]
  3つの異なるスケーリング体制を解析することで、このギャップを解決するための原則的な一歩を踏み出します。 各体制に対して,MoEsの制限的トレーニング力学に関する新しい力学平均場理論(DMFT)を考案する。 結果として生じる$Pの処方は、スケールや頑健な学習速度の移動による単調な改善を確実に引き起こさないことを示す。
  論文  参考訳（メタデータ） (2026-05-13T23:32:00Z)
• Rethinking Language Model Scaling under Transferable Hypersphere Optimization [67.38433364607897]
  モデル幅、深さ、トレーニングトークン、エキスパート・オブ・エキスパート(MoE)間で最適な学習率を転送する最初のフレームワークであるHyperPを紹介します。 単一のベースレートでHyperPの計算予算をまたいだデータ転送を調整し、強力な Muon ベースラインを 6times1021$ FLOPs で1.58 タイムで達成した。 また、超球面制約から派生したMoEゲーティング機構であるSqrtGateを提案し、MoEの粒度にわたって出力RMSを保存する。
  論文  参考訳（メタデータ） (2026-03-30T17:51:47Z)
• Smoothness Adaptivity in Constant-Depth Neural Networks: Optimal Rates via Smooth Activations [11.1057367593811]
  ソボレフ空間における学習関数を円滑に活性化するニューラルネットワークの近似と統計的性質について検討した。 本研究では,スムーズなアクティベーションを備えた定数深度ネットワークが,スムーズな適応性を実現することを証明した。 本稿では,ソボレフ関数クラスに対する最適速度を達成するための基本的なメカニズムとして,活性化の滑らかさを同定する。
  論文  参考訳（メタデータ） (2026-02-23T10:38:12Z)
• Robust Layerwise Scaling Rules by Proper Weight Decay Tuning [50.11170157029911]
  現代のスケール不変アーキテクチャでは、トレーニングは急速に劣化したグラデーション状態に入る。 我々は,AdamWに対して,幅をまたいだサブ層ゲインを保ったウェイトデカイスケーリングルールを導入する。 この結果は,パラメータが設定した定常スケールを明示的に制御することにより,ほぼ入出力体制を超えて$mu$Pを拡大する。
  論文  参考訳（メタデータ） (2025-10-17T02:58:35Z)
• Arithmetic-Mean $μ$P for Modern Architectures: A Unified Learning-Rate Scale for CNNs and ResNets [9.94514344279733]
  Arithmetic-Mean $mu$P は個々の層ではなく、ネットワーク全体の平均1ステップのプレアクティベーション第2モーメントを一定スケールに制限する。 1次元および2次元の畳み込みネットワークの場合、最大更新学習率は$etastar(L)propto L-3/2$; を満足する。
  論文  参考訳（メタデータ） (2025-10-05T19:22:50Z)
• Local Loss Optimization in the Infinite Width: Stable Parameterization of Predictive Coding Networks and Target Propagation [8.35644084613785]
  局所目標の2つの代表的設計に対して、無限幅極限における最大更新パラメータ化(mu$P)を導入する。 深層線形ネットワークを解析した結果,PCの勾配は1次勾配とガウス・ニュートン様勾配の間に介在していることが判明した。 我々は、特定の標準設定において、無限幅制限のPCは、一階勾配とよりよく似た振る舞いをすることを示した。
  論文  参考訳（メタデータ） (2024-11-04T11:38:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。