論文の概要: Hyperparameter Transfer Laws for Non-Recurrent Multi-Path Neural Networks

• arxiv url: http://arxiv.org/abs/2602.07494v1
• Date: Sat, 07 Feb 2026 11:10:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-10 20:26:24.650939
• Title: Hyperparameter Transfer Laws for Non-Recurrent Multi-Path Neural Networks
• Title（参考訳）: 非リカレントマルチパスニューラルネットワークにおけるハイパーパラメータ転送法
• Authors: Shenxi Wu, Haosong Zhang, Xingjian Ma, Shirui Bian, Yichi Zhang, Xi Chen, Wei Lin,
• Abstract要約: マルチパスニューラルネットワークに有効な深度の概念をグラフベースで導入する。 最適学習速度は, 普遍的な -3/2 電力法則に従って, 有効深度で減衰することを示す。 実験は予測された斜面を確認し、深度と幅をまたいだ学習率の信頼性の高いゼロショット転送を可能にする。
• 参考スコア（独自算出の注目度）: 10.793433622094959
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deeper modern architectures are costly to train, making hyperparameter transfer preferable to expensive repeated tuning. Maximal Update Parametrization ($μ$P) helps explain why many hyperparameters transfer across width. Yet depth scaling is less understood for modern architectures, whose computation graphs contain multiple parallel paths and residual aggregation. To unify various non-recurrent multi-path neural networks such as CNNs, ResNets, and Transformers, we introduce a graph-based notion of effective depth. Under stabilizing initializations and a maximal-update criterion, we show that the optimal learning rate decays with effective depth following a universal -3/2 power law. Here, the maximal-update criterion maximizes the typical one-step representation change at initialization without causing instability, and effective depth is the minimal path length from input to output, counting layers and residual additions. Experiments across diverse architectures confirm the predicted slope and enable reliable zero-shot transfer of learning rates across depths and widths, turning depth scaling into a predictable hyperparameter-transfer problem.
• Abstract（参考訳）: より高度な近代的なアーキテクチャは訓練にコストがかかり、高パラメータ転送が高価な繰り返しチューニングよりも好まれる。 最大更新パラメトリゼーション(μ$P)は、多くのハイパーパラメータが幅をまたいで移動する理由を説明するのに役立つ。 しかし、計算グラフは複数の並列パスと残余集約を含む現代のアーキテクチャでは、深度スケーリングは理解されていない。 CNN,ResNets,Transformersなど,複数の非リカレントなマルチパスニューラルネットワークを統合するために,グラフに基づく有効深さの概念を導入する。 安定化初期化と最大更新基準の下で、最適学習速度は、普遍的な-3/2パワー則に従って有効深さで減衰することを示す。 ここでは、最大更新基準は、不安定を生じさせることなく初期化時に典型的な1段階の表現変化を最大化し、有効深さは入力から出力までの最小経路長、層数、残余加算である。 様々なアーキテクチャにわたる実験により、予測される勾配を確認し、深度と幅にわたる学習率のゼロショット転送を可能にし、深度スケーリングを予測可能なハイパーパラメーター・トランスファー問題に変換する。

関連論文リスト

• Deep Linear Network Training Dynamics from Random Initialization: Data, Width, Depth, and Hyperparameter Transfer [40.40780546513363]
  我々は,枝を1/sqrttextdepth$にスケールした場合に無限の深さ制限を可能にする非残留ニューラルネットワークと残留ニューラルネットワークの両方について記述する。 本モデルでは, 電力法構造データに対する高速化された電力法則トレーニングのダイナミクスを, 最近の研究で観測されたリッチな状態下で回復することを示す。
  論文  参考訳（メタデータ） (2025-02-04T17:50:55Z)
• Local Loss Optimization in the Infinite Width: Stable Parameterization of Predictive Coding Networks and Target Propagation [8.35644084613785]
  局所目標の2つの代表的設計に対して、無限幅極限における最大更新パラメータ化(mu$P)を導入する。 深層線形ネットワークを解析した結果,PCの勾配は1次勾配とガウス・ニュートン様勾配の間に介在していることが判明した。 我々は、特定の標準設定において、無限幅制限のPCは、一階勾配とよりよく似た振る舞いをすることを示した。
  論文  参考訳（メタデータ） (2024-11-04T11:38:27Z)
• Principled Architecture-aware Scaling of Hyperparameters [69.98414153320894]
  高品質のディープニューラルネットワークをトレーニングするには、非自明で高価なプロセスである適切なハイパーパラメータを選択する必要がある。 本研究では,ネットワークアーキテクチャにおける初期化と最大学習率の依存性を正確に評価する。 ネットワークランキングは、ベンチマークのトレーニングネットワークにより容易に変更可能であることを実証する。
  論文  参考訳（メタデータ） (2024-02-27T11:52:49Z)
• Unified Field Theory for Deep and Recurrent Neural Networks [56.735884560668985]
  本稿では,再帰的ネットワークと深層ネットワークの両方に対する平均場理論の統一的,体系的な導出について述べる。 平均場理論への収束は、ディープネットワークよりもリカレントネットワークの方が典型的に遅い。 提案手法はガウス過程が1/n$の体系的展開の最下位次数であることを示す。
  論文  参考訳（メタデータ） (2021-12-10T15:06:11Z)
• Non-Gradient Manifold Neural Network [79.44066256794187]
  ディープニューラルネットワーク(DNN)は通常、勾配降下による最適化に数千のイテレーションを要します。 非次最適化に基づく新しい多様体ニューラルネットワークを提案する。
  論文  参考訳（メタデータ） (2021-06-15T06:39:13Z)
• GradInit: Learning to Initialize Neural Networks for Stable and Efficient Training [59.160154997555956]
  ニューラルネットワークを初期化するための自動化およびアーキテクチャ手法であるgradinitを提案する。 各ネットワーク層の分散は、SGDまたはAdamの単一ステップが最小の損失値をもたらすように調整される。 また、学習率のウォームアップを伴わずに、オリジナルのPost-LN Transformerを機械翻訳用にトレーニングすることもできる。
  論文  参考訳（メタデータ） (2021-02-16T11:45:35Z)
• A Convergence Theory Towards Practical Over-parameterized Deep Neural Networks [56.084798078072396]
  ネットワーク幅と収束時間の両方で既知の理論境界を大幅に改善することにより、理論と実践のギャップを埋める一歩を踏み出します。 本研究では, サンプルサイズが2次幅で, 両者の時間対数で線形なネットワークに対して, 地球最小値への収束が保証されていることを示す。 私たちの分析と収束境界は、いつでも合理的なサイズの同等のRELUネットワークに変換できる固定アクティベーションパターンを備えたサロゲートネットワークの構築によって導出されます。
  論文  参考訳（メタデータ） (2021-01-12T00:40:45Z)
• Communication-Efficient Distributed Stochastic AUC Maximization with Deep Neural Networks [50.42141893913188]
  本稿では,ニューラルネットワークを用いた大規模AUCのための分散変数について検討する。 我々のモデルは通信ラウンドをはるかに少なくし、理論上はまだ多くの通信ラウンドを必要としています。 いくつかのデータセットに対する実験は、我々の理論の有効性を示し、我々の理論を裏付けるものである。
  論文  参考訳（メタデータ） (2020-05-05T18:08:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。