論文の概要: Width and Depth Limits Commute During Training

• arxiv url: http://arxiv.org/abs/2610.30729v1
• Date: Thu, 22 Oct 2026 04:56:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-24 02:08:44.215749
• Title: Width and Depth Limits Commute During Training
• Title（参考訳）: トレーニング中に通勤する幅と深さの制限
• Abstract要約: 特に、ネットワーク出力は、幅と深さが連続的に、または共同的に、同じ限度に収束する。 我々はこの可換性を線形残留ネットワークでのトレーニングに拡張する。
• 参考スコア（独自算出の注目度）: 11.100764382749711
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent work established that the infinite-width and infinite-depth limits of residual networks commute at initialization when residual branches are scaled by $1/\sqrt{depth}$. In particular, the network output converges to the same limit whether width and depth tend to infinity sequentially or jointly. We extend this commutativity result to training in linear residual networks. Under the same $1/\sqrt{depth}$ residual-branch scaling (Depth-$μ$P) and the $μ$P width parameterization, we prove that, for any fixed number of gradient-descent steps with gradient clipping, the network output converges in $L^2$ along every joint width--depth growth path as both width and depth tend to infinity. Consequently, the infinite-width and infinite-depth limits commute throughout any finite training horizon. Without gradient clipping, the corresponding $L^2$ convergence does not hold in general, but we establish the weaker convergence in probability.
• Abstract（参考訳）: 最近の研究により、残余ネットワークの無限幅および無限深度極限は、残余分岐が1/\sqrt{depth}$にスケールされたときに初期化時に可換であることが証明された。 特に、ネットワーク出力は、幅と深さが連続的に、または共同的に、同じ限度に収束する。 我々はこの可換性を線形残留ネットワークのトレーニングに拡張する。 同じ1/\sqrt{depth}$ residual-branch scaling (Depth-$μ$P) と$μ$Pの幅パラメータ化の下では、勾配クリッピングを伴う任意の固定数の勾配降下ステップに対して、ネットワークの出力は、幅と深さの両方が無限大になるにつれて、すべての関節幅-深さ成長経路に沿って$L^2$に収束する。 したがって、無限幅および無限深度極限は任意の有限の訓練地平線を通して可換である。 勾配クリッピングがなければ、対応する$L^2$収束は一般には成立しないが、確率においてより弱い収束を確立する。

関連論文リスト

• Stability-Constrained Approximation in Spline KANs: Exact Layer Balancing and Budget-Compatible Saturation [51.56484100374058]
  我々は、ハードレイヤーワイドリプシッツ予算の下で近似を研究する。 構成条件下では、対応するレイヤエラーをキャンセルする必要はないことを示す。 クラスのすべての作用素に対して、安定した深さ-$L$タワーが存在し、累積誤差の定数分を実現できる。
  論文  参考訳（メタデータ） (2026-09-14T20:17:04Z)
• Constrained Online Learning with Noisy Constraint Values [55.29259818039367]
  一般的な実現可能性の下では、我々のLEDGERアルゴリズムは、期待される損失$O(sqrt T)と期待される予算違反$O(sqrtTlog(eT))を達成します。 スレーター条件、フィードバックチャネル間の独立性、絶対的制約値境界は不要である。
  論文  参考訳（メタデータ） (2026-09-07T01:38:41Z)
• Dimension Reduction for Curves: Simplified and Generalized [56.23281156053955]
  我々は高次元多角曲線の次元を減少させるためにランダムな射影を再考する。 我々は、既知の$O(varepsilon-2log(nm))$がランダム射影のターゲット次元に有界であることの簡単な証明を与える。 我々の証明はスパース・オブリビラスな部分空間埋め込みの概念に基づいている。
  論文  参考訳（メタデータ） (2026-07-03T08:48:35Z)
• How Deep Are Deep GPs, Really? A Sharp Threshold and a Non-Gaussian Limit for Compositional GPs [48.096969031315744]
  以前の研究により、RBFカーネルと特定の帯域幅$r$に対して、前者は限界で縮退することがわかった。 しきい値以下$r$の場合、r_c(d)$ は制限分布 $_barZ$ に収束する。
  論文  参考訳（メタデータ） (2026-06-06T15:12:43Z)
• Quantitative CLTs in Deep Neural Networks [12.845031126178593]
  ランダムなガウス重みとバイアスを持つ完全連結ニューラルネットワークの分布について検討する。 我々は、大まかではあるが有限の$n$および任意の固定されたネットワーク深さで有効な正規近似の量的境界を得る。 我々の境界は、それまでの文献で利用できたものよりも、ネットワーク幅に依存しているという点で厳格に強い。
  論文  参考訳（メタデータ） (2023-07-12T11:35:37Z)
• Width and Depth Limits Commute in Residual Networks [26.97391529844503]
  接続をスキップするディープニューラルネットワークにおいて、幅と深さを無限大にすると、その制限がどう取られるかに関わらず、同じ共分散構造が得られることを示す。 このことは、標準無限幅奥行きアプローチが、幅と同じ順序の深さのネットワークに対しても実用的な洞察を与える理由を説明する。 理論的な結果と良好な一致を示す広範囲なシミュレーションを行う。
  論文  参考訳（メタデータ） (2023-02-01T13:57:32Z)
• Bayesian Interpolation with Deep Linear Networks [92.1721532941863]
  ニューラルネットワークの深さ、幅、データセットサイズがモデル品質にどう影響するかを特徴付けることは、ディープラーニング理論における中心的な問題である。 線形ネットワークが無限深度で証明可能な最適予測を行うことを示す。 また、データに依存しない先行法により、広い線形ネットワークにおけるベイズ模型の証拠は無限の深さで最大化されることを示す。
  論文  参考訳（メタデータ） (2022-12-29T20:57:46Z)
• On the infinite-depth limit of finite-width neural networks [3.8073142980733]
  ランダムなガウス重みを持つ有限幅残留ニューラルネットワークの無限深さ限界について検討する。 幅を固定し、深さを無限大にすることで、プレアクティベーションのベクトルは分布中にゼロドリフト拡散過程に収束する。 無限深度極限は活性化関数の選択によって異なる分布が得られることを示す。
  論文  参考訳（メタデータ） (2022-10-03T02:35:23Z)
• On Random Kernels of Residual Architectures [93.94469470368988]
  ResNets と DenseNets のニューラルタンジェントカーネル (NTK) に対して有限幅および深さ補正を導出する。 その結果,ResNetsでは,深さと幅が同時に無限大となるとNTKへの収束が生じる可能性が示唆された。 しかし、DenseNetsでは、NTKの幅が無限大になる傾向があるため、その限界への収束が保証されている。
  論文  参考訳（メタデータ） (2020-01-28T16:47:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。