論文の概要: Early learning in large residual networks
- arxiv url: http://arxiv.org/abs/2610.31783v1
- Date: Thu, 22 Oct 2026 18:20:16 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-27 01:38:06.261437
- Title: Early learning in large residual networks
- Title（参考訳）: 大規模残余ネットワークにおける早期学習
- Abstract要約: 隠蔽層がゼロである非線形残留ネットワークの初期訓練力学について検討した。
ネットワークを逐次的に解析し、第一の幅と深さが分岐し、次にトレーニングデータポイントの数が分岐し、最終的に入力次元が分岐する。
- 参考スコア（独自算出の注目度）: 8.584932159968
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We study the early training dynamics of nonlinear residual networks with blocks of zero hidden layers as a model of more general residual networks. We analyze networks in a sequential limit where first width and depth diverge, then the number of training data points diverges, and finally the input dimension diverges. This is a more refined setup compared to the typical mean-field theory analysis in which depth and width diverge but the number of training datapoints and input dimension are fixed. Our main technical result is a diagrammatic computation of both the network output and the hidden representations after the few steps of gradient descent in terms of the statistics of inner products of inputs from the training set. One of our principle conceptual findings is a negative result: in the limit of large input dimension the network output can learn only a linear function of its inputs early in training since higher learned monomials are more and more suppressed in the input dimension and vanish in the large dimension limit. This suggests that mean-field limits of ResNets are surprisingly rigid in the regime of high input dimension and may not be sufficient toy models for understanding feature learning. Finally, we investigate how to ensure hyperparameter transfer for the learning rate as a function of dataset size and input dimension. We test our predictions numerically and find excellent agreement with our theory.
- Abstract（参考訳）: より一般的な残留ネットワークのモデルとして,非隠蔽層ブロックを有する非線形残留ネットワークの初期訓練力学について検討した。
ネットワークを逐次的に解析し、第一の幅と深さが分岐し、次にトレーニングデータポイントの数が分岐し、最終的に入力次元が分岐する。
これは、深さと幅が分岐するが、トレーニングデータポイントの数と入力次元が固定される典型的な平均場理論解析と比較して、より洗練された設定である。
我々の主な技術的成果は、トレーニングセットからの入力の内部積の統計の観点から、勾配降下数ステップ後のネットワーク出力と隠れ表現の両方の図式計算である。
ネットワーク出力は,大規模な入力次元の限界において,より学習されたモノミアルが入力次元においてますます抑制され,大きな次元の限界で消滅するので,トレーニングの初期段階において,入力の線形関数のみを学習することができる。
このことは、ResNetsの平均フィールド限界は、高い入力次元の状況において驚くほど厳格であり、特徴学習を理解するのに十分なおもちゃモデルではないことを示唆している。
最後に,データセットサイズと入力次元の関数として,学習率のハイパーパラメータ転送を確保する方法について検討する。
我々は予測を数値的に検証し、我々の理論とよく一致している。
関連論文リスト
- Asymptotics of Learning with Deep Structured (Random) Features [9.366617422860543]
機能マップの大規模なクラスでは、読み出しレイヤの学習に伴うテストエラーの厳密な特徴付けを提供しています。
いくつかのケースでは、勾配降下下で訓練された深部有限幅ニューラルネットワークによって学習された特徴写像をキャプチャできる。
論文 参考訳（メタデータ） (2024-02-21T18:35:27Z) - Feature-Learning Networks Are Consistent Across Widths At Realistic
Scales [72.27228085606147]
様々なアーキテクチャやデータセットにわたる特徴学習ニューラルネットワークのダイナミクスに対する幅の影響について検討する。
トレーニングの初期、オンラインデータでトレーニングされた広範なニューラルネットワークは、損失曲線が同じであるだけでなく、トレーニング全体を通じてポイントワイドなテスト予測に一致している。
しかし、より狭いネットワークのアンサンブルは、単一のワイドネットワークよりも性能が劣っている。
論文 参考訳（メタデータ） (2023-05-28T17:09:32Z) - Bayesian Interpolation with Deep Linear Networks [92.1721532941863]
ニューラルネットワークの深さ、幅、データセットサイズがモデル品質にどう影響するかを特徴付けることは、ディープラーニング理論における中心的な問題である。
線形ネットワークが無限深度で証明可能な最適予測を行うことを示す。
また、データに依存しない先行法により、広い線形ネットワークにおけるベイズ模型の証拠は無限の深さで最大化されることを示す。
論文 参考訳（メタデータ） (2022-12-29T20:57:46Z) - Nonlinear Advantage: Trained Networks Might Not Be As Complex as You
Think [0.0]
性能崩壊前の線形性に対するネットワーク機能をいかに単純化できるかを考察する。
訓練後, 高い性能を維持しつつ, かなりの数の非線形ユニットを線形化できることが判明した。
空間的圧力下では、残りの非線形ユニットは異なる構造に整理され、ほぼ一定の有効深さと幅のコアネットを形成する。
論文 参考訳（メタデータ） (2022-11-30T17:24:14Z) - Slimmable Networks for Contrastive Self-supervised Learning [69.9454691873866]
自己教師付き学習は、大規模なモデルを事前訓練する上で大きな進歩を遂げるが、小さなモデルでは苦労する。
追加の教師を必要とせず、訓練済みの小型モデルを得るための1段階のソリューションも導入する。
スリム化可能なネットワークは、完全なネットワークと、様々なネットワークを得るために一度にトレーニングできるいくつかの重み共有サブネットワークから構成される。
論文 参考訳（メタデータ） (2022-09-30T15:15:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。