論文の概要: Spectral Dynamics in Deep Networks: Feature Learning, Outlier Escape, and Learning Rate Transfer

• arxiv url: http://arxiv.org/abs/2605.07870v1
• Date: Fri, 08 May 2026 15:28:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-11 19:43:39.158216
• Title: Spectral Dynamics in Deep Networks: Feature Learning, Outlier Escape, and Learning Rate Transfer
• Title（参考訳）: ディープ・ネットワークにおけるスペクトルダイナミクス--特徴学習,アウトリーブ・エスケープ,学習速度伝達
• Authors: Clarissa Lauditi, Cengiz Pehlevan, Blake Bordelon,
• Abstract要約: 本研究では,(確率的な)勾配勾配で学習した広帯域ニューラルネットワークにおける隠れ重みスペクトルの進化について検討する。 我々は、スパイクされたアンサンブルに対するバルクおよび外周スペクトルダイナミクスを共同で追跡する2レベル力学平均場理論(DMFT)を開発した。
• 参考スコア（独自算出の注目度）: 46.50233782149623
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We study the evolution of hidden-weight spectra in wide neural networks trained by (stochastic) gradient descent. We develop a two-level dynamical mean-field theory (DMFT) that jointly tracks bulk and outlier spectral dynamics for spiked ensembles whose spike directions remain statistically dependent on the random bulk. We apply this framework to two settings: (1) infinite-width nonlinear networks in mean-field/$μ$P scaling and (2) deep linear networks in the proportional high-dimensional limit, where width, input dimension, and sample size diverge with fixed ratios. Our theory predicts how outliers evolve with training time, width, output scale, and initialization variance. In deep linear networks, $μ$P yields width-consistent outlier dynamics and hyperparameter transfer, including width-stable growth of the leading NTK mode toward the edge of stability (EoS). In contrast, NTK parameterization exhibits strongly width-dependent outlier dynamics, despite converging to a stable large-width limit. We show that this bulk+outlier picture is descriptive of simple tasks with small output channels, but that tasks involving large numbers of outputs (ImageNet classification or GPT language modeling) are better described by a restructuring of the spectral bulk. We develop a toy model with extensive output channels that recapitulates this phenomenon and show that edge of the spectrum still converges for sufficiently wide networks.
• Abstract（参考訳）: 本研究では,(確率的な)勾配勾配で学習した広帯域ニューラルネットワークにおける隠れ重みスペクトルの進化について検討する。 スパイク方向が統計的にランダムなバルクに依存しているスパイクアンサンブルに対して、バルクおよび外周スペクトルダイナミクスを共同で追跡する2レベル力学平均場理論(DMFT)を開発した。 この枠組みは,(1)平均場/$μ$Pスケーリングにおける無限幅非線形ネットワーク,(2)幅,入力寸法,サンプルサイズが一定比率で分散する比例的高次元極限における深部線形ネットワークの2つの設定に適用する。 我々の理論は、トレーニング時間、幅、出力スケール、初期化のばらつきとともに、アウトリーチがどのように進化するかを予測する。 深い線形ネットワークでは、$μ$P は、主NTKモードの安定性(EoS)に向かっての幅安定な成長を含む、幅一貫性のある外層力学とハイパーパラメータ移動をもたらす。 対照的にNTKパラメータ化は、安定な大幅限界に収束するにもかかわらず、強い幅依存の外れ値ダイナミクスを示す。 このバルク+アウトリー図は、小さな出力チャネルを持つ単純なタスクを記述しているが、大量のアウトプット(画像ネット分類やGPT言語モデリング)を含むタスクは、スペクトルバルクの再構成によってよりうまく記述されている。 我々は、この現象を再カプセル化する広範な出力チャネルを持つ玩具モデルを開発し、スペクトルのエッジが十分に広いネットワークに収束していることを示す。

関連論文リスト

• Super Consistency of Neural Network Landscapes and Learning Rate Transfer [72.54450821671624]
  我々は、失われたヘッセンのレンズを通して風景を研究する。 我々は、$mu$P のスペクトル特性がネットワークの大きさに大きく依存していることを発見した。 ニューラルタンジェントカーネル(NTK)や他のスケーリングシステムでは、シャープネスは異なるスケールで非常に異なるダイナミクスを示す。
  論文  参考訳（メタデータ） (2024-02-27T12:28:01Z)
• Feature Learning and Generalization in Deep Networks with Orthogonal Weights [1.7956122940209063]
  独立なガウス分布からの数値的な重みを持つディープニューラルネットワークは臨界に調整することができる。 これらのネットワークは、ネットワークの深さとともに線形に成長する変動を示す。 行列のアンサンブルから得られるタン・アクティベーションと重みを持つ長方形のネットワークが、それに対応する事前アクティベーション・揺らぎを持つことを示す。
  論文  参考訳（メタデータ） (2023-10-11T18:00:02Z)
• Feature-Learning Networks Are Consistent Across Widths At Realistic Scales [72.27228085606147]
  様々なアーキテクチャやデータセットにわたる特徴学習ニューラルネットワークのダイナミクスに対する幅の影響について検討する。 トレーニングの初期、オンラインデータでトレーニングされた広範なニューラルネットワークは、損失曲線が同じであるだけでなく、トレーニング全体を通じてポイントワイドなテスト予測に一致している。 しかし、より狭いネットワークのアンサンブルは、単一のワイドネットワークよりも性能が劣っている。
  論文  参考訳（メタデータ） (2023-05-28T17:09:32Z)
• Bayesian Interpolation with Deep Linear Networks [92.1721532941863]
  ニューラルネットワークの深さ、幅、データセットサイズがモデル品質にどう影響するかを特徴付けることは、ディープラーニング理論における中心的な問題である。 線形ネットワークが無限深度で証明可能な最適予測を行うことを示す。 また、データに依存しない先行法により、広い線形ネットワークにおけるベイズ模型の証拠は無限の深さで最大化されることを示す。
  論文  参考訳（メタデータ） (2022-12-29T20:57:46Z)
• Asymptotics of Wide Convolutional Neural Networks [18.198962344790377]
  スキップ接続を有する広帯域CNNおよびネットワークのスケーリング法則について検討する。 有限幅モデルと無限幅モデルのパフォーマンス差は,モデル幅に対して一定の速度で消失することがわかった。
  論文  参考訳（メタデータ） (2020-08-19T21:22:19Z)
• Kernel and Rich Regimes in Overparametrized Models [69.40899443842443]
  過度にパラメータ化された多層ネットワーク上の勾配勾配は、RKHSノルムではないリッチな暗黙バイアスを誘発できることを示す。 また、より複雑な行列分解モデルと多層非線形ネットワークに対して、この遷移を実証的に示す。
  論文  参考訳（メタデータ） (2020-02-20T15:43:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。