論文の概要: Spectral phase transitions and trainability in neural network learning dynamics

• arxiv url: http://arxiv.org/abs/2606.28486v1
• Date: Fri, 26 Jun 2026 18:00:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-30 18:07:15.583747
• Title: Spectral phase transitions and trainability in neural network learning dynamics
• Title（参考訳）: ニューラルネットワーク学習力学におけるスペクトル相転移とトレーニング可能性
• Abstract要約: トレーニング中のニューラルネットワーク重量行列のスペクトルにおける低次元構造の出現について検討した。 この結果から,スペクトル解析が学習力学の統一的な視点を提供する可能性が示唆された。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The emergence of low-dimensional structures in the spectra of neural network weight matrices is a common empirical feature of trained models, but the dynamical origin of this phenomenon during learning remains an open problem. We formulate neural network training as the stochastic evolution of an initially random matrix ensemble, driven by stochastic gradient descent (SGD) updates that reshape the spectral bulk while amplifying signal strength. This induces a Baik-Ben Arous-Péché (BBP) transition during training, where isolated eigenvalues detach from the random bulk distribution, providing a dynamical framework for representation formation in high-dimensional learning dynamics. We demonstrate this in a solvable linear teacher-student model, where spectral evolution is analytically tractable and a phase diagram of trainability governed by the step size (or learning rate) and initial weight variance is obtained, and subsequently extend our formalism beyond the linear regime to nonlinear and stochastic settings. Numerical simulations in realistic settings support this picture, showing robust emergence of spectral alignment during training. Our results suggest that spectral analysis may provide a unified perspective of stochastic learning dynamics, linking trainability, optimisation hyperparameters, spectral phase transitions, and representation learning in neural networks.
• Abstract（参考訳）: ニューラルネットワークの重み行列のスペクトルにおける低次元構造の出現は、訓練されたモデルの一般的な経験的特徴であるが、学習中のこの現象の動的起源は未解決の問題である。 信号強度を増幅しながらスペクトルバルクを再形成する確率勾配降下(SGD)更新により、初期ランダムな行列アンサンブルの確率的進化としてニューラルネットワークトレーニングを定式化する。 これにより、Baik-Ben Arous-Péché (BBP) 遷移が誘導され、ランダムなバルク分布から孤立した固有値が分離され、高次元学習力学における表現形成のための動的枠組みが提供される。 本研究では、スペクトル進化を解析的に抽出可能とし、ステップサイズ(または学習率)によって支配される訓練可能性の位相図を導出し、初期重み分散を求め、線形状態を超えて非線形かつ確率的な設定へとフォーマリズムを拡大する可解線形教師学生モデルでこれを実証する。 現実的な設定での数値シミュレーションはこの図をサポートし、トレーニング中にスペクトルアライメントが頑健に現れることを示す。 この結果から, スペクトル解析は, 確率論的学習力学, トレーニング容易性, 最適化ハイパーパラメータ, スペクトル位相遷移, ニューラルネットワークにおける表現学習の統一的な視点を提供する可能性が示唆された。

関連論文リスト

• The Weight Gram Matrix Captures Sequential Feature Linearization in Deep Networks [10.475180266869081]
  ディープニューラルネットワークがどのように学習するかを理解することは、マシンラーニング理論における中心的な課題である。 本稿では,重み更新と特徴進化を関連づけたニューラルネットワーク学習のための特徴中心フレームワークを提案する。 トレーニングとレイヤーワイドのダイナミクスを解析することにより、ディープネットワークは、ターゲット-線形構造への表現の逐次変換を学習することを示す。
  論文  参考訳（メタデータ） (2026-05-07T13:35:11Z)
• Disordered Dynamics in High Dimensions: Connections to Random Matrices and Machine Learning [52.26396748560348]
  ランダム行列によって駆動される高次元力学系について概説する。 機械学習理論における学習と一般化の単純なモデルへの応用に焦点を当てる。
  論文  参考訳（メタデータ） (2026-01-03T00:12:32Z)
• Phase diagram and eigenvalue dynamics of stochastic gradient descent in multilayer neural networks [0.0]
  ニューラルネットワークの位相図について検討し、各位相は重み行列の特異なダイナミクスによって特徴づけられる。 勾配降下に対するランゲヴィン方程式を用いて、3つの力学系を効果的に分類できることを実証する。
  論文  参考訳（メタデータ） (2025-09-01T10:38:31Z)
• An Analytical Characterization of Sloppiness in Neural Networks: Insights from Linear Models [18.99511760351873]
  近年の研究では、複数の深層ニューラルネットワークのトレーニング軌道が、驚くほど低次元の「ハイパーリボン様」多様体上で進化することが示されている。 深層ネットワークと線形ネットワークの訓練軌跡の類似性から着想を得て,この現象を後者に対して解析的に特徴付ける。 この低次元多様体の幾何学は, (i) トレーニングデータの入力相関行列の固有値の減衰率, (ii) トレーニング開始時の接地トラスト出力の相対スケール, (iii) 勾配勾配のステップ数によって制御されることを示す。
  論文  参考訳（メタデータ） (2025-05-13T19:20:19Z)
• Approaching Deep Learning through the Spectral Dynamics of Weights [41.948042468042374]
  重みのスペクトル力学 -- 最適化中の特異値とベクトルの振る舞い -- は、ディープラーニングにおけるいくつかの現象を明確にし、統一する。 ConvNetによる画像分類,UNetsによる画像生成,LSTMによる音声認識,Transformersによる言語モデリングなど,さまざまな実験における最適化における一貫したバイアスを同定する。
  論文  参考訳（メタデータ） (2024-08-21T17:48:01Z)
• Machine learning in and out of equilibrium [58.88325379746631]
  我々の研究は、統計物理学から適応したフォッカー・プランク法を用いて、これらの平行線を探索する。 我々は特に、従来のSGDでは平衡が切れている長期的限界におけるシステムの定常状態に焦点を当てる。 本稿では,ミニバッチの置き換えを伴わない新しいランゲヴィンダイナミクス(SGLD)を提案する。
  論文  参考訳（メタデータ） (2023-06-06T09:12:49Z)
• Capturing dynamical correlations using implicit neural representations [85.66456606776552]
  実験データから未知のパラメータを復元するために、モデルハミルトンのシミュレーションデータを模倣するために訓練されたニューラルネットワークと自動微分を組み合わせた人工知能フレームワークを開発する。 そこで本研究では, 実時間から多次元散乱データに適用可能な微分可能なモデルを1回だけ構築し, 訓練する能力について述べる。
  論文  参考訳（メタデータ） (2023-04-08T07:55:36Z)
• Spectral Evolution and Invariance in Linear-width Neural Networks [8.419660614226816]
  線形幅フィードフォワードニューラルネットワークのスペクトル特性について検討する。 この高次元構造における重みのスペクトルは、小さな定常学習率の勾配降下によって訓練されたときに不変であることを示す。 また,テストエラーや特徴学習の少ない適応的勾配学習では,重みとカーネルの両方に重みが認められた。
  論文  参考訳（メタデータ） (2022-11-11T23:00:30Z)
• Momentum Diminishes the Effect of Spectral Bias in Physics-Informed Neural Networks [72.09574528342732]
  物理インフォームドニューラルネットワーク(PINN)アルゴリズムは、偏微分方程式(PDE)を含む幅広い問題を解く上で有望な結果を示している。 彼らはしばしば、スペクトルバイアスと呼ばれる現象のために、ターゲット関数が高周波の特徴を含むとき、望ましい解に収束しない。 本研究は, 運動量による勾配降下下で進化するPINNのトレーニングダイナミクスを, NTK(Neural Tangent kernel)を用いて研究するものである。
  論文  参考訳（メタデータ） (2022-06-29T19:03:10Z)
• Neural Dynamic Mode Decomposition for End-to-End Modeling of Nonlinear Dynamics [49.41640137945938]
  ニューラルネットワークに基づくリフト関数を推定するためのニューラルダイナミックモード分解法を提案する。 提案手法により,予測誤差はニューラルネットワークとスペクトル分解によって逆伝搬される。 提案手法の有効性を,固有値推定と予測性能の観点から実証した。
  論文  参考訳（メタデータ） (2020-12-11T08:34:26Z)
• Kernel and Rich Regimes in Overparametrized Models [69.40899443842443]
  過度にパラメータ化された多層ネットワーク上の勾配勾配は、RKHSノルムではないリッチな暗黙バイアスを誘発できることを示す。 また、より複雑な行列分解モデルと多層非線形ネットワークに対して、この遷移を実証的に示す。
  論文  参考訳（メタデータ） (2020-02-20T15:43:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。