論文の概要: Singular perturbations and hierarchical learning in two-layer neural networks
- arxiv url: http://arxiv.org/abs/2607.10869v1
- Date: Sun, 12 Jul 2026 18:10:23 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-14 15:40:48.557677
- Title: Singular perturbations and hierarchical learning in two-layer neural networks
- Title（参考訳）: 2層ニューラルネットワークにおける特異摂動と階層学習
- Abstract要約: 本研究では, 無限に広い2層ニューラルネットワークの集団勾配流を, 高次元で不特定な単一インデックスモデルから学習する。
隠れリンク関数の定数成分と線形成分が実際に予測された時間スケール内で復元されることを証明した。
- 参考スコア（独自算出の注目度）: 3.899493143383179
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We study the population gradient flow of an infinitely wide two-layer neural network learning a misspecified single-index model in high dimension. The two layers are optimized jointly, with a perturbative parameter tuning the relative training speed between the first and second layer. This setting was considered by Berthier, Montanari and Zhou in \cite{berthier2024learning}, who conjectured a hierarchical learning scenario with explicit timescales as the second layer is trained faster than the first. In this paper, we prove that the constant and linear components of the hidden link function are indeed recovered within the predicted timescales, at sharp explicit thresholds. We then analyze the onset of learning of the quadratic component and show that the components learned at earlier stages continue to influence the dynamics in an essential way. Our proof is based on quantitative approximation results for singularly perturbed flows evolving near a manifold defined by integral constraints. At a phenomenological level, we also show that the empirical measure of the weights displays singular behaviour when reaching the quadratic component of the hidden link, with a small fraction of neurons growing significantly while the remaining ones rearrange to preserve the components already learned.
- Abstract（参考訳）: 本研究では, 無限に広い2層ニューラルネットワークの集団勾配流を, 高次元で不特定な単一インデックスモデルから学習する。
2つの層は、第1層と第2層の間の相対的なトレーニング速度を調整する摂動パラメータと共に、共同最適化される。
この設定は、Berthier, Montanari, Zhou 両氏が \cite{berthier2024learning} で考えたものだ。
本稿では,隠れリンク関数の定数成分と線形成分が,予測された時間スケール内で,鋭い明示しきい値で復元されることを実証する。
次に、2次成分の学習の開始を解析し、早期に学習した成分が本質的な方法で力学に影響を与え続けていることを示す。
我々の証明は、積分制約によって定義される多様体の近くで進化する特異摂動流の定量的近似結果に基づいている。
また, 現象学レベルでは, 隠れリンクの二次成分に到達した際の重みの経験的測定値に特異な挙動がみられ, 残りの成分が既に学習した成分を保存するために再配置されている間, 少数のニューロンが著しく成長した。
関連論文リスト
- Learning Orthogonal Multi-Index Models Beyond Small Initialization: Incremental Learning, Competitive Dynamics and Symmetry [52.75288960194919]
最近の研究で、シングルインデックスモデルとマルチインデックスモデルに基づいて訓練された浅層ネットワークにおける漸進的な学習が特定されている。
対称性に基づく有限幅近似を,無限幅の極限と直接比較するのではなく,対称性付きネットワークを用いて導入する。
論文 参考訳（メタデータ） (2026-09-09T22:35:31Z) - Dichotomy of Feature Learning and Unlearning: Fast-Slow Analysis on Neural Networks with Stochastic Gradient Descent [5.5165579223151795]
本研究では,大きなバッチ勾配で更新された2層ニューラルネットワークの無限幅限界を考察し,時間スケールの異なる微分方程式を導出する。
スローダイナミクスによって決定される臨界多様体上の流れの方向は、特徴未学習が発生するかどうかを決定する。
その結果, (i)データにおける一次非線形項の強さは特徴非学習を誘導し, (ii)第2層重みの初期スケールは特徴非学習を緩和することがわかった。
論文 参考訳（メタデータ） (2026-02-07T05:50:44Z) - Explaining Grokking and Information Bottleneck through Neural Collapse Emergence [33.22494588674352]
本稿では,グルーキングの統一的な説明と,神経崩壊のレンズによる情報ボトルネック原理について述べる。
本研究では,集団の集団間分散の縮小が,情報ボトルネックとグルーキングの両根底にある重要な要因であることを示す。
神経崩壊のダイナミクスを解析することにより、トレーニングセットの適合と神経崩壊の進行の間に異なる時間スケールが、後期現象の挙動に関係していることが示される。
論文 参考訳（メタデータ） (2025-09-25T07:17:41Z) - New Evidence of the Two-Phase Learning Dynamics of Neural Networks [59.55028392232715]
時間ウィンドウ全体にわたってネットワーク状態を比較するインターバルワイズ・パースペクティブを導入する。
摂動に対するネットワークの応答はカオスから安定への移行を示す。
また、この遷移点の後に、モデルの関数軌道は狭い円錐形の部分集合に制限される。
論文 参考訳（メタデータ） (2025-05-20T04:03:52Z) - A Theory of Non-Linear Feature Learning with One Gradient Step in Two-Layer Neural Networks [43.281323350357404]
機能学習は、ディープニューラルネットワークの成功の根本的な理由の1つであると考えられている。
サンプルサイズとともに成長する学習率によって、このようなトレーニングが実際に複数のランクワンコンポーネントを導入していることを示す。
論文 参考訳（メタデータ） (2023-10-11T20:55:02Z) - Learning time-scales in two-layers neural networks [11.878594839685471]
高次元の広層ニューラルネットワークの勾配流れのダイナミクスについて検討する。
新たな厳密な結果に基づいて,この環境下での学習力学のシナリオを提案する。
論文 参考訳（メタデータ） (2023-02-28T19:52:26Z) - Catapult Dynamics and Phase Transitions in Quadratic Nets [15.388101504755085]
カタパルト相は2層モデルと2層同種ニューラルネットを含む多種モデルのモデルに存在することを証明します。
一定範囲の学習率において,損失が大きいと重みノルムが低下することを示す。
また、この理論的に導出された範囲を超えて学習率を実証的に研究し、超臨界学習率で訓練されたReLUネットの活性化マップが、学習率を増加させるにつれて、より疎結合になることを示す。
論文 参考訳（メタデータ） (2023-01-18T19:03:48Z) - Improved Convergence Guarantees for Shallow Neural Networks [91.3755431537592]
勾配降下法により訓練された深度2ニューラルネットの収束度を世界最小とする。
我々のモデルには、二次損失関数による回帰、完全連結フィードフォワードアーキテクチャ、RelUアクティベーション、ガウスデータインスタンス、逆ラベルといった特徴がある。
彼らは、少なくとも我々のモデルでは、収束現象がNTK体制をはるかに超越していることを強く示唆している」。
論文 参考訳（メタデータ） (2022-12-05T14:47:52Z) - Multi-scale Feature Learning Dynamics: Insights for Double Descent [71.91871020059857]
一般化誤差の「二重降下」現象について検討する。
二重降下は、異なるスケールで学習される異なる特徴に起因する可能性がある。
論文 参考訳（メタデータ） (2021-12-06T18:17:08Z) - Optimization-Based Separations for Neural Networks [57.875347246373956]
本研究では,2層のシグモダルアクティベーションを持つディープ2ニューラルネットワークを用いて,ボールインジケータ関数を効率よく学習できることを示す。
これは最適化に基づく最初の分離結果であり、より強力なアーキテクチャの近似の利点は、実際に確実に現れる。
論文 参考訳（メタデータ） (2021-12-04T18:07:47Z) - Towards an Understanding of Benign Overfitting in Neural Networks [104.2956323934544]
現代の機械学習モデルは、しばしば膨大な数のパラメータを使用し、通常、トレーニング損失がゼロになるように最適化されている。
ニューラルネットワークの2層構成において、これらの良質な過適合現象がどのように起こるかを検討する。
本稿では,2層型ReLUネットワーク補間器を極小最適学習率で実現可能であることを示す。
論文 参考訳（メタデータ） (2021-06-06T19:08:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。