論文の概要: Mesoscopic learning dynamics of extensive-width neural networks

• arxiv url: http://arxiv.org/abs/2610.23779v1
• Date: Fri, 16 Oct 2026 17:12:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-20 00:56:08.032562
• Title: Mesoscopic learning dynamics of extensive-width neural networks
• Title（参考訳）: 広帯域ニューラルネットワークのメソスコピック学習ダイナミクス
• Abstract要約: 本研究では、リッチターゲット関数で訓練された広範ニューラルネットワークにおいて、勾配降下が内部表現をどのように学習するかを検討する。 重なりの分布を特徴付けることで,メソスコピックな学習記述を開発する。 広帯域ネットワークにおける特殊化は二次遮蔽機構によって加速される。
• 参考スコア（独自算出の注目度）: 13.146886058428352
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Understanding how stochastic gradient descent learns internal representations in wide neural networks trained on rich target functions is a central problem in machine learning. We study this question in two-layer neural networks learning target functions represented by networks of the same architecture, with arbitrary nonlinearity, and with network width and input dimension growing proportionally. In this regime, standard approaches for describing the learning dynamics require tracking a diverging number of overlaps, which measure correlations between learned and target features, leaving no obvious description in terms of a few order parameters. Here, we develop a mesoscopic description of learning by characterizing the distribution of overlaps. In the early stages of learning, we find that a Gaussian description of overlap statistics reduces the learning dynamics to a few collective variables that track learning of the target function's linear and quadratic components. We then estimate the timescale of specialization, when Gaussian closure breaks down and individual learned features begin to strongly correlate with specific target features. We find that specialization in extensive-rank networks is accelerated via a quadratic shielding mechanism, whereby learning the linear and quadratic components of the target function filters gradient fluctuations. We finally describe how the activation function determines the pattern of specialization and characterize the subsequent refinement of learned features. Together, these results show how collective learning gives way to individual feature discovery and clarify when learning in large neural networks admits a simple statistical description.
• Abstract（参考訳）: リッチターゲット関数でトレーニングされた広いニューラルネットワークにおいて、確率勾配降下が内部表現をどのように学習するかを理解することは、機械学習における中心的な問題である。 この問題は、同じアーキテクチャのネットワークで表されるターゲット関数を学習する2層ニューラルネットワークにおいて、任意の非線形性を持ち、ネットワーク幅と入力次元は比例的に増大する。 この体制では、学習力学を記述するための標準的なアプローチは、学習特徴と対象特徴の相関を計測し、いくつかの順序パラメータの観点で明らかな記述を残さずに、重複する数を追跡する必要がある。 そこで我々は,重なりの分布を特徴付けることによって,学習のメソスコピックな記述を開発する。 学習の初期段階において、重複統計のガウス的記述は、対象関数の線形成分と二次成分の学習を追跡するいくつかの集合変数に学習ダイナミクスを還元する。 次に、ガウス閉包が崩壊し、個々の学習特徴が特定の目標特徴と強く相関し始めると、特殊化の時間スケールを推定する。 広帯域ネットワークにおける特殊化は、2次遮蔽機構によって加速され、ターゲット関数フィルタの線形成分と2次成分を学習することで勾配変動を学習する。 最後に、アクティベーション関数がどのように特殊化のパターンを決定するかを説明し、その後の学習特徴の洗練を特徴付ける。 これらの結果は、集合学習が個々の特徴発見にどのように役立つかを示し、大きなニューラルネットワークで学習すると、単純な統計的記述が認められる。

関連論文リスト

• Statistical physics of deep learning: Optimal learning of a multi-layer perceptron near interpolation [7.079039376205091]
  多層パーセプトロンの教師あり学習について検討する。 トレーニング可能なパラメータとデータの数が同等となる、困難な状況に注目します。 その単純さにもかかわらず、ベイズ最適設定は、深さ、非線形性、および有限幅がニューラルネットワークにどのように影響するかについての洞察を与える。
  論文  参考訳（メタデータ） (2025-10-28T16:44:34Z)
• Global Convergence and Rich Feature Learning in $L$-Layer Infinite-Width Neural Networks under $μ$P Parametrization [66.03821840425539]
  本稿では, テンソル勾配プログラム(SGD)フレームワークを用いた$L$層ニューラルネットワークのトレーニング力学について検討する。 SGDにより、これらのネットワークが初期値から大きく逸脱する線形独立な特徴を学習できることを示す。 このリッチな特徴空間は、関連するデータ情報をキャプチャし、トレーニングプロセスの収束点が世界最小であることを保証する。
  論文  参考訳（メタデータ） (2025-03-12T17:33:13Z)
• Feature Averaging: An Implicit Bias of Gradient Descent Leading to Non-Robustness in Neural Networks [13.983863226803336]
  勾配降下によって訓練されたニューラルネットワークは、分類に平均的な特徴に依存する傾向があることを示す。 勾配降下は、各隠れニューロンの重みがクラスター中心の平均を表す特徴平均化に偏りがあることを証明した。 我々は,2層ReLUネットワークが個々の特徴を分類する訓練を行う際に,最適なロバスト性を実現することを証明した。
  論文  参考訳（メタデータ） (2024-10-14T09:28:32Z)
• Coding schemes in neural networks learning classification tasks [52.22978725954347]
  完全接続型広義ニューラルネットワーク学習タスクについて検討する。 ネットワークが強力なデータ依存機能を取得することを示す。 驚くべきことに、内部表現の性質は神経の非線形性に大きく依存する。
  論文  参考訳（メタデータ） (2024-06-24T14:50:05Z)
• Get rich quick: exact solutions reveal how unbalanced initializations promote rapid feature learning [26.07501953088188]
  本研究では,非平衡層固有の初期化分散と学習速度が特徴学習の度合いを決定するかを検討する。 分析の結果,保存量によって学習体制に影響を及ぼすことが示唆された。 我々は、この不均衡なリッチレジームが、深い有限幅ネットワークにおける特徴学習を駆動し、CNNにおける初期層の解釈可能性を促進し、階層データの学習の複雑さを減らし、モジュラー算術の時間を短縮することを示す。
  論文  参考訳（メタデータ） (2024-06-10T10:42:37Z)
• Provable Multi-Task Representation Learning by Two-Layer ReLU Neural Networks [69.38572074372392]
  本稿では,複数タスクにおける非線形モデルを用いたトレーニング中に特徴学習が発生することを示す最初の結果を示す。 私たちのキーとなる洞察は、マルチタスク事前トレーニングは、通常タスク間で同じラベルを持つポイントを整列する表現を好む擬似コントラスト的損失を誘導するということです。
  論文  参考訳（メタデータ） (2023-07-13T16:39:08Z)
• Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
  識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。 データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
  論文  参考訳（メタデータ） (2022-02-01T17:11:13Z)
• Toward Understanding the Feature Learning Process of Self-supervised Contrastive Learning [43.504548777955854]
  本研究では,その特徴学習過程を解析することにより,ニューラルネットワークの特徴表現のコントラスト学習について検討する。 textbfReLUネットワークを用いたコントラスト学習は、適切な拡張が採用されれば、所望のスパース特徴を確実に学習できることを実証する。
  論文  参考訳（メタデータ） (2021-05-31T16:42:09Z)
• A neural anisotropic view of underspecification in deep learning [60.119023683371736]
  ニューラルネットが問題の未特定化を扱う方法が,データ表現に大きく依存していることを示す。 深層学習におけるアーキテクチャ的インダクティブバイアスの理解は,これらのシステムの公平性,堅牢性,一般化に対処する上で基本的であることを強調した。
  論文  参考訳（メタデータ） (2021-04-29T14:31:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。