論文の概要: Correlation flow governs learning at criticality

• arxiv url: http://arxiv.org/abs/2608.08350v1
• Date: Sat, 08 Aug 2026 22:18:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-11 19:16:36.784514
• Title: Correlation flow governs learning at criticality
• Title（参考訳）: 相関流は臨界における学習を支配する
• Abstract要約: 無限深さへの相関伝播は、重み-バイアス分散平面の1つの臨界点においてのみ可能である。 我々は、端から端までのヤコビアンが深さで代数的に消えることを示し、これを用いて、NTKが無限深さでの出力相関に完全に比例することを示す。
• 参考スコア（独自算出の注目度）: 9.341735544356167
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The initialisation of deep neural networks determines whether information and gradients can propagate across depth, yet a unified theory connecting these properties to learning dynamics remains elusive. Combining mean-field theory and random matrix theory, we establish a direct link between correlation propagation and the Neural Tangent Kernel (NTK) that governs learning in the sequential limit of infinitely wide, infinitely deep networks. Correlation propagation to infinite depth is possible only at a single critical point in the weight-bias variance plane. At this point, we show that the end-to-end Jacobian vanishes algebraically with depth, and use this to prove that the NTK becomes exactly proportional to the output correlation at infinite depth. This equivalence between information propagation and learning dynamics had not yet been noticed. We further show that orthogonal initialisation suppresses the leading finite-size corrections present under Gaussian initialisation, clarifying the respective roles of the two initialisation ensembles in this limit. These theoretical predictions are validated quantitatively on finite-width, finite-depth networks. Together, these results demonstrate that orthogonal initialisation at criticality plays a central role in controlling the asymptotic dynamics of deep learning.
• Abstract（参考訳）: ディープニューラルネットワークの初期化は、情報と勾配が深さを越えて伝播できるかどうかを決定するが、これらの特性と学習力学を結合する統一理論はいまだ解明されていない。 平均場理論とランダム行列理論を組み合わせることで、相関伝播と、無限に広大で無限に深いネットワークのシーケンシャル限界における学習を統制するニューラル・タンジェント・カーネル(NTK)の直接的なリンクを確立する。 無限深さへの相関伝播は、重み-バイアス分散平面の1つの臨界点においてのみ可能である。 この点において、端から端のヤコビアンが深さで代数的に消えることを示し、これを用いて、NTKが無限深さでの出力相関に完全に比例することを示す。 情報伝達と学習力学の同値性は、まだ発見されていない。 さらに、直交初期化はガウス初期化の下で存在する主要な有限サイズ補正を抑えることを示し、この極限における2つの初期化アンサンブルの役割を明確にする。 これらの理論予測は有限幅、有限深度ネットワーク上で定量的に検証される。 これらの結果から,臨界点における直交初期化が深層学習の漸近的ダイナミクスの制御において中心的な役割を担っていることが示唆された。

関連論文リスト

• An Infinite-Width Analysis on the Jacobian-Regularised Training of a Neural Network [10.384951432591492]
  深部ニューラルネットワークの無限幅限界における最近の理論的分析により、ネットワークの初期化、特徴学習、トレーニングに対する理解が深まりました。 この無限幅解析は、ディープニューラルネットワークのヤコビアンにまで拡張可能であることを示す。 我々は、広い有限ネットワークに対する理論的主張の関連性を実験的に示し、核回帰解の性質を実験的に解析し、ヤコビアン正則化の洞察を得る。
  論文  参考訳（メタデータ） (2023-12-06T09:52:18Z)
• Feature Learning and Generalization in Deep Networks with Orthogonal Weights [1.7956122940209063]
  独立なガウス分布からの数値的な重みを持つディープニューラルネットワークは臨界に調整することができる。 これらのネットワークは、ネットワークの深さとともに線形に成長する変動を示す。 行列のアンサンブルから得られるタン・アクティベーションと重みを持つ長方形のネットワークが、それに対応する事前アクティベーション・揺らぎを持つことを示す。
  論文  参考訳（メタデータ） (2023-10-11T18:00:02Z)
• Gradient Descent in Neural Networks as Sequential Learning in RKBS [63.011641517977644]
  初期重みの有限近傍にニューラルネットワークの正確な電力系列表現を構築する。 幅にかかわらず、勾配降下によって生成されたトレーニングシーケンスは、正規化された逐次学習によって正確に複製可能であることを証明した。
  論文  参考訳（メタデータ） (2023-02-01T03:18:07Z)
• Neural Networks with Sparse Activation Induced by Large Bias: Tighter Analysis with Bias-Generalized NTK [86.45209429863858]
  ニューラル・タンジェント・カーネル(NTK)における一層ReLUネットワークのトレーニングについて検討した。 我々は、ニューラルネットワークが、テクティトビア一般化NTKと呼ばれる異なる制限カーネルを持っていることを示した。 ニューラルネットの様々な特性をこの新しいカーネルで研究する。
  論文  参考訳（メタデータ） (2023-01-01T02:11:39Z)
• Neural Tangent Kernel Beyond the Infinite-Width Limit: Effects of Depth and Initialization [3.2971341821314777]
  幅に匹敵する深さを持つ完全接続型ReLUネットワークのNTKについて検討する。 深層ネットワークのNTKは, トレーニング中のみ, 整列状態に留まることが示される。
  論文  参考訳（メタデータ） (2022-02-01T16:52:16Z)
• The edge of chaos: quantum field theory and deep neural networks [0.0]
  我々は、ディープニューラルネットワークの一般クラスに対応する量子場理論を明示的に構築する。 我々は、深さ$T$と幅$N$との比の摂動展開において、相関関数に対するループ補正を計算する。 我々の分析は、急速に出現するNN-QFT対応に対する第一原理のアプローチを提供し、ディープニューラルネットワークの臨界性の研究にいくつかの興味深い道を開く。
  論文  参考訳（メタデータ） (2021-09-27T18:00:00Z)
• A Convergence Theory Towards Practical Over-parameterized Deep Neural Networks [56.084798078072396]
  ネットワーク幅と収束時間の両方で既知の理論境界を大幅に改善することにより、理論と実践のギャップを埋める一歩を踏み出します。 本研究では, サンプルサイズが2次幅で, 両者の時間対数で線形なネットワークに対して, 地球最小値への収束が保証されていることを示す。 私たちの分析と収束境界は、いつでも合理的なサイズの同等のRELUネットワークに変換できる固定アクティベーションパターンを備えたサロゲートネットワークの構築によって導出されます。
  論文  参考訳（メタデータ） (2021-01-12T00:40:45Z)
• Learning Connectivity of Neural Networks from a Topological Perspective [80.35103711638548]
  本稿では,ネットワークを解析のための完全なグラフに表現するためのトポロジ的視点を提案する。 接続の規模を反映したエッジに学習可能なパラメータを割り当てることにより、学習プロセスを異なる方法で行うことができる。 この学習プロセスは既存のネットワークと互換性があり、より大きな検索空間と異なるタスクへの適応性を持っている。
  論文  参考訳（メタデータ） (2020-08-19T04:53:31Z)
• Generalization bound of globally optimal non-convex neural network training: Transportation map estimation by infinite dimensional Langevin dynamics [50.83356836818667]
  本稿では,ディープラーニングの最適化を一般化誤差と関連づけて解析する理論フレームワークを提案する。 ニューラルネットワーク最適化分析のための平均場理論やニューラル・タンジェント・カーネル理論のような既存のフレームワークは、そのグローバル収束を示すために、ネットワークの無限幅の限界を取る必要がある。
  論文  参考訳（メタデータ） (2020-07-11T18:19:50Z)
• Revisiting Initialization of Neural Networks [72.24615341588846]
  ヘッセン行列のノルムを近似し, 制御することにより, 層間における重みのグローバルな曲率を厳密に推定する。 Word2Vec と MNIST/CIFAR 画像分類タスクの実験により,Hessian ノルムの追跡が診断ツールとして有用であることが確認された。
  論文  参考訳（メタデータ） (2020-04-20T18:12:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。