論文の概要: Understanding the role of depth in the neural tangent kernel for overparameterized neural networks

• arxiv url: http://arxiv.org/abs/2511.07272v1
• Date: Mon, 10 Nov 2025 16:18:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-11 21:18:45.361317
• Title: Understanding the role of depth in the neural tangent kernel for overparameterized neural networks
• Title（参考訳）: 過パラメータ化ニューラルネットワークにおけるニューラル・タンジェント・カーネルにおける深度の役割の理解
• Authors: William St-Arnaud, Margarida Carvalho, Golnoosh Farnadi,
• Abstract要約: 本研究では,ReパラメータLUネットワークの高密度化について,対応する制限カーネルを特徴付けることにより検討した。 この収束挙動を観測するために必要なネットワーク深度の大きさの順序を実証的に評価する。
• 参考スコア（独自算出の注目度）: 14.953877391067893
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Overparameterized fully-connected neural networks have been shown to behave like kernel models when trained with gradient descent, under mild conditions on the width, the learning rate, and the parameter initialization. In the limit of infinitely large widths and small learning rate, the kernel that is obtained allows to represent the output of the learned model with a closed-form solution. This closed-form solution hinges on the invertibility of the limiting kernel, a property that often holds on real-world datasets. In this work, we analyze the sensitivity of large ReLU networks to increasing depths by characterizing the corresponding limiting kernel. Our theoretical results demonstrate that the normalized limiting kernel approaches the matrix of ones. In contrast, they show the corresponding closed-form solution approaches a fixed limit on the sphere. We empirically evaluate the order of magnitude in network depth required to observe this convergent behavior, and we describe the essential properties that enable the generalization of our results to other kernels.
• Abstract（参考訳）: 過パラメータ化された完全接続ニューラルネットワークは、幅、学習速度、パラメータ初期化といった穏やかな条件下で、勾配降下で訓練された場合、カーネルモデルのように振る舞うことが示されている。 無限に広い幅と少ない学習率の極限において、得られたカーネルは、学習されたモデルの出力を閉形式解で表現することができる。 このクローズドフォームのソリューションは、実世界のデータセットにしばしば保持される特性である制限カーネルの可逆性に依存している。 本研究では,対応する制限カーネルを特徴付けることにより,大きなReLUネットワークの深度に対する感度を解析する。 我々の理論的結果は、正規化された制限カーネルが1の行列に近づくことを示す。 対照的に、対応する閉形式解は球面上の一定の極限に近づく。 我々は、この収束挙動を観察するために必要なネットワーク深さの桁数を経験的に評価し、その結果を他のカーネルに一般化するために必要な性質について述べる。

関連論文リスト

• Adaptive kernel predictors from feature-learning infinite limits of neural networks [46.50233782149623]
  我々は、リッチで特徴学習可能な無限幅のニューラルネットワークについても、カーネルマシンによって記述されていることを示す。 カーネル予測器に明示的な表現を提供し、それらを数値的に計算する。
  論文  参考訳（メタデータ） (2025-02-11T22:34:49Z)
• Wide Neural Networks as Gaussian Processes: Lessons from Deep Equilibrium Models [16.07760622196666]
  本研究では,層間における共有重み行列を持つ無限深度ニューラルネットワークであるDeep equilibrium Model (DEQ)について検討する。 解析により,DEC層の幅が無限大に近づくにつれ,ガウス過程に収束することが明らかとなった。 注目すべきは、この収束は深さと幅の限界が交換されても成り立つことである。
  論文  参考訳（メタデータ） (2023-10-16T19:00:43Z)
• Gradient Descent in Neural Networks as Sequential Learning in RKBS [63.011641517977644]
  初期重みの有限近傍にニューラルネットワークの正確な電力系列表現を構築する。 幅にかかわらず、勾配降下によって生成されたトレーニングシーケンスは、正規化された逐次学習によって正確に複製可能であることを証明した。
  論文  参考訳（メタデータ） (2023-02-01T03:18:07Z)
• Neural Networks with Sparse Activation Induced by Large Bias: Tighter Analysis with Bias-Generalized NTK [86.45209429863858]
  ニューラル・タンジェント・カーネル(NTK)における一層ReLUネットワークのトレーニングについて検討した。 我々は、ニューラルネットワークが、テクティトビア一般化NTKと呼ばれる異なる制限カーネルを持っていることを示した。 ニューラルネットの様々な特性をこの新しいカーネルで研究する。
  論文  参考訳（メタデータ） (2023-01-01T02:11:39Z)
• Neural Tangent Kernel: A Survey [0.0]
  特定のパラメータ化の下でニューラルネットワークをトレーニングすることは、幅が無限に近づくにつれて、特定のカーネルメソッドを実行することと等価であることを示した。 この等価性は、カーネル法に関する豊富な文献の結果を、取り組むのがずっと難しいニューラルネットワークに適用するための有望な方向を開いた。 本調査では, 幅が無限大となるにつれて, カーネル収束の鍵となる結果, 有限幅補正, 応用, および対応する手法の限界について検討する。
  論文  参考訳（メタデータ） (2022-08-29T14:05:54Z)
• Self-Consistent Dynamical Field Theory of Kernel Evolution in Wide Neural Networks [18.27510863075184]
  勾配流を学習した無限幅ニューラルネットワークにおける特徴学習を,自己整合力学場理論を用いて解析する。 本研究では,各層に隠れた単位活性化と勾配を示す内積カーネルである決定論的動的順序パラメータの集合を,時間点のペアで構築する。
  論文  参考訳（メタデータ） (2022-05-19T16:10:10Z)
• Neural Networks as Kernel Learners: The Silent Alignment Effect [86.44610122423994]
  遅延トレーニング体制におけるニューラルネットワークは、カーネルマシンに収束する。 これは、サイレントアライメント(サイレントアライメント)という現象のためである。 また、非白データは無声アライメント効果を弱めることを示した。
  論文  参考訳（メタデータ） (2021-10-29T18:22:46Z)
• Finite Versus Infinite Neural Networks: an Empirical Study [69.07049353209463]
  カーネルメソッドは、完全に接続された有限幅ネットワークより優れている。 中心とアンサンブルの有限ネットワークは後続のばらつきを減らした。 重みの減衰と大きな学習率の使用は、有限ネットワークと無限ネットワークの対応を破る。
  論文  参考訳（メタデータ） (2020-07-31T01:57:47Z)
• Generalization bound of globally optimal non-convex neural network training: Transportation map estimation by infinite dimensional Langevin dynamics [50.83356836818667]
  本稿では,ディープラーニングの最適化を一般化誤差と関連づけて解析する理論フレームワークを提案する。 ニューラルネットワーク最適化分析のための平均場理論やニューラル・タンジェント・カーネル理論のような既存のフレームワークは、そのグローバル収束を示すために、ネットワークの無限幅の限界を取る必要がある。
  論文  参考訳（メタデータ） (2020-07-11T18:19:50Z)
• On Random Kernels of Residual Architectures [93.94469470368988]
  ResNets と DenseNets のニューラルタンジェントカーネル (NTK) に対して有限幅および深さ補正を導出する。 その結果,ResNetsでは,深さと幅が同時に無限大となるとNTKへの収束が生じる可能性が示唆された。 しかし、DenseNetsでは、NTKの幅が無限大になる傾向があるため、その限界への収束が保証されている。
  論文  参考訳（メタデータ） (2020-01-28T16:47:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。