論文の概要: Depth-induced NTK: Bridging Over-parameterized Neural Networks and Deep Neural Kernels

• arxiv url: http://arxiv.org/abs/2511.05585v1
• Date: Wed, 05 Nov 2025 10:00:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-11 21:18:44.473232
• Title: Depth-induced NTK: Bridging Over-parameterized Neural Networks and Deep Neural Kernels
• Title（参考訳）: 深さ誘起NTK:過パラメータニューラルネットワークとディープニューラルカーネルのブリッジング
• Authors: Yong-Ming Tian, Shuang Liang, Shao-Qun Zhang, Feng-Lei Fan,
• Abstract要約: 階層的特徴変換をカーネル空間にマッピングすることで、オーバーパラメータ化ニューラルネットワークを解釈するための原則的フレームワークを提供する。 ネットワーク深度が無限に近づくとガウス過程に収束するショートカット関連アーキテクチャに基づく深さ誘起NTKカーネルを提案する。 この知見は,ニューラルネットワーク理論の既存の状況を大きく拡張し,深層学習とスケーリング法則の深い理解を提供する。
• 参考スコア（独自算出の注目度）: 13.302913618949468
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: While deep learning has achieved remarkable success across a wide range of applications, its theoretical understanding of representation learning remains limited. Deep neural kernels provide a principled framework to interpret over-parameterized neural networks by mapping hierarchical feature transformations into kernel spaces, thereby combining the expressive power of deep architectures with the analytical tractability of kernel methods. Recent advances, particularly neural tangent kernels (NTKs) derived by gradient inner products, have established connections between infinitely wide neural networks and nonparametric Bayesian inference. However, the existing NTK paradigm has been predominantly confined to the infinite-width regime, while overlooking the representational role of network depth. To address this gap, we propose a depth-induced NTK kernel based on a shortcut-related architecture, which converges to a Gaussian process as the network depth approaches infinity. We theoretically analyze the training invariance and spectrum properties of the proposed kernel, which stabilizes the kernel dynamics and mitigates degeneration. Experimental results further underscore the effectiveness of our proposed method. Our findings significantly extend the existing landscape of the neural kernel theory and provide an in-depth understanding of deep learning and the scaling law.
• Abstract（参考訳）: ディープラーニングは幅広い応用において顕著な成功を収めてきたが、その表現学習の理論的理解は依然として限られている。 ディープ・ニューラル・カーネルは、階層的特徴変換をカーネル空間にマッピングし、ディープ・アーキテクチャの表現力とカーネル・メソッドの分析的トラクタビリティを組み合わせることで、オーバー・パラメータ化されたニューラルネットワークを解釈するための原則化された枠組みを提供する。 近年の進歩、特に勾配内積から導かれるニューラル・タンジェント・カーネル(NTK)は、無限に広いニューラルネットワークと非パラメトリックベイズ推論の接続を確立している。 しかし、既存のNTKパラダイムは、ネットワーク深さの表現的役割を見越しながら、主に無限幅体制に限られている。 このギャップに対処するために,ネットワーク深度が無限に近づくとガウス過程に収束するショートカット関連アーキテクチャに基づく深さ誘起NTKカーネルを提案する。 提案するカーネルのトレーニング不変性とスペクトル特性を理論的に解析し、カーネルのダイナミクスを安定化し、退化を緩和する。 実験結果は,提案手法の有効性をさらに裏付けるものである。 この知見は,ニューラルネットワーク理論の既存の状況を大きく拡張し,深層学習とスケーリング法則の深い理解を提供する。

関連論文リスト

• Stochastic Gradient Descent for Two-layer Neural Networks [2.0349026069285423]
  本稿では、過パラメータ化された2層ニューラルネットワークに適用した場合の降下(SGD)アルゴリズムの収束率について検討する。 提案手法は,NTKのタンジェントカーネル(NTK)近似と,NTKが生成する再生カーネル空間(RKHS)の収束解析を組み合わせたものである。 我々の研究フレームワークは、カーネルメソッドと最適化プロセスの間の複雑な相互作用を探索し、ニューラルネットワークのダイナミクスと収束特性に光を当てることを可能にする。
  論文  参考訳（メタデータ） (2024-07-10T13:58:57Z)
• A Unified Kernel for Neural Network Learning [7.2483426918176255]
  本稿では、勾配降下を伴うニューラルネットワークの学習力学を特徴付けるUnified Neural Kernel(UNK)を提案する。 UNK は NNGP と NTK の両方の制限特性を維持しており、学習ステップが無限に近づくと NTK に似た動作を示し、NNGP に収束する。
  論文  参考訳（メタデータ） (2024-03-26T07:55:45Z)
• Gradient Descent in Neural Networks as Sequential Learning in RKBS [63.011641517977644]
  初期重みの有限近傍にニューラルネットワークの正確な電力系列表現を構築する。 幅にかかわらず、勾配降下によって生成されたトレーニングシーケンスは、正規化された逐次学習によって正確に複製可能であることを証明した。
  論文  参考訳（メタデータ） (2023-02-01T03:18:07Z)
• Extrapolation and Spectral Bias of Neural Nets with Hadamard Product: a Polynomial Net Study [55.12108376616355]
  NTKの研究は典型的なニューラルネットワークアーキテクチャに特化しているが、アダマール製品(NNs-Hp)を用いたニューラルネットワークには不完全である。 本研究では,ニューラルネットワークの特別なクラスであるNNs-Hpに対する有限幅Kの定式化を導出する。 我々は,カーネル回帰予測器と関連するNTKとの等価性を証明し,NTKの適用範囲を拡大する。
  論文  参考訳（メタデータ） (2022-09-16T06:36:06Z)
• Neural Tangent Kernel Analysis of Deep Narrow Neural Networks [11.623483126242478]
  無限に深いが狭いニューラルネットワークの最初のトレーニング可能性保証を示す。 次に、解析を無限深部畳み込みニューラルネットワーク(CNN)に拡張し、簡単な実験を行う。
  論文  参考訳（メタデータ） (2022-02-07T07:27:02Z)
• Analysis of Structured Deep Kernel Networks [0.0]
  本稿では,従来のカーネル手法と同じ理論的枠組みで構築されたニューラルネットワークを想起させる,特別なタイプのカーネルの利用によってモデルが得られることを示す。 特に、導入されたStructured Deep Kernel Networks (SDKNs) は、表現定理に従う最適なアクティベーション関数を持つ非有界ニューラルネットワーク (NN) と見なすことができる。
  論文  参考訳（メタデータ） (2021-05-15T14:10:35Z)
• Random Features for the Neural Tangent Kernel [57.132634274795066]
  完全接続型ReLUネットワークのニューラルタンジェントカーネル(NTK)の効率的な特徴マップ構築を提案する。 得られた特徴の次元は、理論と実践の両方で比較誤差境界を達成するために、他のベースライン特徴マップ構造よりもはるかに小さいことを示しています。
  論文  参考訳（メタデータ） (2021-04-03T09:08:12Z)
• Finite Versus Infinite Neural Networks: an Empirical Study [69.07049353209463]
  カーネルメソッドは、完全に接続された有限幅ネットワークより優れている。 中心とアンサンブルの有限ネットワークは後続のばらつきを減らした。 重みの減衰と大きな学習率の使用は、有限ネットワークと無限ネットワークの対応を破る。
  論文  参考訳（メタデータ） (2020-07-31T01:57:47Z)
• Generalization bound of globally optimal non-convex neural network training: Transportation map estimation by infinite dimensional Langevin dynamics [50.83356836818667]
  本稿では,ディープラーニングの最適化を一般化誤差と関連づけて解析する理論フレームワークを提案する。 ニューラルネットワーク最適化分析のための平均場理論やニューラル・タンジェント・カーネル理論のような既存のフレームワークは、そのグローバル収束を示すために、ネットワークの無限幅の限界を取る必要がある。
  論文  参考訳（メタデータ） (2020-07-11T18:19:50Z)
• Neural Splines: Fitting 3D Surfaces with Infinitely-Wide Neural Networks [61.07202852469595]
  本稿では,無限幅浅部ReLUネットワークから生じるランダムな特徴カーネルをベースとした3次元表面再構成手法であるNeural Splinesを提案する。 提案手法は,最近のニューラルネットワーク技術より優れ,ポアソン表面再構成に広く用いられている。
  論文  参考訳（メタデータ） (2020-06-24T14:54:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。