論文の概要: Mathematical Foundations of Neural Tangents and Infinite-Width Networks

• arxiv url: http://arxiv.org/abs/2512.08264v1
• Date: Tue, 09 Dec 2025 05:41:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-10 22:28:07.824052
• Title: Mathematical Foundations of Neural Tangents and Infinite-Width Networks
• Title（参考訳）: ニューラルネットワークと無限幅ネットワークの数学的基礎
• Authors: Rachana Mysore, Preksha Girish, Kavitha Jayaram, Shrey Kumar, Preksha Girish, Shravan Sanjeev Bagal, Kavitha Jayaram, Shreya Aravind Shastry,
• Abstract要約: 我々はTangent Neural Kernel(NTK)による無限幅状態におけるニューラルネットワークの数学的基礎について検討する。 本研究では,NTK-Eigenvalue-Controlled Residual Network (NTK-ECRN)を提案する。 合成およびベンチマークデータセットによる実験結果は、予測されたカーネルの挙動を検証し、トレーニング安定性と一般化の改善を実証する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We investigate the mathematical foundations of neural networks in the infinite-width regime through the Neural Tangent Kernel (NTK). We propose the NTK-Eigenvalue-Controlled Residual Network (NTK-ECRN), an architecture integrating Fourier feature embeddings, residual connections with layerwise scaling, and stochastic depth to enable rigorous analysis of kernel evolution during training. Our theoretical contributions include deriving bounds on NTK dynamics, characterizing eigenvalue evolution, and linking spectral properties to generalization and optimization stability. Empirical results on synthetic and benchmark datasets validate the predicted kernel behavior and demonstrate improved training stability and generalization. This work provides a comprehensive framework bridging infinite-width theory and practical deep-learning architectures.
• Abstract（参考訳）: 本研究では, ニューラルネットワークの無限幅状態における数学的基礎について, ニューラルタンジェントカーネル(NTK)を用いて検討する。 本稿では, NTK-Eigenvalue-Controlled Residual Network (NTK-ECRN) を提案する。 我々の理論的な貢献には、NTK力学のバウンダリの導出、固有値の進化の特徴付け、スペクトル特性の一般化と最適化の安定性のリンクが含まれる。 合成およびベンチマークデータセットによる実験結果は、予測されたカーネルの挙動を検証し、トレーニング安定性と一般化の改善を実証する。 この研究は、無限幅理論と実践的なディープラーニングアーキテクチャをブリッジする包括的なフレームワークを提供する。

関連論文リスト

• Depth-induced NTK: Bridging Over-parameterized Neural Networks and Deep Neural Kernels [13.302913618949468]
  階層的特徴変換をカーネル空間にマッピングすることで、オーバーパラメータ化ニューラルネットワークを解釈するための原則的フレームワークを提供する。 ネットワーク深度が無限に近づくとガウス過程に収束するショートカット関連アーキテクチャに基づく深さ誘起NTKカーネルを提案する。 この知見は,ニューラルネットワーク理論の既存の状況を大きく拡張し,深層学習とスケーリング法則の深い理解を提供する。
  論文  参考訳（メタデータ） (2025-11-05T10:00:03Z)
• Mathematical Modeling and Convergence Analysis of Deep Neural Networks with Dense Layer Connectivities in Deep Learning [1.5516092077598485]
  ディープラーニングでは、ディープニューラルネットワーク(DNN)において、高密度層接続が重要な設計原則となっている。 本研究では, 密結合DNNを数学的にモデル化し, 深層限界における学習問題を解析する。
  論文  参考訳（メタデータ） (2025-10-02T14:22:51Z)
• Generalization Bound of Gradient Flow through Training Trajectory and Data-dependent Kernel [55.82768375605861]
  我々は、カーネル法における古典的ラデマッハ複雑性と整合する勾配流の一般化を確立する。 NTKのような静的カーネルとは異なり、LPKはトレーニング軌跡全体をキャプチャし、データと最適化の両方に適応する。
  論文  参考訳（メタデータ） (2025-06-12T23:17:09Z)
• Neural Tangent Kernel Analysis to Probe Convergence in Physics-informed Neural Solvers: PIKANs vs. PINNs [0.0]
  我々は,ニューラル・タンジェント・カーネル(NTK)理論を用いて,cPIKANの理論的理解を促進することを目的としている。 まず、標準cKANのNTKを教師付き設定で導出し、次に解析を物理インフォームドコンテキストに拡張する。 結果は、標準物理インフォームドニューラルネットワーク(PINN)がキャプチャできない学習力学を公開するcPIKANの文脈において、NTKのトラクタブルな振る舞いを示している。
  論文  参考訳（メタデータ） (2025-06-09T17:30:13Z)
• Global Convergence and Rich Feature Learning in $L$-Layer Infinite-Width Neural Networks under $μ$P Parametrization [66.03821840425539]
  本稿では, テンソル勾配プログラム(SGD)フレームワークを用いた$L$層ニューラルネットワークのトレーニング力学について検討する。 SGDにより、これらのネットワークが初期値から大きく逸脱する線形独立な特徴を学習できることを示す。 このリッチな特徴空間は、関連するデータ情報をキャプチャし、トレーニングプロセスの収束点が世界最小であることを保証する。
  論文  参考訳（メタデータ） (2025-03-12T17:33:13Z)
• Towards a Statistical Understanding of Neural Networks: Beyond the Neural Tangent Kernel Theories [13.949362600389088]
  ニューラルネットワークの主な利点は、その特徴学習特性にある。 本稿では,特徴学習のための新しいパラダイムを提案し,その結果の一般化可能性について考察する。
  論文  参考訳（メタデータ） (2024-12-25T03:03:58Z)
• Gradient Descent in Neural Networks as Sequential Learning in RKBS [63.011641517977644]
  初期重みの有限近傍にニューラルネットワークの正確な電力系列表現を構築する。 幅にかかわらず、勾配降下によって生成されたトレーニングシーケンスは、正規化された逐次学習によって正確に複製可能であることを証明した。
  論文  参考訳（メタデータ） (2023-02-01T03:18:07Z)
• Extrapolation and Spectral Bias of Neural Nets with Hadamard Product: a Polynomial Net Study [55.12108376616355]
  NTKの研究は典型的なニューラルネットワークアーキテクチャに特化しているが、アダマール製品(NNs-Hp)を用いたニューラルネットワークには不完全である。 本研究では,ニューラルネットワークの特別なクラスであるNNs-Hpに対する有限幅Kの定式化を導出する。 我々は,カーネル回帰予測器と関連するNTKとの等価性を証明し,NTKの適用範囲を拡大する。
  論文  参考訳（メタデータ） (2022-09-16T06:36:06Z)
• On Feature Learning in Neural Networks with Global Convergence Guarantees [49.870593940818715]
  勾配流(GF)を用いた広帯域ニューラルネットワーク(NN)の最適化について検討する。 入力次元がトレーニングセットのサイズ以下である場合、トレーニング損失はGFの下での線形速度で0に収束することを示す。 また、ニューラル・タンジェント・カーネル(NTK)システムとは異なり、我々の多層モデルは特徴学習を示し、NTKモデルよりも優れた一般化性能が得られることを実証的に示す。
  論文  参考訳（メタデータ） (2022-04-22T15:56:43Z)
• Analysis of Structured Deep Kernel Networks [0.0]
  本稿では,従来のカーネル手法と同じ理論的枠組みで構築されたニューラルネットワークを想起させる,特別なタイプのカーネルの利用によってモデルが得られることを示す。 特に、導入されたStructured Deep Kernel Networks (SDKNs) は、表現定理に従う最適なアクティベーション関数を持つ非有界ニューラルネットワーク (NN) と見なすことができる。
  論文  参考訳（メタデータ） (2021-05-15T14:10:35Z)
• Generalization bound of globally optimal non-convex neural network training: Transportation map estimation by infinite dimensional Langevin dynamics [50.83356836818667]
  本稿では,ディープラーニングの最適化を一般化誤差と関連づけて解析する理論フレームワークを提案する。 ニューラルネットワーク最適化分析のための平均場理論やニューラル・タンジェント・カーネル理論のような既存のフレームワークは、そのグローバル収束を示すために、ネットワークの無限幅の限界を取る必要がある。
  論文  参考訳（メタデータ） (2020-07-11T18:19:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。