論文の概要: The Differential Neural Tangent Kernel and Its Positivity

• arxiv url: http://arxiv.org/abs/2607.10200v1
• Date: Sat, 11 Jul 2026 08:25:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-14 15:40:48.336122
• Title: The Differential Neural Tangent Kernel and Its Positivity
• Title（参考訳）: 差動型ニューラルタンジェントカーネルとその可能性
• Abstract要約: 近年、理論フレームワークは線形PDEを解くための物理情報ニューラルネットワーク(PINN)に拡張されている。 ニューラルタンジェントカーネル(NTK)のレンズを通してPINNを解析するための新しい理論フレームワークDNTKを提案する。 これらの理論的結果は、PINNを訓練するための勾配型アルゴリズムの解析の基礎となった。
• 参考スコア（独自算出の注目度）: 0.6319731355340598
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: The Neural Tangent Kernel (NTK) is one powerful tool for analyzing the training dynamics of neural networks in the over-parameterized regime. Recently, the theoretical framework has been extended to physics-informed neural networks (PINNs) for solving linear PDEs, one highly popular class of neural PDE solvers. In the analysis, the positivity of the associated NTK plays a fundamental role. However, establishing the positivity of the NTK for PINNs is highly challenging, due to the presence of multiple differential operators. In this work, we propose a new theoretical framework, called Differential Neural Tangent Kernel (DNTK), for analyzing PINNs through the lens of the NTK, and establish the positivity of the infinite width DNTK for both shallow and deep neural networks for a wide class of activation functions, including RePU and smooth but non-polynomial activations, for all linear differential operators. These theoretical results lay the foundation for the analysis of gradient type algorithms for training PINNs.
• Abstract（参考訳）: ニューラル・タンジェント・カーネル(NTK)は、過度にパラメータ化された状態下でのニューラルネットワークのトレーニングダイナミクスを分析する強力なツールである。 近年、理論フレームワークは線形PDEを解くための物理インフォームドニューラルネットワーク(PINN)に拡張されている。 解析において、関連するNTKの陽性は基本的な役割を担っている。 しかし、複数の微分作用素が存在するため、PINNに対するNTKの正当性を確立することは極めて困難である。 本研究では,NNTK のレンズを通して PINN を解析し,RePU やスムーズかつ非ポリノミカルなアクティベーションを含む,幅広い種類の活性化関数に対して,浅部および深部両方のニューラルネットワークに対して無限幅 DNTK の正当性を確立するための新たな理論フレームワークであるdifferial Neural Tangent Kernel (DNTK) を提案する。 これらの理論的結果は、PINNを訓練するための勾配型アルゴリズムの解析の基礎となった。

関連論文リスト

• Neural Tangent Kernel Analysis to Probe Convergence in Physics-informed Neural Solvers: PIKANs vs. PINNs [0.0]
  我々は,ニューラル・タンジェント・カーネル(NTK)理論を用いて,cPIKANの理論的理解を促進することを目的としている。 まず、標準cKANのNTKを教師付き設定で導出し、次に解析を物理インフォームドコンテキストに拡張する。 結果は、標準物理インフォームドニューラルネットワーク(PINN)がキャプチャできない学習力学を公開するcPIKANの文脈において、NTKのトラクタブルな振る舞いを示している。
  論文  参考訳（メタデータ） (2025-06-09T17:30:13Z)
• Novel Kernel Models and Exact Representor Theory for Neural Networks Beyond the Over-Parameterized Regime [52.00917519626559]
  本稿では、ニューラルネットワークの2つのモデルと、任意の幅、深さ、トポロジーのニューラルネットワークに適用可能なトレーニングについて述べる。 また、局所外在性神経核(LeNK)の観点から、非正規化勾配降下を伴う階層型ニューラルネットワークトレーニングのための正確な表現子理論を提示する。 この表現論は、ニューラルネットワークトレーニングにおける高次統計学の役割と、ニューラルネットワークのカーネルモデルにおけるカーネル進化の影響について洞察を与える。
  論文  参考訳（メタデータ） (2024-05-24T06:30:36Z)
• The Positivity of the Neural Tangent Kernel [0.0]
  Tangent Kernel (NTK) は、広義のニューラルネットワークの研究において基本的な概念として登場した。 ここでは, これまでの作業を改善するとともに, 任意の深さのフィードフォワードネットワークのNTKの肯定性について, 鋭い結果を得る。
  論文  参考訳（メタデータ） (2024-04-19T14:55:21Z)
• The Challenges of the Nonlinear Regime for Physics-Informed Neural Networks [0.0]
  非線形シナリオではNTKの視点が不足していることを示す。 線形および非線形の両方の場合において,そのような手法の収束保証について検討する。
  論文  参考訳（メタデータ） (2024-02-06T10:24:36Z)
• Benign Overfitting in Deep Neural Networks under Lazy Training [72.28294823115502]
  データ分布が適切に分離された場合、DNNは分類のためのベイズ最適テスト誤差を達成できることを示す。 よりスムーズな関数との補間により、より一般化できることを示す。
  論文  参考訳（メタデータ） (2023-05-30T19:37:44Z)
• Gradient Descent in Neural Networks as Sequential Learning in RKBS [63.011641517977644]
  初期重みの有限近傍にニューラルネットワークの正確な電力系列表現を構築する。 幅にかかわらず、勾配降下によって生成されたトレーニングシーケンスは、正規化された逐次学習によって正確に複製可能であることを証明した。
  論文  参考訳（メタデータ） (2023-02-01T03:18:07Z)
• Extrapolation and Spectral Bias of Neural Nets with Hadamard Product: a Polynomial Net Study [55.12108376616355]
  NTKの研究は典型的なニューラルネットワークアーキテクチャに特化しているが、アダマール製品(NNs-Hp)を用いたニューラルネットワークには不完全である。 本研究では,ニューラルネットワークの特別なクラスであるNNs-Hpに対する有限幅Kの定式化を導出する。 我々は,カーネル回帰予測器と関連するNTKとの等価性を証明し,NTKの適用範囲を拡大する。
  論文  参考訳（メタデータ） (2022-09-16T06:36:06Z)
• On Feature Learning in Neural Networks with Global Convergence Guarantees [49.870593940818715]
  勾配流(GF)を用いた広帯域ニューラルネットワーク(NN)の最適化について検討する。 入力次元がトレーニングセットのサイズ以下である場合、トレーニング損失はGFの下での線形速度で0に収束することを示す。 また、ニューラル・タンジェント・カーネル(NTK)システムとは異なり、我々の多層モデルは特徴学習を示し、NTKモデルよりも優れた一般化性能が得られることを実証的に示す。
  論文  参考訳（メタデータ） (2022-04-22T15:56:43Z)
• The Spectral Bias of Polynomial Neural Networks [63.27903166253743]
  PNN(Polynomial Neural Network)は、高頻度情報を重要視する画像生成と顔認識に特に有効であることが示されている。 これまでの研究では、ニューラルネットワークが低周波関数に対して$textitspectral bias$を示しており、トレーニング中に低周波成分のより高速な学習をもたらすことが示されている。 このような研究に触発されて、我々はPNNのTangent Kernel(NTK)のスペクトル分析を行う。 我々は、最近提案されたPNNのパラメトリゼーションである$Pi$-Netファミリがスピードアップすることを発見した。
  論文  参考訳（メタデータ） (2022-02-27T23:12:43Z)
• Weighted Neural Tangent Kernel: A Generalized and Improved Network-Induced Kernel [20.84988773171639]
  Neural Tangent Kernel(NTK)は、勾配降下によって訓練された過剰パラメーターニューラルネットワーク(NN)の進化を記述することで、近年、激しい研究を惹きつけている。 Weighted Neural Tangent Kernel (WNTK) は、一般化された改良されたツールであり、異なる勾配の下でパラメータ化されたNNのトレーニングダイナミクスをキャプチャすることができる。 提案する重み更新アルゴリズムでは,実験値と解析値の両方が,数値実験において対応するntkを上回っている。
  論文  参考訳（メタデータ） (2021-03-22T03:16:20Z)
• The Recurrent Neural Tangent Kernel [11.591070761599328]
  本稿では、過度にパラメータ化されたRNNの動作に関する新たな洞察を提供するRNTK(Recurrent Neural Tangent Kernel)を紹介し、研究する。 56個の実世界のデータ実験により、RNTKは他のカーネルよりも大幅に性能が向上することを示した。
  論文  参考訳（メタデータ） (2020-06-18T02:59:21Z)
• A Generalized Neural Tangent Kernel Analysis for Two-layer Neural Networks [87.23360438947114]
  重み劣化を伴う雑音勾配降下は依然として「カーネル様」の挙動を示すことを示す。 これは、トレーニング損失が一定の精度まで線形に収束することを意味する。 また,重み劣化を伴う雑音勾配勾配勾配で学習した2層ニューラルネットワークに対して,新しい一般化誤差を確立する。
  論文  参考訳（メタデータ） (2020-02-10T18:56:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。