論文の概要: Neural Tangent Kernel Analysis to Probe Convergence in Physics-informed Neural Solvers: PIKANs vs. PINNs

• arxiv url: http://arxiv.org/abs/2506.07958v1
• Date: Mon, 09 Jun 2025 17:30:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-10 21:10:47.15785
• Title: Neural Tangent Kernel Analysis to Probe Convergence in Physics-informed Neural Solvers: PIKANs vs. PINNs
• Title（参考訳）: 物理インフォームドニューラルゾルバーの収束を証明するためのニューラルタンジェントカーネル解析:PIKANs vs. PINNs
• Authors: Salah A. Faroughi, Farinaz Mostajeran,
• Abstract要約: 我々は,ニューラル・タンジェント・カーネル(NTK)理論を用いて,cPIKANの理論的理解を促進することを目的としている。 まず、標準cKANのNTKを教師付き設定で導出し、次に解析を物理インフォームドコンテキストに拡張する。 結果は、標準物理インフォームドニューラルネットワーク(PINN)がキャプチャできない学習力学を公開するcPIKANの文脈において、NTKのトラクタブルな振る舞いを示している。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Physics-informed Kolmogorov-Arnold Networks (PIKANs), and in particular their Chebyshev-based variants (cPIKANs), have recently emerged as promising models for solving partial differential equations (PDEs). However, their training dynamics and convergence behavior remain largely unexplored both theoretically and numerically. In this work, we aim to advance the theoretical understanding of cPIKANs by analyzing them using Neural Tangent Kernel (NTK) theory. Our objective is to discern the evolution of kernel structure throughout gradient-based training and its subsequent impact on learning efficiency. We first derive the NTK of standard cKANs in a supervised setting, and then extend the analysis to the physics-informed context. We analyze the spectral properties of NTK matrices, specifically their eigenvalue distributions and spectral bias, for four representative PDEs: the steady-state Helmholtz equation, transient diffusion and Allen-Cahn equations, and forced vibrations governed by the Euler-Bernoulli beam equation. We also conduct an investigation into the impact of various optimization strategies, e.g., first-order, second-order, and hybrid approaches, on the evolution of the NTK and the resulting learning dynamics. Results indicate a tractable behavior for NTK in the context of cPIKANs, which exposes learning dynamics that standard physics-informed neural networks (PINNs) cannot capture. Spectral trends also reveal when domain decomposition improves training, directly linking kernel behavior to convergence rates under different setups. To the best of our knowledge, this is the first systematic NTK study of cPIKANs, providing theoretical insight that clarifies and predicts their empirical performance.
• Abstract（参考訳）: 物理インフォームドされたコルモゴロフ・アルノルドネットワーク(PIKAN)、特にチェビシェフに基づく変種(cPIKAN)は、最近偏微分方程式(PDE)を解くための有望なモデルとして登場した。 しかし、それらのトレーニング力学と収束挙動は理論上も数値上もほとんど解明されていない。 本研究では,ニューラル・タンジェント・カーネル(NTK)理論を用いて,cPIKANの理論的理解を促進することを目的とする。 我々の目的は、勾配に基づくトレーニングを通してのカーネル構造の進化と、その後の学習効率への影響を明らかにすることである。 まず、標準cKANのNTKを教師付き設定で導出し、次に解析を物理インフォームドコンテキストに拡張する。 我々はNTK行列のスペクトル特性、特に固有値分布とスペクトルバイアスを、定常ヘルムホルツ方程式、過渡拡散方程式、アレン・カーン方程式、オイラー・ベルヌーリビーム方程式によって支配される強制振動の4つの代表的PDEに対して解析する。 また、NTKの進化と学習ダイナミクスに対する最適化戦略、例えば、一階述語、二階述語、ハイブリッドアプローチの影響についても検討する。 結果は、標準物理インフォームドニューラルネットワーク(PINN)がキャプチャできない学習力学を公開するcPIKANの文脈において、NTKの難易度を示す。 スペクトルトレンドはまた、異なる設定下でのカーネルの挙動と収束率を直接リンクすることで、ドメイン分解がトレーニングを改善することを明らかにする。 我々の知る限りでは、これが最初の系統的NTKによるcPIKANの研究であり、経験的性能を明確化し予測する理論的な洞察を提供する。

関連論文リスト

• Is the neural tangent kernel of PINNs deep learning general partial differential equations always convergent ? [3.591122855617648]
  物理インフォームドニューラルネットワーク(PINN)に基づく一般偏微分方程式に対するニューラル・タンジェント・カーネル(NTK)について検討する。 誰もが知っているように、人工ニューラルネットワークのトレーニングは、NTKの進化に変換することができる。
  論文  参考訳（メタデータ） (2024-12-09T02:41:39Z)
• The Challenges of the Nonlinear Regime for Physics-Informed Neural Networks [0.0]
  非線形シナリオではNTKの視点が不足していることを示す。 線形および非線形の両方の場合において,そのような手法の収束保証について検討する。
  論文  参考訳（メタデータ） (2024-02-06T10:24:36Z)
• Architectural Strategies for the optimization of Physics-Informed Neural Networks [30.92757082348805]
  物理インフォームドニューラルネットワーク(PINN)は、偏微分方程式(PDE)における前方および逆問題に対処するための有望な道を提供する その顕著な経験的成功にもかかわらず、PINNは様々なPDEで悪名高いトレーニング課題の評判を得た。
  論文  参考訳（メタデータ） (2024-02-05T04:15:31Z)
• Connecting NTK and NNGP: A Unified Theoretical Framework for Wide Neural Network Learning Dynamics [6.349503549199403]
  我々は、ディープ・ワイド・ニューラルネットワークの学習プロセスのための包括的なフレームワークを提供する。 拡散相を特徴づけることで、私たちの研究は脳内の表現的ドリフトに光を当てます。
  論文  参考訳（メタデータ） (2023-09-08T18:00:01Z)
• Neural tangent kernel analysis of PINN for advection-diffusion equation [0.0]
  物理インフォームドニューラルネットワーク(PINN)は偏微分方程式(PDE)の解を数値的に近似する PINNは、クローズドフォーム解析ソリューションが利用可能である単純なケースでも苦労することが知られている。 この研究は、ニューラル・タンジェント・カーネル(NTK)理論を用いた線形対流拡散方程式(LAD)に対するPINNの体系的解析に焦点をあてる。
  論文  参考訳（メタデータ） (2022-11-21T18:35:14Z)
• Extrapolation and Spectral Bias of Neural Nets with Hadamard Product: a Polynomial Net Study [55.12108376616355]
  NTKの研究は典型的なニューラルネットワークアーキテクチャに特化しているが、アダマール製品(NNs-Hp)を用いたニューラルネットワークには不完全である。 本研究では,ニューラルネットワークの特別なクラスであるNNs-Hpに対する有限幅Kの定式化を導出する。 我々は,カーネル回帰予測器と関連するNTKとの等価性を証明し,NTKの適用範囲を拡大する。
  論文  参考訳（メタデータ） (2022-09-16T06:36:06Z)
• Momentum Diminishes the Effect of Spectral Bias in Physics-Informed Neural Networks [72.09574528342732]
  物理インフォームドニューラルネットワーク(PINN)アルゴリズムは、偏微分方程式(PDE)を含む幅広い問題を解く上で有望な結果を示している。 彼らはしばしば、スペクトルバイアスと呼ばれる現象のために、ターゲット関数が高周波の特徴を含むとき、望ましい解に収束しない。 本研究は, 運動量による勾配降下下で進化するPINNのトレーニングダイナミクスを, NTK(Neural Tangent kernel)を用いて研究するものである。
  論文  参考訳（メタデータ） (2022-06-29T19:03:10Z)
• The Spectral Bias of Polynomial Neural Networks [63.27903166253743]
  PNN(Polynomial Neural Network)は、高頻度情報を重要視する画像生成と顔認識に特に有効であることが示されている。 これまでの研究では、ニューラルネットワークが低周波関数に対して$textitspectral bias$を示しており、トレーニング中に低周波成分のより高速な学習をもたらすことが示されている。 このような研究に触発されて、我々はPNNのTangent Kernel(NTK)のスペクトル分析を行う。 我々は、最近提案されたPNNのパラメトリゼーションである$Pi$-Netファミリがスピードアップすることを発見した。
  論文  参考訳（メタデータ） (2022-02-27T23:12:43Z)
• Convex Analysis of the Mean Field Langevin Dynamics [49.66486092259375]
  平均場ランゲヴィン力学の収束速度解析について述べる。 ダイナミックスに付随する$p_q$により、凸最適化において古典的な結果と平行な収束理論を開発できる。
  論文  参考訳（メタデータ） (2022-01-25T17:13:56Z)
• Incorporating NODE with Pre-trained Neural Differential Operator for Learning Dynamics [73.77459272878025]
  ニューラル微分演算子(NDO)の事前学習による動的学習における教師付き信号の強化を提案する。 NDOは記号関数のクラスで事前訓練され、これらの関数の軌跡サンプルとそれらの導関数とのマッピングを学習する。 我々は,NDOの出力が,ライブラリの複雑さを適切に調整することで,基礎となる真理微分を適切に近似できることを理論的に保証する。
  論文  参考訳（メタデータ） (2021-06-08T08:04:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。