Fugu-MT 論文翻訳(概要): Is the neural tangent kernel of PINNs deep learning general partial differential equations always convergent ?

論文の概要: Is the neural tangent kernel of PINNs deep learning general partial differential equations always convergent ?

arxiv url: http://arxiv.org/abs/2412.06158v1
Date: Mon, 09 Dec 2024 02:41:39 GMT
ステータス: 翻訳完了
システム内更新日: 2024-12-10 14:56:08.511643
Title: Is the neural tangent kernel of PINNs deep learning general partial differential equations always convergent ?
Title（参考訳）: 深層学習一般偏微分方程式のニューラル・タンジェント核は常に収束しているか?
Authors: Zijian Zhou, Zhenya Yan,
Abstract要約: 物理インフォームドニューラルネットワーク(PINN)に基づく一般偏微分方程式に対するニューラル・タンジェント・カーネル(NTK)について検討する。誰もが知っているように、人工ニューラルネットワークのトレーニングは、NTKの進化に変換することができる。
参考スコア（独自算出の注目度）: 3.591122855617648
License:
Abstract: In this paper, we study the neural tangent kernel (NTK) for general partial differential equations (PDEs) based on physics-informed neural networks (PINNs). As we all know, the training of an artificial neural network can be converted to the evolution of NTK. We analyze the initialization of NTK and the convergence conditions of NTK during training for general PDEs. The theoretical results show that the homogeneity of differential operators plays a crucial role for the convergence of NTK. Moreover, based on the PINNs, we validate the convergence conditions of NTK using the initial value problems of the sine-Gordon equation and the initial-boundary value problem of the KdV equation.
Abstract（参考訳）: 本稿では,物理インフォームドニューラルネットワーク(PINN)に基づく一般偏微分方程式(PDE)に対するニューラルタンジェントカーネル(NTK)について検討する。誰もが知っているように、人工ニューラルネットワークのトレーニングは、NTKの進化に変換することができる。一般的なPDEのトレーニングにおいて,NTKの初期化とNTKの収束条件を分析した。理論的な結果は、微分作用素の等質性が NTK の収束に決定的な役割を果たすことを示している。さらに, PINNに基づいて, シン・ゴルドン方程式の初期値問題とKdV方程式の初期境界値問題を用いてNTKの収束条件を検証する。

関連論文リスト

Novel Kernel Models and Exact Representor Theory for Neural Networks Beyond the Over-Parameterized Regime [52.00917519626559]
本稿では、ニューラルネットワークの2つのモデルと、任意の幅、深さ、トポロジーのニューラルネットワークに適用可能なトレーニングについて述べる。また、局所外在性神経核(LeNK)の観点から、非正規化勾配降下を伴う階層型ニューラルネットワークトレーニングのための正確な表現子理論を提示する。この表現論は、ニューラルネットワークトレーニングにおける高次統計学の役割と、ニューラルネットワークのカーネルモデルにおけるカーネル進化の影響について洞察を与える。
論文参考訳（メタデータ） (2024-05-24T06:30:36Z)
Neural Networks with Sparse Activation Induced by Large Bias: Tighter Analysis with Bias-Generalized NTK [86.45209429863858]
ニューラル・タンジェント・カーネル(NTK)における一層ReLUネットワークのトレーニングについて検討した。我々は、ニューラルネットワークが、テクティトビア一般化NTKと呼ばれる異なる制限カーネルを持っていることを示した。ニューラルネットの様々な特性をこの新しいカーネルで研究する。
論文参考訳（メタデータ） (2023-01-01T02:11:39Z)
Neural tangent kernel analysis of PINN for advection-diffusion equation [0.0]
物理インフォームドニューラルネットワーク(PINN)は偏微分方程式(PDE)の解を数値的に近似する PINNは、クローズドフォーム解析ソリューションが利用可能である単純なケースでも苦労することが知られている。この研究は、ニューラル・タンジェント・カーネル(NTK)理論を用いた線形対流拡散方程式(LAD)に対するPINNの体系的解析に焦点をあてる。
論文参考訳（メタデータ） (2022-11-21T18:35:14Z)
Extrapolation and Spectral Bias of Neural Nets with Hadamard Product: a Polynomial Net Study [55.12108376616355]
NTKの研究は典型的なニューラルネットワークアーキテクチャに特化しているが、アダマール製品(NNs-Hp)を用いたニューラルネットワークには不完全である。本研究では,ニューラルネットワークの特別なクラスであるNNs-Hpに対する有限幅Kの定式化を導出する。我々は,カーネル回帰予測器と関連するNTKとの等価性を証明し,NTKの適用範囲を拡大する。
論文参考訳（メタデータ） (2022-09-16T06:36:06Z)
Uniform Generalization Bounds for Overparameterized Neural Networks [5.945320097465419]
カーネルシステムにおけるオーバーパラメータ化ニューラルネットワークに対する一様一般化バウンダリを証明した。我々の境界は、アクティベーション関数の微分可能性に応じて正確な誤差率をキャプチャする。 NTカーネルに対応するRKHSと、Mat'ernカーネルのファミリーに対応するRKHSの等価性を示す。
論文参考訳（メタデータ） (2021-09-13T16:20:13Z)
Fourier Neural Operator for Parametric Partial Differential Equations [57.90284928158383]
積分カーネルを直接フーリエ空間でパラメータ化することで、新しいニューラル演算子を定式化する。バーガースの方程式、ダーシー流、ナビエ・ストークス方程式の実験を行う。従来のPDEソルバに比べて最大3桁高速である。
論文参考訳（メタデータ） (2020-10-18T00:34:21Z)
When and why PINNs fail to train: A neural tangent kernel perspective [2.1485350418225244]
PINNのニューラルタンジェントカーネル(NTK)を導出し、適切な条件下では、無限幅極限でのトレーニング中に一定となる決定論的カーネルに収束することを示す。学習誤差の総和に寄与する損失成分の収束率に顕著な差があることが判明した。本研究では,NTKの固有値を用いて学習誤差の収束率を適応的に調整する勾配降下アルゴリズムを提案する。
論文参考訳（メタデータ） (2020-07-28T23:44:56Z)
Provably Efficient Neural Estimation of Structural Equation Model: An Adversarial Approach [144.21892195917758]
一般化構造方程式モデル(SEM)のクラスにおける推定について検討する。線形作用素方程式をmin-maxゲームとして定式化し、ニューラルネットワーク(NN)でパラメータ化し、勾配勾配を用いてニューラルネットワークのパラメータを学習する。提案手法は,サンプル分割を必要とせず,確固とした収束性を持つNNをベースとしたSEMの抽出可能な推定手順を初めて提供する。
論文参考訳（メタデータ） (2020-07-02T17:55:47Z)
The Recurrent Neural Tangent Kernel [11.591070761599328]
本稿では、過度にパラメータ化されたRNNの動作に関する新たな洞察を提供するRNTK(Recurrent Neural Tangent Kernel)を紹介し、研究する。 56個の実世界のデータ実験により、RNTKは他のカーネルよりも大幅に性能が向上することを示した。
論文参考訳（メタデータ） (2020-06-18T02:59:21Z)
A Generalized Neural Tangent Kernel Analysis for Two-layer Neural Networks [87.23360438947114]
重み劣化を伴う雑音勾配降下は依然として「カーネル様」の挙動を示すことを示す。これは、トレーニング損失が一定の精度まで線形に収束することを意味する。また,重み劣化を伴う雑音勾配勾配勾配で学習した2層ニューラルネットワークに対して,新しい一般化誤差を確立する。
論文参考訳（メタデータ） (2020-02-10T18:56:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。