論文の概要: Neural tangent kernel analysis of PINN for advection-diffusion equation
- arxiv url: http://arxiv.org/abs/2211.11716v1
- Date: Mon, 21 Nov 2022 18:35:14 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-22 22:19:43.617038
- Title: Neural tangent kernel analysis of PINN for advection-diffusion equation
- Title（参考訳）: アドベクション拡散方程式に対するpinnの神経接核解析
- Authors: M. H. Saadat, B. Gjorgiev, L. Das and G. Sansavini
- Abstract要約: 物理インフォームドニューラルネットワーク(PINN)は偏微分方程式(PDE)の解を数値的に近似する
PINNは、クローズドフォーム解析ソリューションが利用可能である単純なケースでも苦労することが知られている。
この研究は、ニューラル・タンジェント・カーネル(NTK)理論を用いた線形対流拡散方程式(LAD)に対するPINNの体系的解析に焦点をあてる。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Physics-informed neural networks (PINNs) numerically approximate the solution
of a partial differential equation (PDE) by incorporating the residual of the
PDE along with its initial/boundary conditions into the loss function. In spite
of their partial success, PINNs are known to struggle even in simple cases
where the closed-form analytical solution is available. In order to better
understand the learning mechanism of PINNs, this work focuses on a systematic
analysis of PINNs for the linear advection-diffusion equation (LAD) using the
Neural Tangent Kernel (NTK) theory. Thanks to the NTK analysis, the effects of
the advection speed/diffusion parameter on the training dynamics of PINNs are
studied and clarified. We show that the training difficulty of PINNs is a
result of 1) the so-called spectral bias, which leads to difficulty in learning
high-frequency behaviours; and 2) convergence rate disparity between different
loss components that results in training failure. The latter occurs even in the
cases where the solution of the underlying PDE does not exhibit high-frequency
behaviour. Furthermore, we observe that this training difficulty manifests
itself, to some extent, differently in advection-dominated and
diffusion-dominated regimes. Different strategies to address these issues are
also discussed. In particular, it is demonstrated that periodic activation
functions can be used to partly resolve the spectral bias issue.
- Abstract（参考訳）: 物理インフォームドニューラルネットワーク(PINN)は、PDEの残余と初期/境界条件を損失関数に組み込むことにより、偏微分方程式(PDE)の解を数値的に近似する。
部分的な成功にもかかわらず、PINNは、クローズドフォーム分析ソリューションが利用できる単純なケースでも苦労することが知られている。
ピンの学習機構をよりよく理解するために,神経接核(ntk)理論を用いた線形移流拡散方程式(lad)に対するピンの系統的解析に焦点を当てた。
ntk解析により,ピンのトレーニングダイナミクスに及ぼすadvection speed/diffusionパラメータの影響を解明した。
PINNのトレーニングの難しさは、その結果であることを示す。
1)いわゆるスペクトルバイアスは,高周波動作の学習を困難にする。
2) 異なる損失成分間の収束率の差は, トレーニング失敗を生じさせる。
後者は、基礎となるPDEの解が高周波の挙動を示さない場合にも発生する。
さらに,この訓練難易度は,advection-dominated and diffusion-dominated regimesにおいて,ある程度異なる形で現れることを観察した。
これらの問題に対処するための戦略も議論されている。
特に,周期的活性化関数を用いてスペクトルバイアス問題を部分的に解決できることが示されている。
関連論文リスト
- Domain decomposition-based coupling of physics-informed neural networks
via the Schwarz alternating method [0.0]
物理インフォームドニューラルネットワーク(PINN)は非線形偏微分方程式(PDE)の解を解き、推論するためのデータ駆動型ツールである。
本稿では,従来の数値モデルとPINNを相互に結合する手法として,シュワルツ交互法(Schwarz alternating method)を提案する。
論文 参考訳（メタデータ） (2023-11-01T01:59:28Z) - Error Analysis of Physics-Informed Neural Networks for Approximating
Dynamic PDEs of Second Order in Time [1.123111111659464]
物理インフォームドニューラルネットワーク(PINN)による2次動的偏微分方程式(PDE)の近似について検討する。
分析の結果,2つの隠れ層と$tanh$アクティベーション関数を持つフィードフォワードニューラルネットワークでは,トレーニング損失とトレーニングデータポイント数によって,解場のPINN近似誤差を効果的にバウンドすることができることがわかった。
本稿では, 波動方程式, Sine-Gordon 方程式, 線形エラストダイナミック方程式に対する新しい PINN アルゴリズムを用いた数値実験を行った。
論文 参考訳（メタデータ） (2023-03-22T00:51:11Z) - Implicit Stochastic Gradient Descent for Training Physics-informed
Neural Networks [51.92362217307946]
物理インフォームドニューラルネットワーク(PINN)は、前方および逆微分方程式問題の解法として効果的に実証されている。
PINNは、近似すべきターゲット関数が高周波またはマルチスケールの特徴を示す場合、トレーニング障害に閉じ込められる。
本稿では,暗黙的勾配降下法(ISGD)を用いてPINNを訓練し,トレーニングプロセスの安定性を向上させることを提案する。
論文 参考訳（メタデータ） (2023-03-03T08:17:47Z) - Monte Carlo Neural PDE Solver for Learning PDEs via Probabilistic Representation [59.45669299295436]
教師なしニューラルソルバのトレーニングのためのモンテカルロPDEソルバを提案する。
我々は、マクロ現象をランダム粒子のアンサンブルとみなすPDEの確率的表現を用いる。
対流拡散, アレン・カーン, ナヴィエ・ストークス方程式に関する実験により, 精度と効率が著しく向上した。
論文 参考訳（メタデータ） (2023-02-10T08:05:19Z) - Learning Discretized Neural Networks under Ricci Flow [51.36292559262042]
低精度重みとアクティベーションからなる離散ニューラルネットワーク(DNN)について検討する。
DNNは、訓練中に微分不可能な離散関数のために無限あるいはゼロの勾配に悩まされる。
論文 参考訳（メタデータ） (2023-02-07T10:51:53Z) - Investigations on convergence behaviour of Physics Informed Neural
Networks across spectral ranges and derivative orders [0.0]
ニューラルカーネル・タンジェント(NTK)理論からの重要な推論は、スペクトルバイアス(SB)の存在である。
SBは、完全に接続されたニューラルネットワーク(ANN)のターゲット関数の低周波成分であり、トレーニング中の高周波よりもかなり高速に学習される。
これは、非常に低い学習率パラメータを持つ平均平方誤差(MSE)損失関数に対して確立される。
正規化条件下では、PINNは強いスペクトルバイアスを示し、これは微分方程式の順序によって増加することが確証されている。
論文 参考訳（メタデータ） (2023-01-07T06:31:28Z) - Tunable Complexity Benchmarks for Evaluating Physics-Informed Neural
Networks on Coupled Ordinary Differential Equations [64.78260098263489]
本研究では,より複雑に結合した常微分方程式(ODE)を解く物理インフォームドニューラルネットワーク(PINN)の能力を評価する。
PINNの複雑性が増大するにつれて,これらのベンチマークに対する正しい解が得られないことが示される。
PINN損失のラプラシアンは,ネットワーク容量の不足,ODEの条件の低下,局所曲率の高さなど,いくつかの理由を明らかにした。
論文 参考訳（メタデータ） (2022-10-14T15:01:32Z) - Semi-analytic PINN methods for singularly perturbed boundary value
problems [0.8594140167290099]
本稿では,新しい半解析的物理情報ニューラルネットワーク(PINN)を提案し,特異な摂動境界値問題の解法を提案する。
PINNは、偏微分方程式の数値解を見つけるための有望な視点を提供する科学機械学習フレームワークである。
論文 参考訳（メタデータ） (2022-08-19T04:26:40Z) - Physics-Aware Neural Networks for Boundary Layer Linear Problems [0.0]
物理インフォームドニューラルネットワーク(PINN)は、一般偏微分方程式(PDE)の解をニューラルネットワークの損失/コストの観点から何らかの形で加算することによって近似する。
本稿では,1つ以上の境界層が存在する線形PDEに対するPINNについて検討する。
論文 参考訳（メタデータ） (2022-07-15T21:15:06Z) - Momentum Diminishes the Effect of Spectral Bias in Physics-Informed
Neural Networks [72.09574528342732]
物理インフォームドニューラルネットワーク(PINN)アルゴリズムは、偏微分方程式(PDE)を含む幅広い問題を解く上で有望な結果を示している。
彼らはしばしば、スペクトルバイアスと呼ばれる現象のために、ターゲット関数が高周波の特徴を含むとき、望ましい解に収束しない。
本研究は, 運動量による勾配降下下で進化するPINNのトレーニングダイナミクスを, NTK(Neural Tangent kernel)を用いて研究するものである。
論文 参考訳（メタデータ） (2022-06-29T19:03:10Z) - Learning Physics-Informed Neural Networks without Stacked
Back-propagation [82.26566759276105]
我々は,物理インフォームドニューラルネットワークのトレーニングを著しく高速化する新しい手法を開発した。
特に、ガウス滑らか化モデルによりPDE解をパラメータ化し、スタインの恒等性から導かれる2階微分がバックプロパゲーションなしで効率的に計算可能であることを示す。
実験の結果,提案手法は通常のPINN訓練に比べて2桁の精度で競合誤差を実現できることがわかった。
論文 参考訳（メタデータ） (2022-02-18T18:07:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。