論文の概要: The Challenges of the Nonlinear Regime for Physics-Informed Neural
Networks
- arxiv url: http://arxiv.org/abs/2402.03864v1
- Date: Tue, 6 Feb 2024 10:24:36 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-07 15:33:25.291130
- Title: The Challenges of the Nonlinear Regime for Physics-Informed Neural
Networks
- Title(参考訳): 物理インフォームドニューラルネットワークにおける非線形レジームの課題
- Authors: Andrea Bonfanti, Giuseppe Bruno, Cristina Cipriani
- Abstract要約: 本研究では,物理インフォームドニューラルネットワーク(PINN)の無限幅限界におけるトレーニングダイナミクスについて検討する。
微分作用素の線形性に依存するニューラル・タンジェント・カーネル(NTK)の異なる挙動に関する理論的結果を提供する。
本稿では,2次法の収束能力を考察し,スペクトルバイアスと緩やかな収束の課題に対処する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The Neural Tangent Kernel (NTK) viewpoint represents a valuable approach to
examine the training dynamics of Physics-Informed Neural Networks (PINNs) in
the infinite width limit. We leverage this perspective and focus on the case of
nonlinear Partial Differential Equations (PDEs) solved by PINNs. We provide
theoretical results on the different behaviors of the NTK depending on the
linearity of the differential operator. Moreover, inspired by our theoretical
results, we emphasize the advantage of employing second-order methods for
training PINNs. Additionally, we explore the convergence capabilities of
second-order methods and address the challenges of spectral bias and slow
convergence. Every theoretical result is supported by numerical examples with
both linear and nonlinear PDEs, and we validate our training method on
benchmark test cases.
- Abstract(参考訳): ニューラル・タンジェント・カーネル(NTK)の視点は、無限幅限界における物理情報ニューラルネットワーク(PINN)のトレーニング力学を調べるための貴重なアプローチである。
我々はこの観点を活用し、PINNによって解決された非線形偏微分方程式(PDE)の事例に焦点を当てる。
微分作用素の線型性に依存するNTKの異なる挙動に関する理論的結果を提供する。
さらに,理論的な結果に触発されて,PINNの訓練に二階法を用いるという利点を強調した。
さらに, 2次法の収束能力を考察し, スペクトルバイアスと緩やかな収束の課題に対処する。
各理論結果は線形PDEと非線形PDEの数値例によって支持され、ベンチマークテストケースでのトレーニング方法を検証する。
関連論文リスト
- Nonlinear Discrete-Time Observers with Physics-Informed Neural Networks [0.0]
我々は、離散時間非線形オブザーバ状態推定問題を解くために物理インフォームドニューラルネットワーク(PINN)を用いる。
提案手法は不均一関数方程式の解法により非線形状態変換写像を学習することを目的としている。
論文 参考訳(メタデータ) (2024-02-19T18:47:56Z) - Training dynamics in Physics-Informed Neural Networks with feature
mapping [2.2274608188690666]
物理インフォームドニューラルネットワーク(PINN)は、部分微分方程式(PDE)を解くための象徴的な機械学習手法として登場した。
本研究では,特徴写像層を持つPINNのトレーニングダイナミクスを,共役カーネルとニューラルタンジェントカーネルの制限により検討する。
この単純な手法は、入力ネットワークのコーディネートで容易に実装でき、幅広いPINNの研究に役立てることができる。
論文 参考訳(メタデータ) (2024-02-10T13:51:09Z) - Implicit Stochastic Gradient Descent for Training Physics-informed
Neural Networks [51.92362217307946]
物理インフォームドニューラルネットワーク(PINN)は、前方および逆微分方程式問題の解法として効果的に実証されている。
PINNは、近似すべきターゲット関数が高周波またはマルチスケールの特徴を示す場合、トレーニング障害に閉じ込められる。
本稿では,暗黙的勾配降下法(ISGD)を用いてPINNを訓練し,トレーニングプロセスの安定性を向上させることを提案する。
論文 参考訳(メタデータ) (2023-03-03T08:17:47Z) - Learning Discretized Neural Networks under Ricci Flow [51.36292559262042]
低精度重みとアクティベーションからなる離散ニューラルネットワーク(DNN)について検討する。
DNNは、訓練中に微分不可能な離散関数のために無限あるいはゼロの勾配に悩まされる。
論文 参考訳(メタデータ) (2023-02-07T10:51:53Z) - Neural tangent kernel analysis of PINN for advection-diffusion equation [0.0]
物理インフォームドニューラルネットワーク(PINN)は偏微分方程式(PDE)の解を数値的に近似する
PINNは、クローズドフォーム解析ソリューションが利用可能である単純なケースでも苦労することが知られている。
この研究は、ニューラル・タンジェント・カーネル(NTK)理論を用いた線形対流拡散方程式(LAD)に対するPINNの体系的解析に焦点をあてる。
論文 参考訳(メタデータ) (2022-11-21T18:35:14Z) - Tunable Complexity Benchmarks for Evaluating Physics-Informed Neural
Networks on Coupled Ordinary Differential Equations [64.78260098263489]
本研究では,より複雑に結合した常微分方程式(ODE)を解く物理インフォームドニューラルネットワーク(PINN)の能力を評価する。
PINNの複雑性が増大するにつれて,これらのベンチマークに対する正しい解が得られないことが示される。
PINN損失のラプラシアンは,ネットワーク容量の不足,ODEの条件の低下,局所曲率の高さなど,いくつかの理由を明らかにした。
論文 参考訳(メタデータ) (2022-10-14T15:01:32Z) - Momentum Diminishes the Effect of Spectral Bias in Physics-Informed
Neural Networks [72.09574528342732]
物理インフォームドニューラルネットワーク(PINN)アルゴリズムは、偏微分方程式(PDE)を含む幅広い問題を解く上で有望な結果を示している。
彼らはしばしば、スペクトルバイアスと呼ばれる現象のために、ターゲット関数が高周波の特徴を含むとき、望ましい解に収束しない。
本研究は, 運動量による勾配降下下で進化するPINNのトレーニングダイナミクスを, NTK(Neural Tangent kernel)を用いて研究するものである。
論文 参考訳(メタデータ) (2022-06-29T19:03:10Z) - Learning Physics-Informed Neural Networks without Stacked
Back-propagation [82.26566759276105]
我々は,物理インフォームドニューラルネットワークのトレーニングを著しく高速化する新しい手法を開発した。
特に、ガウス滑らか化モデルによりPDE解をパラメータ化し、スタインの恒等性から導かれる2階微分がバックプロパゲーションなしで効率的に計算可能であることを示す。
実験の結果,提案手法は通常のPINN訓練に比べて2桁の精度で競合誤差を実現できることがわかった。
論文 参考訳(メタデータ) (2022-02-18T18:07:54Z) - Incorporating NODE with Pre-trained Neural Differential Operator for
Learning Dynamics [73.77459272878025]
ニューラル微分演算子(NDO)の事前学習による動的学習における教師付き信号の強化を提案する。
NDOは記号関数のクラスで事前訓練され、これらの関数の軌跡サンプルとそれらの導関数とのマッピングを学習する。
我々は,NDOの出力が,ライブラリの複雑さを適切に調整することで,基礎となる真理微分を適切に近似できることを理論的に保証する。
論文 参考訳(メタデータ) (2021-06-08T08:04:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。