論文の概要: Characterizing possible failure modes in physics-informed neural
networks
- arxiv url: http://arxiv.org/abs/2109.01050v1
- Date: Thu, 2 Sep 2021 16:06:45 GMT
- ステータス: 処理完了
- システム内更新日: 2021-09-03 13:58:06.488622
- Title: Characterizing possible failure modes in physics-informed neural
networks
- Title（参考訳）: 物理インフォームドニューラルネットワークにおける障害モードのキャラクタリゼーション
- Authors: Aditi S. Krishnapriyan, Amir Gholami, Shandian Zhe, Robert M. Kirby,
Michael W. Mahoney
- Abstract要約: 科学機械学習における最近の研究は、いわゆる物理情報ニューラルネットワーク(PINN)モデルを開発した。
既存のPINN方法論は比較的自明な問題に対して優れたモデルを学ぶことができるが、単純なPDEであっても、関連する物理現象を学習するのに失敗する可能性があることを実証する。
これらの障害モードは,NNアーキテクチャの表現力の欠如によるものではなく,PINNのセットアップによって損失状況の最適化が極めて困難であることを示す。
- 参考スコア（独自算出の注目度）: 55.83255669840384
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent work in scientific machine learning has developed so-called
physics-informed neural network (PINN) models. The typical approach is to
incorporate physical domain knowledge as soft constraints on an empirical loss
function and use existing machine learning methodologies to train the model. We
demonstrate that, while existing PINN methodologies can learn good models for
relatively trivial problems, they can easily fail to learn relevant physical
phenomena even for simple PDEs. In particular, we analyze several distinct
situations of widespread physical interest, including learning differential
equations with convection, reaction, and diffusion operators. We provide
evidence that the soft regularization in PINNs, which involves differential
operators, can introduce a number of subtle problems, including making the
problem ill-conditioned. Importantly, we show that these possible failure modes
are not due to the lack of expressivity in the NN architecture, but that the
PINN's setup makes the loss landscape very hard to optimize. We then describe
two promising solutions to address these failure modes. The first approach is
to use curriculum regularization, where the PINN's loss term starts from a
simple PDE regularization, and becomes progressively more complex as the NN
gets trained. The second approach is to pose the problem as a
sequence-to-sequence learning task, rather than learning to predict the entire
space-time at once. Extensive testing shows that we can achieve up to 1-2
orders of magnitude lower error with these methods as compared to regular PINN
training.
- Abstract（参考訳）: 科学機械学習における最近の研究は、いわゆる物理情報ニューラルネットワーク(PINN)モデルを開発した。
典型的なアプローチは、物理領域の知識を経験的損失関数のソフト制約として組み込んで、既存の機械学習手法を使ってモデルを訓練する。
既存のpinn手法は,比較的自明な問題に対してよいモデルを学ぶことができるが,単純なpdesであっても,関連する物理現象は容易に学習できないことを実証する。
特に, 対流, 反応, 拡散演算子を用いた微分方程式の学習など, 広範な物理的関心の異なるいくつかの状況を分析した。
微分作用素を含むピンのソフト正則化は,問題を悪条件にすることを含め,多くの微妙な問題を引き起こすことができることを示す。
重要なことは、これらの障害モードはNNアーキテクチャにおける表現力の欠如によるものではなく、PINNのセットアップによって損失状況の最適化が極めて困難であることが示される。
次に、これらの障害モードに対処する2つの有望なソリューションを説明します。
最初のアプローチはカリキュラムの正規化であり、PINNの損失項は単純なPDE正規化から始まり、NNが訓練されるにつれて徐々に複雑になる。
第2のアプローチは、時空全体を一度に予測することではなく、シーケンスからシーケンスへの学習タスクとして問題を提起することだ。
拡張テストの結果,これらの手法では,通常のPINN訓練と比較して最大1～2桁の誤差を達成できることがわかった。
関連論文リスト
- Physics-Informed Neural Networks with Trust-Region Sequential Quadratic Programming [4.557963624437784]
最近の研究によると、物理情報ニューラルネットワーク(PINN)は比較的複雑な部分微分方程式(PDE)を学習できない可能性がある。
本稿では, 信頼領域逐次準計画法(trSQP-PINN)を導入し, PINNの障害モードに対処する。
PINNのようにペナル化ソフト制約損失を直接訓練するのに対し,本手法はソフト制約損失を利用して信頼範囲半径を適応的に調整しながら,ハード制約損失の線形2次近似を行う。
論文 参考訳（メタデータ） (2024-09-16T23:22:12Z) - Improving PINNs By Algebraic Inclusion of Boundary and Initial Conditions [0.1874930567916036]
AI for Science」は、AI技術を用いた基本的な科学的問題を解決することを目的としている。
本研究では、トレーニング対象のモデルを単にニューラルネットワークから非線形変換に変更する可能性について検討する。
これにより、損失関数の項数は標準のPINN損失よりも減少する。
論文 参考訳（メタデータ） (2024-07-30T11:19:48Z) - Exact Enforcement of Temporal Continuity in Sequential Physics-Informed
Neural Networks [0.0]
解アンザッツを用いて連続時間セグメント間の連続性を強制する手法を提案する。
この手法は、線形PDEと非線形PDEの両方を含む多くのベンチマーク問題に対して試験される。
提案手法を用いて行った数値実験により,従来のPINNとソフトコントラストの双方に対して,コンバージェンスと精度が優れていた。
論文 参考訳（メタデータ） (2024-02-15T17:41:02Z) - Learning Neural Constitutive Laws From Motion Observations for
Generalizable PDE Dynamics [97.38308257547186]
多くのNNアプローチは、支配的PDEと物質モデルの両方を暗黙的にモデル化するエンドツーエンドモデルを学ぶ。
PDEの管理はよく知られており、学習よりも明示的に実施されるべきである、と私たちは主張する。
そこで我々は,ネットワークアーキテクチャを利用したニューラル構成則(Neural Constitutive Laws,NCLaw)と呼ばれる新しいフレームワークを導入する。
論文 参考訳（メタデータ） (2023-04-27T17:42:24Z) - iPINNs: Incremental learning for Physics-informed neural networks [66.4795381419701]
物理インフォームドニューラルネットワーク(PINN)は、最近偏微分方程式(PDE)を解く強力なツールとなっている。
本稿では,新しいタスクのパラメータを追加せずに連続的に複数のタスクを学習できるインクリメンタルPINNを提案する。
提案手法は,PDEごとに個別のサブネットワークを作成し,従来のサブネットワークと重なり合うようにすることで,最も単純なPDEから複数のPDEを学習する。
論文 参考訳（メタデータ） (2023-04-10T20:19:20Z) - Tunable Complexity Benchmarks for Evaluating Physics-Informed Neural
Networks on Coupled Ordinary Differential Equations [64.78260098263489]
本研究では,より複雑に結合した常微分方程式(ODE)を解く物理インフォームドニューラルネットワーク(PINN)の能力を評価する。
PINNの複雑性が増大するにつれて,これらのベンチマークに対する正しい解が得られないことが示される。
PINN損失のラプラシアンは,ネットワーク容量の不足,ODEの条件の低下,局所曲率の高さなど,いくつかの理由を明らかにした。
論文 参考訳（メタデータ） (2022-10-14T15:01:32Z) - Learning Physics-Informed Neural Networks without Stacked
Back-propagation [82.26566759276105]
我々は,物理インフォームドニューラルネットワークのトレーニングを著しく高速化する新しい手法を開発した。
特に、ガウス滑らか化モデルによりPDE解をパラメータ化し、スタインの恒等性から導かれる2階微分がバックプロパゲーションなしで効率的に計算可能であることを示す。
実験の結果,提案手法は通常のPINN訓練に比べて2桁の精度で競合誤差を実現できることがわかった。
論文 参考訳（メタデータ） (2022-02-18T18:07:54Z) - Scientific Machine Learning through Physics-Informed Neural Networks:
Where we are and What's next [5.956366179544257]
physic-Informed Neural Networks (PINN) は、モデル方程式を符号化するニューラルネットワーク(NN)である。
PINNは現在ではPDE、分数方程式、積分微分方程式の解法として使われている。
論文 参考訳（メタデータ） (2022-01-14T19:05:44Z) - Learning in Sinusoidal Spaces with Physics-Informed Neural Networks [22.47355575565345]
物理インフォームドニューラルネットワーク(PINN)は、物理増強された損失関数を用いて、その出力が基本的な物理法則と一致していることを保証する。
実際に多くの問題に対して正確なPINNモデルをトレーニングすることは困難であることが判明した。
論文 参考訳（メタデータ） (2021-09-20T07:42:41Z) - Neural ODE Processes [64.10282200111983]
NDP(Neural ODE Process)は、Neural ODEの分布によって決定される新しいプロセスクラスである。
我々のモデルは,少数のデータポイントから低次元システムのダイナミクスを捉えることができることを示す。
論文 参考訳（メタデータ） (2021-03-23T09:32:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。