論文の概要: Investigating and Mitigating Failure Modes in Physics-informed Neural
Networks (PINNs)
- arxiv url: http://arxiv.org/abs/2209.09988v1
- Date: Tue, 20 Sep 2022 20:46:07 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-22 17:36:50.254420
- Title: Investigating and Mitigating Failure Modes in Physics-informed Neural
Networks (PINNs)
- Title(参考訳): 物理インフォームドニューラルネットワーク(PINN)における故障モードの調査と緩和
- Authors: Shamsulhaq Basir
- Abstract要約: 本稿では,物理インフォームドニューラルネットワークを用いた複雑な問題に対処する上での課題について検討する。
以上の結果から,PDE演算子が存在する場合,非順序勾配はナビゲートが困難であることが示唆された。
そうすることで、非滑らかなソリューションによる学習の容易化が可能になります。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this paper, we demonstrate and investigate several challenges that stand
in the way of tackling complex problems using physics-informed neural networks.
In particular, we visualize the loss landscapes of trained models and perform
sensitivity analysis of backpropagated gradients in the presence of physics.
Our findings suggest that existing methods produce highly non-convex loss
landscapes that are difficult to navigate. Furthermore, high-order PDEs
contaminate the backpropagated gradients that may impede or prevent
convergence. We then propose a novel method that bypasses the calculation of
high-order PDE operators and mitigates the contamination of backpropagating
gradients. In doing so, we reduce the dimension of the search space of our
solution and facilitate learning problems with non-smooth solutions. Our
formulation also provides a feedback mechanism that helps our model adaptively
focus on complex regions of the domain that are difficult to learn. We then
formulate an unconstrained dual problem by adapting the Lagrange multiplier
method. We apply our method to solve several challenging benchmark problems
governed by linear and non-linear PDEs.
- Abstract(参考訳): 本稿では,物理インフォームドニューラルネットワークを用いて,複雑な問題に対処する上での課題を実証し,検討する。
特に,訓練モデルの損失景観を可視化し,物理存在下での逆伝播勾配の感度解析を行う。
以上より,既存の手法はナビゲートが困難である非凸損失景観を生じさせることが示唆された。
さらに、高次PDEは、収束を妨げたり妨げたりするバックプロパゲート勾配を汚染する。
そこで我々は,高次PDE演算子の計算を回避し,バックプロパゲート勾配の汚染を軽減する新しい手法を提案する。
そこで我々は, 解の探索空間の次元を削減し, 非スムース解の学習を促進させる。
私たちの定式化は、モデルが学習が難しいドメインの複雑な領域に適応的に焦点を合わせるのに役立つフィードバックメカニズムも提供します。
次に、ラグランジュ乗算法を適用して、制約のない双対問題を定式化する。
本稿では,線形および非線形PDEが支配するいくつかのベンチマーク問題の解決に本手法を適用した。
関連論文リスト
- Implicit Stochastic Gradient Descent for Training Physics-informed
Neural Networks [51.92362217307946]
物理インフォームドニューラルネットワーク(PINN)は、前方および逆微分方程式問題の解法として効果的に実証されている。
PINNは、近似すべきターゲット関数が高周波またはマルチスケールの特徴を示す場合、トレーニング障害に閉じ込められる。
本稿では,暗黙的勾配降下法(ISGD)を用いてPINNを訓練し,トレーニングプロセスの安定性を向上させることを提案する。
論文 参考訳(メタデータ) (2023-03-03T08:17:47Z) - Learning differentiable solvers for systems with hard constraints [48.54197776363251]
ニューラルネットワーク(NN)によって定義される関数に対する偏微分方程式(PDE)制約を強制する実践的手法を提案する。
我々は、任意のNNアーキテクチャに組み込むことができる微分可能なPDE制約層を開発した。
その結果、NNアーキテクチャに直接ハード制約を組み込むことで、制約のない目的のトレーニングに比べてテストエラーがはるかに少ないことがわかった。
論文 参考訳(メタデータ) (2022-07-18T15:11:43Z) - LordNet: Learning to Solve Parametric Partial Differential Equations
without Simulated Data [63.55861160124684]
本稿では,離散化されたPDEによって構築された平均2乗残差(MSR)損失から,ニューラルネットワークが直接物理を学習する一般データ自由パラダイムを提案する。
具体的には,低ランク分解ネットワーク(LordNet)を提案する。
Poisson方程式とNavier-Stokes方程式を解く実験は、MSR損失による物理的制約がニューラルネットワークの精度と能力を向上させることを実証している。
論文 参考訳(メタデータ) (2022-06-19T14:41:08Z) - Mitigating Learning Complexity in Physics and Equality Constrained
Artificial Neural Networks [0.9137554315375919]
偏微分方程式(PDE)の解を学ぶために物理インフォームドニューラルネットワーク(PINN)が提案されている。
PINNでは、利害関係のPDEの残留形態とその境界条件は、軟罰として複合目的関数にまとめられる。
本稿では,この目的関数を定式化する方法が,異なる種類のPDEに適用した場合のPINNアプローチにおける厳しい制約の源であることを示す。
論文 参考訳(メタデータ) (2022-06-19T04:12:01Z) - Learning Physics-Informed Neural Networks without Stacked
Back-propagation [82.26566759276105]
我々は,物理インフォームドニューラルネットワークのトレーニングを著しく高速化する新しい手法を開発した。
特に、ガウス滑らか化モデルによりPDE解をパラメータ化し、スタインの恒等性から導かれる2階微分がバックプロパゲーションなしで効率的に計算可能であることを示す。
実験の結果,提案手法は通常のPINN訓練に比べて2桁の精度で競合誤差を実現できることがわかった。
論文 参考訳(メタデータ) (2022-02-18T18:07:54Z) - Message Passing Neural PDE Solvers [60.77761603258397]
我々は、バックプロップ最適化されたニューラル関数近似器で、グラフのアリーデザインのコンポーネントを置き換えるニューラルメッセージパッシング解決器を構築した。
本稿では, 有限差分, 有限体積, WENOスキームなどの古典的手法を表現的に含んでいることを示す。
本研究では, 異なる領域のトポロジ, 方程式パラメータ, 離散化などにおける高速, 安定, 高精度な性能を, 1次元, 2次元で検証する。
論文 参考訳(メタデータ) (2022-02-07T17:47:46Z) - Physics-Informed Neural Operator for Learning Partial Differential
Equations [55.406540167010014]
PINOは、演算子を学ぶために異なる解像度でデータとPDE制約を組み込んだ最初のハイブリッドアプローチである。
結果の PINO モデルは、多くの人気のある PDE ファミリの基底構造解演算子を正確に近似することができる。
論文 参考訳(メタデータ) (2021-11-06T03:41:34Z) - Physics and Equality Constrained Artificial Neural Networks: Application
to Partial Differential Equations [1.370633147306388]
偏微分方程式(PDE)の解を学ぶために物理インフォームドニューラルネットワーク(PINN)が提案されている。
本稿では,この目的関数の定式化方法が,PINNアプローチにおける厳密な制約の源であることを示す。
本稿では,逆問題と前方問題の両方に対処可能な多目的フレームワークを提案する。
論文 参考訳(メタデータ) (2021-09-30T05:55:35Z) - Solving PDEs on Unknown Manifolds with Machine Learning [8.220217498103315]
本稿では,未知多様体上の楕円型PDEを解くためのメッシュフリー計算フレームワークと機械学習理論を提案する。
提案したNNソルバは,新しいデータポイント上の一般化とほぼ同一の誤差を持つ新しいデータポイント上でPDEを強固に一般化できることを示す。
論文 参考訳(メタデータ) (2021-06-12T03:55:15Z) - A nonlocal physics-informed deep learning framework using the
peridynamic differential operator [0.0]
本研究では,長距離相互作用を組み込んだ数値計算法であるPeridynamic Differential Operator (PDDO) を用いた非局所PINN手法を開発した。
PDDO関数はニューラルネットワークアーキテクチャに容易に組み込むことができるため、非局所性は現代のディープラーニングアルゴリズムの性能を低下させることはない。
本稿では,非局所PINNの解法精度とパラメータ推定の両方において,局所PINNに対して優れた振る舞いを示す。
論文 参考訳(メタデータ) (2020-05-31T06:26:21Z) - Solving inverse-PDE problems with physics-aware neural networks [0.0]
偏微分方程式の逆問題における未知の場を見つけるための新しい枠組みを提案する。
我々は,ディープニューラルネットワークの高表現性を,既存の数値アルゴリズムの精度と信頼性とを融合した普遍関数推定器とする。
論文 参考訳(メタデータ) (2020-01-10T18:46:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。