論文の概要: Investigating and Mitigating Failure Modes in Physics-informed Neural
Networks (PINNs)
- arxiv url: http://arxiv.org/abs/2209.09988v3
- Date: Mon, 8 May 2023 00:04:06 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-10 00:26:21.502785
- Title: Investigating and Mitigating Failure Modes in Physics-informed Neural
Networks (PINNs)
- Title(参考訳): 物理インフォームドニューラルネットワーク(PINN)における故障モードの調査と緩和
- Authors: Shamsulhaq Basir
- Abstract要約: 本稿では,物理インフォームドニューラルネットワーク(PINN)を用いた偏微分方程式(PDE)の解法について検討する。
PINNは客観的関数の正規化用語として物理を用いるが、この手法はデータの欠如や解の事前知識の欠如において実用的ではない。
以上の結果から,高次PDEは逆伝播勾配を汚染し,収束を阻害することが明らかとなった。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper explores the difficulties in solving partial differential
equations (PDEs) using physics-informed neural networks (PINNs). PINNs use
physics as a regularization term in the objective function. However, a drawback
of this approach is the requirement for manual hyperparameter tuning, making it
impractical in the absence of validation data or prior knowledge of the
solution. Our investigations of the loss landscapes and backpropagated
gradients in the presence of physics reveal that existing methods produce
non-convex loss landscapes that are hard to navigate. Our findings demonstrate
that high-order PDEs contaminate backpropagated gradients and hinder
convergence. To address these challenges, we introduce a novel method that
bypasses the calculation of high-order derivative operators and mitigates the
contamination of backpropagated gradients. Consequently, we reduce the
dimension of the search space and make learning PDEs with non-smooth solutions
feasible. Our method also provides a mechanism to focus on complex regions of
the domain. Besides, we present a dual unconstrained formulation based on
Lagrange multiplier method to enforce equality constraints on the model's
prediction, with adaptive and independent learning rates inspired by adaptive
subgradient methods. We apply our approach to solve various linear and
non-linear PDEs.
- Abstract(参考訳): 本稿では,物理インフォームドニューラルネットワーク(PINN)を用いた偏微分方程式(PDE)の解法について検討する。
PINNは、目的関数の正規化用語として物理学を用いる。
しかしながら、このアプローチの欠点は、手動のハイパーパラメータチューニングの要件であり、検証データやソリューションの事前知識がない場合に実用的でない。
物理存在下での損失景観と逆伝播勾配の調査により、既存の方法では、航行が困難である非凸損失景観が生じることが明らかとなった。
以上の結果から,高次PDEは逆伝播勾配を汚染し,収束を阻害することが明らかとなった。
これらの課題に対処するために,高階微分作用素の計算をバイパスし,逆伝播勾配の汚染を緩和する新しい手法を提案する。
その結果,探索空間の次元を小さくし,非滑らかな解を用いてPDEを学習できるようにする。
また,本手法はドメインの複雑な領域に注目する機構も提供する。
さらに,ラグランジュ乗算法に基づいて,適応型および独立型の学習率を適応型サブグラディエント法にインスパイアしたモデル予測に等式制約を課す2つの非拘束型定式法を提案する。
我々は,この手法を線形および非線形pdesの解法に適用する。
関連論文リスト
- Implicit Stochastic Gradient Descent for Training Physics-informed
Neural Networks [51.92362217307946]
物理インフォームドニューラルネットワーク(PINN)は、前方および逆微分方程式問題の解法として効果的に実証されている。
PINNは、近似すべきターゲット関数が高周波またはマルチスケールの特徴を示す場合、トレーニング障害に閉じ込められる。
本稿では,暗黙的勾配降下法(ISGD)を用いてPINNを訓練し,トレーニングプロセスの安定性を向上させることを提案する。
論文 参考訳(メタデータ) (2023-03-03T08:17:47Z) - Learning differentiable solvers for systems with hard constraints [48.54197776363251]
ニューラルネットワーク(NN)によって定義される関数に対する偏微分方程式(PDE)制約を強制する実践的手法を提案する。
我々は、任意のNNアーキテクチャに組み込むことができる微分可能なPDE制約層を開発した。
その結果、NNアーキテクチャに直接ハード制約を組み込むことで、制約のない目的のトレーニングに比べてテストエラーがはるかに少ないことがわかった。
論文 参考訳(メタデータ) (2022-07-18T15:11:43Z) - LordNet: Learning to Solve Parametric Partial Differential Equations
without Simulated Data [63.55861160124684]
本稿では,離散化されたPDEによって構築された平均2乗残差(MSR)損失から,ニューラルネットワークが直接物理を学習する一般データ自由パラダイムを提案する。
具体的には,低ランク分解ネットワーク(LordNet)を提案する。
Poisson方程式とNavier-Stokes方程式を解く実験は、MSR損失による物理的制約がニューラルネットワークの精度と能力を向上させることを実証している。
論文 参考訳(メタデータ) (2022-06-19T14:41:08Z) - Mitigating Learning Complexity in Physics and Equality Constrained
Artificial Neural Networks [0.9137554315375919]
偏微分方程式(PDE)の解を学ぶために物理インフォームドニューラルネットワーク(PINN)が提案されている。
PINNでは、利害関係のPDEの残留形態とその境界条件は、軟罰として複合目的関数にまとめられる。
本稿では,この目的関数を定式化する方法が,異なる種類のPDEに適用した場合のPINNアプローチにおける厳しい制約の源であることを示す。
論文 参考訳(メタデータ) (2022-06-19T04:12:01Z) - Learning Physics-Informed Neural Networks without Stacked
Back-propagation [82.26566759276105]
我々は,物理インフォームドニューラルネットワークのトレーニングを著しく高速化する新しい手法を開発した。
特に、ガウス滑らか化モデルによりPDE解をパラメータ化し、スタインの恒等性から導かれる2階微分がバックプロパゲーションなしで効率的に計算可能であることを示す。
実験の結果,提案手法は通常のPINN訓練に比べて2桁の精度で競合誤差を実現できることがわかった。
論文 参考訳(メタデータ) (2022-02-18T18:07:54Z) - Message Passing Neural PDE Solvers [60.77761603258397]
我々は、バックプロップ最適化されたニューラル関数近似器で、グラフのアリーデザインのコンポーネントを置き換えるニューラルメッセージパッシング解決器を構築した。
本稿では, 有限差分, 有限体積, WENOスキームなどの古典的手法を表現的に含んでいることを示す。
本研究では, 異なる領域のトポロジ, 方程式パラメータ, 離散化などにおける高速, 安定, 高精度な性能を, 1次元, 2次元で検証する。
論文 参考訳(メタデータ) (2022-02-07T17:47:46Z) - Physics-Informed Neural Operator for Learning Partial Differential
Equations [55.406540167010014]
PINOは、演算子を学ぶために異なる解像度でデータとPDE制約を組み込んだ最初のハイブリッドアプローチである。
結果の PINO モデルは、多くの人気のある PDE ファミリの基底構造解演算子を正確に近似することができる。
論文 参考訳(メタデータ) (2021-11-06T03:41:34Z) - Physics and Equality Constrained Artificial Neural Networks: Application
to Partial Differential Equations [1.370633147306388]
偏微分方程式(PDE)の解を学ぶために物理インフォームドニューラルネットワーク(PINN)が提案されている。
本稿では,この目的関数の定式化方法が,PINNアプローチにおける厳密な制約の源であることを示す。
本稿では,逆問題と前方問題の両方に対処可能な多目的フレームワークを提案する。
論文 参考訳(メタデータ) (2021-09-30T05:55:35Z) - Solving PDEs on Unknown Manifolds with Machine Learning [8.220217498103315]
本稿では,未知多様体上の楕円型PDEを解くためのメッシュフリー計算フレームワークと機械学習理論を提案する。
提案したNNソルバは,新しいデータポイント上の一般化とほぼ同一の誤差を持つ新しいデータポイント上でPDEを強固に一般化できることを示す。
論文 参考訳(メタデータ) (2021-06-12T03:55:15Z) - A nonlocal physics-informed deep learning framework using the
peridynamic differential operator [0.0]
本研究では,長距離相互作用を組み込んだ数値計算法であるPeridynamic Differential Operator (PDDO) を用いた非局所PINN手法を開発した。
PDDO関数はニューラルネットワークアーキテクチャに容易に組み込むことができるため、非局所性は現代のディープラーニングアルゴリズムの性能を低下させることはない。
本稿では,非局所PINNの解法精度とパラメータ推定の両方において,局所PINNに対して優れた振る舞いを示す。
論文 参考訳(メタデータ) (2020-05-31T06:26:21Z) - Solving inverse-PDE problems with physics-aware neural networks [0.0]
偏微分方程式の逆問題における未知の場を見つけるための新しい枠組みを提案する。
我々は,ディープニューラルネットワークの高表現性を,既存の数値アルゴリズムの精度と信頼性とを融合した普遍関数推定器とする。
論文 参考訳(メタデータ) (2020-01-10T18:46:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。