論文の概要: Learning Physics-Informed Neural Networks without Stacked
Back-propagation
- arxiv url: http://arxiv.org/abs/2202.09340v1
- Date: Fri, 18 Feb 2022 18:07:54 GMT
- ステータス: 処理完了
- システム内更新日: 2022-02-21 14:20:48.089031
- Title: Learning Physics-Informed Neural Networks without Stacked
Back-propagation
- Title(参考訳): 積み重ねバックプロパゲーションのない物理インフォームニューラルネットワークの学習
- Authors: Di He, Wenlei Shi, Shanda Li, Xiaotian Gao, Jia Zhang, Jiang Bian,
Liwei Wang, Tie-Yan Liu
- Abstract要約: 我々は,物理インフォームドニューラルネットワークのトレーニングを著しく高速化する新しい手法を開発した。
特に、ガウス滑らか化モデルによりPDE解をパラメータ化し、スタインの恒等性から導かれる2階微分がバックプロパゲーションなしで効率的に計算可能であることを示す。
実験の結果,提案手法は通常のPINN訓練に比べて2桁の精度で競合誤差を実現できることがわかった。
- 参考スコア(独自算出の注目度): 82.26566759276105
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Physics-Informed Neural Network (PINN) has become a commonly used machine
learning approach to solve partial differential equations (PDE). But, facing
high-dimensional second-order PDE problems, PINN will suffer from severe
scalability issues since its loss includes second-order derivatives, the
computational cost of which will grow along with the dimension during stacked
back-propagation. In this paper, we develop a novel approach that can
significantly accelerate the training of Physics-Informed Neural Networks. In
particular, we parameterize the PDE solution by the Gaussian smoothed model and
show that, derived from Stein's Identity, the second-order derivatives can be
efficiently calculated without back-propagation. We further discuss the model
capacity and provide variance reduction methods to address key limitations in
the derivative estimation. Experimental results show that our proposed method
can achieve competitive error compared to standard PINN training but is two
orders of magnitude faster.
- Abstract(参考訳): 物理インフォームドニューラルネットワーク(PINN)は偏微分方程式(PDE)の解法として広く使われている。
しかし、高次元2階PDE問題に直面したPINNは、その損失には2階導関数が含まれており、その計算コストは、積み重ねされたバックプロパゲーションの次元とともに増大する。
本稿では,物理インフォームドニューラルネットワークのトレーニングを大幅に高速化する新しい手法を提案する。
特に、ガウス滑らか化モデルによりPDE解をパラメータ化し、スタインの恒等性から導かれる二次微分がバックプロパゲーションなしで効率的に計算可能であることを示す。
さらに, モデル容量について検討し, 導関数推定の重要な限界に対処する分散低減法を提案する。
実験の結果,提案手法は通常のPINN訓練に比べて2桁の精度で競合誤差を実現できることがわかった。
関連論文リスト
- Reduced-order modeling for parameterized PDEs via implicit neural
representations [4.135710717238787]
我々は、パラメータ化偏微分方程式(PDE)を効率的に解くために、新しいデータ駆動型低次モデリング手法を提案する。
提案フレームワークは、PDEを符号化し、パラメトリゼーションニューラルネットワーク(PNODE)を用いて、複数のPDEパラメータを特徴とする潜時ダイナミクスを学習する。
我々は,提案手法を大規模なレイノルズ数で評価し,O(103)の高速化と,基底真理値に対する1%の誤差を得る。
論文 参考訳(メタデータ) (2023-11-28T01:35:06Z) - A Stable and Scalable Method for Solving Initial Value PDEs with Neural
Networks [52.5899851000193]
我々は,ネットワークの条件が悪くなるのを防止し,パラメータ数で時間線形に動作するODEベースのIPPソルバを開発した。
このアプローチに基づく現在の手法は2つの重要な問題に悩まされていることを示す。
まず、ODEに従うと、問題の条件付けにおいて制御不能な成長が生じ、最終的に許容できないほど大きな数値誤差が生じる。
論文 参考訳(メタデータ) (2023-04-28T17:28:18Z) - Error Analysis of Physics-Informed Neural Networks for Approximating
Dynamic PDEs of Second Order in Time [1.123111111659464]
物理インフォームドニューラルネットワーク(PINN)による2次動的偏微分方程式(PDE)の近似について検討する。
分析の結果,2つの隠れ層と$tanh$アクティベーション関数を持つフィードフォワードニューラルネットワークでは,トレーニング損失とトレーニングデータポイント数によって,解場のPINN近似誤差を効果的にバウンドすることができることがわかった。
本稿では, 波動方程式, Sine-Gordon 方程式, 線形エラストダイナミック方程式に対する新しい PINN アルゴリズムを用いた数値実験を行った。
論文 参考訳(メタデータ) (2023-03-22T00:51:11Z) - A mixed formulation for physics-informed neural networks as a potential
solver for engineering problems in heterogeneous domains: comparison with
finite element method [0.0]
物理インフォームドニューラルネットワーク(PINN)は、与えられた境界値問題の解を見つけることができる。
工学的問題における既存のPINNの性能を高めるために,有限要素法(FEM)からいくつかのアイデアを取り入れた。
論文 参考訳(メタデータ) (2022-06-27T08:18:08Z) - LordNet: Learning to Solve Parametric Partial Differential Equations
without Simulated Data [63.55861160124684]
本稿では,離散化されたPDEによって構築された平均2乗残差(MSR)損失から,ニューラルネットワークが直接物理を学習する一般データ自由パラダイムを提案する。
具体的には,低ランク分解ネットワーク(LordNet)を提案する。
Poisson方程式とNavier-Stokes方程式を解く実験は、MSR損失による物理的制約がニューラルネットワークの精度と能力を向上させることを実証している。
論文 参考訳(メタデータ) (2022-06-19T14:41:08Z) - Physics-Informed Neural Operator for Learning Partial Differential
Equations [55.406540167010014]
PINOは、演算子を学ぶために異なる解像度でデータとPDE制約を組み込んだ最初のハイブリッドアプローチである。
結果の PINO モデルは、多くの人気のある PDE ファミリの基底構造解演算子を正確に近似することができる。
論文 参考訳(メタデータ) (2021-11-06T03:41:34Z) - Solving Partial Differential Equations with Point Source Based on
Physics-Informed Neural Networks [33.18757454787517]
近年では、偏微分方程式(PDE)の解法としてディープラーニング技術が用いられている。
3つの新しい手法でこの問題に対処するための普遍的な解決策を提案する。
提案手法を3つの代表的PDEを用いて評価し,提案手法が既存の深層学習手法よりも精度,効率,汎用性に優れていたことを示す。
論文 参考訳(メタデータ) (2021-11-02T06:39:54Z) - Characterizing possible failure modes in physics-informed neural
networks [55.83255669840384]
科学機械学習における最近の研究は、いわゆる物理情報ニューラルネットワーク(PINN)モデルを開発した。
既存のPINN方法論は比較的自明な問題に対して優れたモデルを学ぶことができるが、単純なPDEであっても、関連する物理現象を学習するのに失敗する可能性があることを実証する。
これらの障害モードは,NNアーキテクチャの表現力の欠如によるものではなく,PINNのセットアップによって損失状況の最適化が極めて困難であることを示す。
論文 参考訳(メタデータ) (2021-09-02T16:06:45Z) - dNNsolve: an efficient NN-based PDE solver [62.997667081978825]
ODE/PDEを解決するためにデュアルニューラルネットワークを利用するdNNsolveを紹介します。
我々は,dNNsolveが1,2,3次元の幅広いODE/PDEを解くことができることを示す。
論文 参考訳(メタデータ) (2021-03-15T19:14:41Z) - A nonlocal physics-informed deep learning framework using the
peridynamic differential operator [0.0]
本研究では,長距離相互作用を組み込んだ数値計算法であるPeridynamic Differential Operator (PDDO) を用いた非局所PINN手法を開発した。
PDDO関数はニューラルネットワークアーキテクチャに容易に組み込むことができるため、非局所性は現代のディープラーニングアルゴリズムの性能を低下させることはない。
本稿では,非局所PINNの解法精度とパラメータ推定の両方において,局所PINNに対して優れた振る舞いを示す。
論文 参考訳(メタデータ) (2020-05-31T06:26:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。