論文の概要: Learning Physics-Informed Neural Networks without Stacked Back-propagation

• arxiv url: http://arxiv.org/abs/2202.09340v1
• Date: Fri, 18 Feb 2022 18:07:54 GMT
• ステータス: 処理完了
• システム内更新日: 2022-02-21 14:20:48.089031
• Title: Learning Physics-Informed Neural Networks without Stacked Back-propagation
• Title（参考訳）: 積み重ねバックプロパゲーションのない物理インフォームニューラルネットワークの学習
• Authors: Di He, Wenlei Shi, Shanda Li, Xiaotian Gao, Jia Zhang, Jiang Bian, Liwei Wang, Tie-Yan Liu
• Abstract要約: 我々は,物理インフォームドニューラルネットワークのトレーニングを著しく高速化する新しい手法を開発した。 特に、ガウス滑らか化モデルによりPDE解をパラメータ化し、スタインの恒等性から導かれる2階微分がバックプロパゲーションなしで効率的に計算可能であることを示す。 実験の結果,提案手法は通常のPINN訓練に比べて2桁の精度で競合誤差を実現できることがわかった。
• 参考スコア（独自算出の注目度）: 82.26566759276105
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Physics-Informed Neural Network (PINN) has become a commonly used machine learning approach to solve partial differential equations (PDE). But, facing high-dimensional second-order PDE problems, PINN will suffer from severe scalability issues since its loss includes second-order derivatives, the computational cost of which will grow along with the dimension during stacked back-propagation. In this paper, we develop a novel approach that can significantly accelerate the training of Physics-Informed Neural Networks. In particular, we parameterize the PDE solution by the Gaussian smoothed model and show that, derived from Stein's Identity, the second-order derivatives can be efficiently calculated without back-propagation. We further discuss the model capacity and provide variance reduction methods to address key limitations in the derivative estimation. Experimental results show that our proposed method can achieve competitive error compared to standard PINN training but is two orders of magnitude faster.
• Abstract（参考訳）: 物理インフォームドニューラルネットワーク(PINN)は偏微分方程式(PDE)の解法として広く使われている。 しかし、高次元2階PDE問題に直面したPINNは、その損失には2階導関数が含まれており、その計算コストは、積み重ねされたバックプロパゲーションの次元とともに増大する。 本稿では,物理インフォームドニューラルネットワークのトレーニングを大幅に高速化する新しい手法を提案する。 特に、ガウス滑らか化モデルによりPDE解をパラメータ化し、スタインの恒等性から導かれる二次微分がバックプロパゲーションなしで効率的に計算可能であることを示す。 さらに, モデル容量について検討し, 導関数推定の重要な限界に対処する分散低減法を提案する。 実験の結果,提案手法は通常のPINN訓練に比べて2桁の精度で競合誤差を実現できることがわかった。

関連論文リスト

• Physics-Informed Neural Networks with Trust-Region Sequential Quadratic Programming [4.557963624437784]
  最近の研究によると、物理情報ニューラルネットワーク(PINN)は比較的複雑な部分微分方程式(PDE)を学習できない可能性がある。 本稿では, 信頼領域逐次準計画法(trSQP-PINN)を導入し, PINNの障害モードに対処する。 PINNのようにペナル化ソフト制約損失を直接訓練するのに対し,本手法はソフト制約損失を利用して信頼範囲半径を適応的に調整しながら,ハード制約損失の線形2次近似を行う。
  論文  参考訳（メタデータ） (2024-09-16T23:22:12Z)
• General-Kindred Physics-Informed Neural Network to the Solutions of Singularly Perturbed Differential Equations [11.121415128908566]
  我々は,Singular Perturbation Differential Equations(SPDE)の解法として,GKPINN(General-Kindred Physics-Informed Neural Network)を提案する。 この手法は, 境界層の事前知識を方程式から利用し, 境界層を近似するPINNを支援する新しいネットワークを確立する。 GKPINNは,確立したPINN法と比較して,2～4桁の誤差を2～4桁に削減し,大幅な性能向上を実現している。
  論文  参考訳（メタデータ） (2024-08-27T02:03:22Z)
• A Stable and Scalable Method for Solving Initial Value PDEs with Neural Networks [52.5899851000193]
  我々は,ネットワークの条件が悪くなるのを防止し,パラメータ数で時間線形に動作するODEベースのIPPソルバを開発した。 このアプローチに基づく現在の手法は2つの重要な問題に悩まされていることを示す。 まず、ODEに従うと、問題の条件付けにおいて制御不能な成長が生じ、最終的に許容できないほど大きな数値誤差が生じる。
  論文  参考訳（メタデータ） (2023-04-28T17:28:18Z)
• Error Analysis of Physics-Informed Neural Networks for Approximating Dynamic PDEs of Second Order in Time [1.123111111659464]
  物理インフォームドニューラルネットワーク(PINN)による2次動的偏微分方程式(PDE)の近似について検討する。 分析の結果,2つの隠れ層と$tanh$アクティベーション関数を持つフィードフォワードニューラルネットワークでは,トレーニング損失とトレーニングデータポイント数によって,解場のPINN近似誤差を効果的にバウンドすることができることがわかった。 本稿では, 波動方程式, Sine-Gordon 方程式, 線形エラストダイナミック方程式に対する新しい PINN アルゴリズムを用いた数値実験を行った。
  論文  参考訳（メタデータ） (2023-03-22T00:51:11Z)
• NeuralStagger: Accelerating Physics-constrained Neural PDE Solver with Spatial-temporal Decomposition [67.46012350241969]
  本稿では,NeuralStaggerと呼ばれる一般化手法を提案する。 元の学習タスクをいくつかの粗い解像度のサブタスクに分解する。 本稿では,2次元および3次元流体力学シミュレーションにおけるNeuralStaggerの適用例を示す。
  論文  参考訳（メタデータ） (2023-02-20T19:36:52Z)
• A mixed formulation for physics-informed neural networks as a potential solver for engineering problems in heterogeneous domains: comparison with finite element method [0.0]
  物理インフォームドニューラルネットワーク(PINN)は、与えられた境界値問題の解を見つけることができる。 工学的問題における既存のPINNの性能を高めるために,有限要素法(FEM)からいくつかのアイデアを取り入れた。
  論文  参考訳（メタデータ） (2022-06-27T08:18:08Z)
• Physics-Informed Neural Operator for Learning Partial Differential Equations [55.406540167010014]
  PINOは、演算子を学ぶために異なる解像度でデータとPDE制約を組み込んだ最初のハイブリッドアプローチである。 結果の PINO モデルは、多くの人気のある PDE ファミリの基底構造解演算子を正確に近似することができる。
  論文  参考訳（メタデータ） (2021-11-06T03:41:34Z)
• Characterizing possible failure modes in physics-informed neural networks [55.83255669840384]
  科学機械学習における最近の研究は、いわゆる物理情報ニューラルネットワーク(PINN)モデルを開発した。 既存のPINN方法論は比較的自明な問題に対して優れたモデルを学ぶことができるが、単純なPDEであっても、関連する物理現象を学習するのに失敗する可能性があることを実証する。 これらの障害モードは,NNアーキテクチャの表現力の欠如によるものではなく,PINNのセットアップによって損失状況の最適化が極めて困難であることを示す。
  論文  参考訳（メタデータ） (2021-09-02T16:06:45Z)
• dNNsolve: an efficient NN-based PDE solver [62.997667081978825]
  ODE/PDEを解決するためにデュアルニューラルネットワークを利用するdNNsolveを紹介します。 我々は,dNNsolveが1,2,3次元の幅広いODE/PDEを解くことができることを示す。
  論文  参考訳（メタデータ） (2021-03-15T19:14:41Z)
• A nonlocal physics-informed deep learning framework using the peridynamic differential operator [0.0]
  本研究では,長距離相互作用を組み込んだ数値計算法であるPeridynamic Differential Operator (PDDO) を用いた非局所PINN手法を開発した。 PDDO関数はニューラルネットワークアーキテクチャに容易に組み込むことができるため、非局所性は現代のディープラーニングアルゴリズムの性能を低下させることはない。 本稿では,非局所PINNの解法精度とパラメータ推定の両方において,局所PINNに対して優れた振る舞いを示す。
  論文  参考訳（メタデータ） (2020-05-31T06:26:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。