論文の概要: MultiAdam: Parameter-wise Scale-invariant Optimizer for Multiscale
Training of Physics-informed Neural Networks
- arxiv url: http://arxiv.org/abs/2306.02816v1
- Date: Mon, 5 Jun 2023 12:12:59 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-06 15:21:37.130912
- Title: MultiAdam: Parameter-wise Scale-invariant Optimizer for Multiscale
Training of Physics-informed Neural Networks
- Title(参考訳): multiadam: 物理形ニューラルネットワークのマルチスケールトレーニングのためのパラメータワイズスケール不変最適化器
- Authors: Jiachen Yao, Chang Su, Zhongkai Hao, Songming Liu, Hang Su, Jun Zhu
- Abstract要約: 物理インフォームドニューラルネットワーク(PINN)は近年,部分微分方程式(PDE)の解法において顕著な進歩を遂げている。
PINNのトレーニングには、理論的枠組みの欠如やPDE損失と境界損失の不均衡など、いくつかの重要な課題がある。
本稿では,2次非同次PDEを3つのカテゴリに分類し,様々な共通問題に適用する。
- 参考スコア(独自算出の注目度): 29.598874158082804
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Physics-informed Neural Networks (PINNs) have recently achieved remarkable
progress in solving Partial Differential Equations (PDEs) in various fields by
minimizing a weighted sum of PDE loss and boundary loss. However, there are
several critical challenges in the training of PINNs, including the lack of
theoretical frameworks and the imbalance between PDE loss and boundary loss. In
this paper, we present an analysis of second-order non-homogeneous PDEs, which
are classified into three categories and applicable to various common problems.
We also characterize the connections between the training loss and actual
error, guaranteeing convergence under mild conditions. The theoretical analysis
inspires us to further propose MultiAdam, a scale-invariant optimizer that
leverages gradient momentum to parameter-wisely balance the loss terms.
Extensive experiment results on multiple problems from different physical
domains demonstrate that our MultiAdam solver can improve the predictive
accuracy by 1-2 orders of magnitude compared with strong baselines.
- Abstract(参考訳): 物理インフォームドニューラルネットワーク(PINN)は、最近、PDE損失と境界損失の重み付けを最小化し、様々な分野における部分微分方程式(PDE)の解法において顕著な進歩を遂げた。
しかし、理論的な枠組みの欠如やPDE損失と境界損失の不均衡など、PINNのトレーニングにはいくつかの重要な課題がある。
本稿では,3つのカテゴリに分類され,様々な共通問題に適用可能な2次非均一PDEの解析を行う。
また,訓練損失と実際の誤差との関係を特徴づけ,軽度条件下での収束を保証する。
この理論解析により,パラメータ的に損失項のバランスをとるために,勾配運動量を利用するスケール不変オプティマイザであるmultiadamがさらに提案される。
異なる物理領域の複数の問題に対する広範囲な実験結果から,我々のマルチアダムソルバは,強いベースラインと比較して,予測精度を1~2桁向上できることが示された。
関連論文リスト
- Lie Point Symmetry and Physics Informed Networks [59.56218517113066]
本稿では、損失関数を用いて、PINNモデルが基礎となるPDEを強制しようとするのと同じように、リー点対称性をネットワークに通知するロス関数を提案する。
我々の対称性の損失は、リー群の無限小生成元がPDE解を保存することを保証する。
実験により,PDEのリー点対称性による誘導バイアスはPINNの試料効率を大幅に向上させることが示された。
論文 参考訳(メタデータ) (2023-11-07T19:07:16Z) - Implicit Stochastic Gradient Descent for Training Physics-informed
Neural Networks [51.92362217307946]
物理インフォームドニューラルネットワーク(PINN)は、前方および逆微分方程式問題の解法として効果的に実証されている。
PINNは、近似すべきターゲット関数が高周波またはマルチスケールの特徴を示す場合、トレーニング障害に閉じ込められる。
本稿では,暗黙的勾配降下法(ISGD)を用いてPINNを訓練し,トレーニングプロセスの安定性を向上させることを提案する。
論文 参考訳(メタデータ) (2023-03-03T08:17:47Z) - Tunable Complexity Benchmarks for Evaluating Physics-Informed Neural
Networks on Coupled Ordinary Differential Equations [64.78260098263489]
本研究では,より複雑に結合した常微分方程式(ODE)を解く物理インフォームドニューラルネットワーク(PINN)の能力を評価する。
PINNの複雑性が増大するにつれて,これらのベンチマークに対する正しい解が得られないことが示される。
PINN損失のラプラシアンは,ネットワーク容量の不足,ODEの条件の低下,局所曲率の高さなど,いくつかの理由を明らかにした。
論文 参考訳(メタデータ) (2022-10-14T15:01:32Z) - LordNet: Learning to Solve Parametric Partial Differential Equations
without Simulated Data [63.55861160124684]
本稿では,離散化されたPDEによって構築された平均2乗残差(MSR)損失から,ニューラルネットワークが直接物理を学習する一般データ自由パラダイムを提案する。
具体的には,低ランク分解ネットワーク(LordNet)を提案する。
Poisson方程式とNavier-Stokes方程式を解く実験は、MSR損失による物理的制約がニューラルネットワークの精度と能力を向上させることを実証している。
論文 参考訳(メタデータ) (2022-06-19T14:41:08Z) - Mitigating Learning Complexity in Physics and Equality Constrained
Artificial Neural Networks [0.9137554315375919]
偏微分方程式(PDE)の解を学ぶために物理インフォームドニューラルネットワーク(PINN)が提案されている。
PINNでは、利害関係のPDEの残留形態とその境界条件は、軟罰として複合目的関数にまとめられる。
本稿では,この目的関数を定式化する方法が,異なる種類のPDEに適用した場合のPINNアプローチにおける厳しい制約の源であることを示す。
論文 参考訳(メタデータ) (2022-06-19T04:12:01Z) - Learning Physics-Informed Neural Networks without Stacked
Back-propagation [82.26566759276105]
我々は,物理インフォームドニューラルネットワークのトレーニングを著しく高速化する新しい手法を開発した。
特に、ガウス滑らか化モデルによりPDE解をパラメータ化し、スタインの恒等性から導かれる2階微分がバックプロパゲーションなしで効率的に計算可能であることを示す。
実験の結果,提案手法は通常のPINN訓練に比べて2桁の精度で競合誤差を実現できることがわかった。
論文 参考訳(メタデータ) (2022-02-18T18:07:54Z) - Parallel Physics-Informed Neural Networks with Bidirectional Balance [0.0]
物理インフォームドニューラルネットワーク(PINN)は工学における様々な偏微分方程式(PDE)の解法として広く用いられている。
ここでは, 多層構造における熱伝達問題を典型例として挙げる。
本稿では,双方向バランスを持つ並列物理インフォームニューラルネットワークを提案する。
提案手法は, PINNを解けない問題にし, 優れた解法精度を実現する。
論文 参考訳(メタデータ) (2021-11-10T11:13:33Z) - Physics-Informed Neural Operator for Learning Partial Differential
Equations [55.406540167010014]
PINOは、演算子を学ぶために異なる解像度でデータとPDE制約を組み込んだ最初のハイブリッドアプローチである。
結果の PINO モデルは、多くの人気のある PDE ファミリの基底構造解演算子を正確に近似することができる。
論文 参考訳(メタデータ) (2021-11-06T03:41:34Z) - Multi-Objective Loss Balancing for Physics-Informed Deep Learning [0.0]
PINNを効果的に訓練するために、複数の競合損失関数の組み合わせを正しく重み付けする役割を観察する。
本稿では,ReLoBRaLoと呼ばれるPINNの自己適応的損失分散を提案する。
シミュレーションにより、ReLoBRaLoトレーニングは、他のバランシング手法によるPINNのトレーニングよりもはるかに高速で精度の高いことが示されている。
論文 参考訳(メタデータ) (2021-10-19T09:00:12Z) - Physics and Equality Constrained Artificial Neural Networks: Application
to Partial Differential Equations [1.370633147306388]
偏微分方程式(PDE)の解を学ぶために物理インフォームドニューラルネットワーク(PINN)が提案されている。
本稿では,この目的関数の定式化方法が,PINNアプローチにおける厳密な制約の源であることを示す。
本稿では,逆問題と前方問題の両方に対処可能な多目的フレームワークを提案する。
論文 参考訳(メタデータ) (2021-09-30T05:55:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。