論文の概要: Multi-Objective Loss Balancing for Physics-Informed Deep Learning
- arxiv url: http://arxiv.org/abs/2110.09813v1
- Date: Tue, 19 Oct 2021 09:00:12 GMT
- ステータス: 処理完了
- システム内更新日: 2021-10-20 21:34:24.788973
- Title: Multi-Objective Loss Balancing for Physics-Informed Deep Learning
- Title（参考訳）: 物理インフォームド深層学習のための多目的損失分散
- Authors: Rafael Bischof, Michael Kraus
- Abstract要約: PINNを効果的に訓練するために、複数の競合損失関数の組み合わせを正しく重み付けする役割を観察する。
本稿では,ReLoBRaLoと呼ばれるPINNの自己適応的損失分散を提案する。
シミュレーションにより、ReLoBRaLoトレーニングは、他のバランシング手法によるPINNのトレーニングよりもはるかに高速で精度の高いことが示されている。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Physics Informed Neural Networks (PINN) are algorithms from deep learning
leveraging physical laws by including partial differential equations (PDE)
together with a respective set of boundary and initial conditions (BC / IC) as
penalty terms into their loss function. As the PDE, BC and IC loss function
parts can significantly differ in magnitudes, due to their underlying physical
units or stochasticity of initialisation, training of PINNs may suffer from
severe convergence and efficiency problems, causing PINNs to stay beyond
desirable approximation quality. In this work, we observe the significant role
of correctly weighting the combination of multiple competitive loss functions
for training PINNs effectively. To that end, we implement and evaluate
different methods aiming at balancing the contributions of multiple terms of
the PINNs loss function and their gradients. After review of three existing
loss scaling approaches (Learning Rate Annealing, GradNorm as well as
SoftAdapt), we propose a novel self-adaptive loss balancing of PINNs called
ReLoBRaLo (Relative Loss Balancing with Random Lookback). Finally, the
performance of ReLoBRaLo is compared and verified against these approaches by
solving both forward as well as inverse problems on three benchmark PDEs for
PINNs: Burgers' equation, Kirchhoff's plate bending equation and Helmholtz's
equation. Our simulation studies show that ReLoBRaLo training is much faster
and achieves higher accuracy than training PINNs with other balancing methods
and hence is very effective and increases sustainability of PINNs algorithms.
The adaptability of ReLoBRaLo illustrates robustness across different PDE
problem settings. The proposed method can also be employed to the wider class
of penalised optimisation problems, including PDE-constrained and Sobolev
training apart from the studied PINNs examples.
- Abstract（参考訳）: 物理学インフォームドニューラルネットワーク(英: physics informed neural networks、pinn)は、物理法則を利用したディープラーニングのアルゴリズムであり、各境界条件と初期条件(bc/ic)をペナルティ項として加えた偏微分方程式(pde)を損失関数に含む。
PDE、BC、IC損失関数の部分は、基礎となる物理単位や初期化の確率性によって大きく異なる可能性があるため、PINNの訓練は厳しい収束と効率の問題に悩まされ、PINNは望ましい近似品質を超えていなければならない。
本研究では,PINNを効果的に訓練するために,複数の競合損失関数の組み合わせを正しく重み付けする重要な役割について考察する。
そこで我々は,PINNの損失関数の複数項の寄与とそれらの勾配のバランスをとるために,異なる手法を実装し,評価する。
既存の3つのロススケーリングアプローチ(learning rate annealing, gradnorm, softadapt)をレビューした後、我々はrelobralo(relative loss balancing with random lookback)と呼ばれるピンの自己適応型ロスバランスを提案する。
最後に, バーガーズ方程式, キルヒホフ板曲げ方程式, ヘルムホルツ方程式の3つのベンチマーク pdes において, 前方問題と逆問題の両方を解いて, レロブラロの性能を比較, 検証した。
シミュレーションにより、ReLoBRaLoトレーニングは、他のバランス手法によるPINNのトレーニングよりもはるかに高速で精度が高く、PINNアルゴリズムの持続可能性を高めることが示されている。
ReLoBRaLoの適応性は、異なるPDE問題設定間の堅牢性を示している。
提案手法は,PDE制約やソボレフトレーニングを含む,より広範なペナル化最適化問題にも適用可能である。
関連論文リスト
- Dual Cone Gradient Descent for Training Physics-Informed Neural Networks [0.0]
物理インフォームド・デュアルニューラルネットワーク(PINN)は偏微分方程式の解法として注目されている。
コーン領域内に落下するのを確実にするために、更新された勾配の方向を調節する新しいフレームワークであるDual Cone Gradient Descent (DCGD)を提案する。
論文 参考訳（メタデータ） (2024-09-27T03:27:46Z) - MultiAdam: Parameter-wise Scale-invariant Optimizer for Multiscale
Training of Physics-informed Neural Networks [29.598874158082804]
物理インフォームドニューラルネットワーク(PINN)は近年,部分微分方程式(PDE)の解法において顕著な進歩を遂げている。
PINNのトレーニングには、理論的枠組みの欠如やPDE損失と境界損失の不均衡など、いくつかの重要な課題がある。
本稿では,2次非同次PDEを3つのカテゴリに分類し,様々な共通問題に適用する。
論文 参考訳（メタデータ） (2023-06-05T12:12:59Z) - Implicit Stochastic Gradient Descent for Training Physics-informed
Neural Networks [51.92362217307946]
物理インフォームドニューラルネットワーク(PINN)は、前方および逆微分方程式問題の解法として効果的に実証されている。
PINNは、近似すべきターゲット関数が高周波またはマルチスケールの特徴を示す場合、トレーニング障害に閉じ込められる。
本稿では,暗黙的勾配降下法(ISGD)を用いてPINNを訓練し,トレーニングプロセスの安定性を向上させることを提案する。
論文 参考訳（メタデータ） (2023-03-03T08:17:47Z) - Tunable Complexity Benchmarks for Evaluating Physics-Informed Neural
Networks on Coupled Ordinary Differential Equations [64.78260098263489]
本研究では,より複雑に結合した常微分方程式(ODE)を解く物理インフォームドニューラルネットワーク(PINN)の能力を評価する。
PINNの複雑性が増大するにつれて,これらのベンチマークに対する正しい解が得られないことが示される。
PINN損失のラプラシアンは,ネットワーク容量の不足,ODEの条件の低下,局所曲率の高さなど,いくつかの理由を明らかにした。
論文 参考訳（メタデータ） (2022-10-14T15:01:32Z) - Revisiting PINNs: Generative Adversarial Physics-informed Neural
Networks and Point-weighting Method [70.19159220248805]
物理インフォームドニューラルネットワーク(PINN)は、偏微分方程式(PDE)を数値的に解くためのディープラーニングフレームワークを提供する
本稿では,GA機構とPINNの構造を統合したGA-PINNを提案する。
本稿では,Adaboost法の重み付け戦略からヒントを得て,PINNのトレーニング効率を向上させるためのPW法を提案する。
論文 参考訳（メタデータ） (2022-05-18T06:50:44Z) - Enhanced Physics-Informed Neural Networks with Augmented Lagrangian
Relaxation Method (AL-PINNs) [1.7403133838762446]
物理インフォームドニューラルネットワーク(PINN)は非線形偏微分方程式(PDE)の解の強力な近似器である
PINN(AL-PINN)のための拡張ラグランジアン緩和法を提案する。
AL-PINNは、最先端の適応的損失分散アルゴリズムと比較して、相対誤差がはるかに小さいことを様々な数値実験で示している。
論文 参考訳（メタデータ） (2022-04-29T08:33:11Z) - Learning Physics-Informed Neural Networks without Stacked
Back-propagation [82.26566759276105]
我々は,物理インフォームドニューラルネットワークのトレーニングを著しく高速化する新しい手法を開発した。
特に、ガウス滑らか化モデルによりPDE解をパラメータ化し、スタインの恒等性から導かれる2階微分がバックプロパゲーションなしで効率的に計算可能であることを示す。
実験の結果,提案手法は通常のPINN訓練に比べて2桁の精度で競合誤差を実現できることがわかった。
論文 参考訳（メタデータ） (2022-02-18T18:07:54Z) - Physics-Informed Neural Operator for Learning Partial Differential
Equations [55.406540167010014]
PINOは、演算子を学ぶために異なる解像度でデータとPDE制約を組み込んだ最初のハイブリッドアプローチである。
結果の PINO モデルは、多くの人気のある PDE ファミリの基底構造解演算子を正確に近似することができる。
論文 参考訳（メタデータ） (2021-11-06T03:41:34Z) - CAN-PINN: A Fast Physics-Informed Neural Network Based on
Coupled-Automatic-Numerical Differentiation Method [17.04611875126544]
テイラー級数展開による隣り合う支持点と自動微分(AD)を結合する新しい物理情報ニューラルネットワーク(PINN)法を提案する。
can-PINNとラベル付けされた結合型自動数値微分フレームワークは、ADとNDの利点を統一し、ADベースのPINNよりも堅牢で効率的なトレーニングを提供する。
論文 参考訳（メタデータ） (2021-10-29T14:52:46Z) - Efficient training of physics-informed neural networks via importance
sampling [2.9005223064604078]
Physics-In Neural Networks(PINN)は、偏微分方程式(PDE)によって制御されるシステムを計算するために訓練されているディープニューラルネットワークのクラスである。
重要サンプリング手法により,PINN訓練の収束挙動が改善されることが示唆された。
論文 参考訳（メタデータ） (2021-04-26T02:45:10Z) - dNNsolve: an efficient NN-based PDE solver [62.997667081978825]
ODE/PDEを解決するためにデュアルニューラルネットワークを利用するdNNsolveを紹介します。
我々は,dNNsolveが1,2,3次元の幅広いODE/PDEを解くことができることを示す。
論文 参考訳（メタデータ） (2021-03-15T19:14:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。