Fugu-MT 論文翻訳(概要): MultiAdam: Parameter-wise Scale-invariant Optimizer for Multiscale Training of Physics-informed Neural Networks

論文の概要: MultiAdam: Parameter-wise Scale-invariant Optimizer for Multiscale Training of Physics-informed Neural Networks

arxiv url: http://arxiv.org/abs/2306.02816v1
Date: Mon, 5 Jun 2023 12:12:59 GMT
ステータス: 処理完了
システム内更新日: 2023-06-06 15:21:37.130912
Title: MultiAdam: Parameter-wise Scale-invariant Optimizer for Multiscale Training of Physics-informed Neural Networks
Title（参考訳）: multiadam: 物理形ニューラルネットワークのマルチスケールトレーニングのためのパラメータワイズスケール不変最適化器
Authors: Jiachen Yao, Chang Su, Zhongkai Hao, Songming Liu, Hang Su, Jun Zhu
Abstract要約: 物理インフォームドニューラルネットワーク(PINN)は近年,部分微分方程式(PDE)の解法において顕著な進歩を遂げている。 PINNのトレーニングには、理論的枠組みの欠如やPDE損失と境界損失の不均衡など、いくつかの重要な課題がある。本稿では,2次非同次PDEを3つのカテゴリに分類し,様々な共通問題に適用する。
参考スコア（独自算出の注目度）: 29.598874158082804
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Physics-informed Neural Networks (PINNs) have recently achieved remarkable progress in solving Partial Differential Equations (PDEs) in various fields by minimizing a weighted sum of PDE loss and boundary loss. However, there are several critical challenges in the training of PINNs, including the lack of theoretical frameworks and the imbalance between PDE loss and boundary loss. In this paper, we present an analysis of second-order non-homogeneous PDEs, which are classified into three categories and applicable to various common problems. We also characterize the connections between the training loss and actual error, guaranteeing convergence under mild conditions. The theoretical analysis inspires us to further propose MultiAdam, a scale-invariant optimizer that leverages gradient momentum to parameter-wisely balance the loss terms. Extensive experiment results on multiple problems from different physical domains demonstrate that our MultiAdam solver can improve the predictive accuracy by 1-2 orders of magnitude compared with strong baselines.
Abstract（参考訳）: 物理インフォームドニューラルネットワーク(PINN)は、最近、PDE損失と境界損失の重み付けを最小化し、様々な分野における部分微分方程式(PDE)の解法において顕著な進歩を遂げた。しかし、理論的な枠組みの欠如やPDE損失と境界損失の不均衡など、PINNのトレーニングにはいくつかの重要な課題がある。本稿では,3つのカテゴリに分類され,様々な共通問題に適用可能な2次非均一PDEの解析を行う。また,訓練損失と実際の誤差との関係を特徴づけ,軽度条件下での収束を保証する。この理論解析により,パラメータ的に損失項のバランスをとるために,勾配運動量を利用するスケール不変オプティマイザであるmultiadamがさらに提案される。異なる物理領域の複数の問題に対する広範囲な実験結果から,我々のマルチアダムソルバは,強いベースラインと比較して,予測精度を1～2桁向上できることが示された。

関連論文リスト

Dual Cone Gradient Descent for Training Physics-Informed Neural Networks [0.0]
物理インフォームド・デュアルニューラルネットワーク(PINN)は偏微分方程式の解法として注目されている。コーン領域内に落下するのを確実にするために、更新された勾配の方向を調節する新しいフレームワークであるDual Cone Gradient Descent (DCGD)を提案する。
論文参考訳（メタデータ） (2024-09-27T03:27:46Z)
General-Kindred Physics-Informed Neural Network to the Solutions of Singularly Perturbed Differential Equations [11.121415128908566]
我々は,Singular Perturbation Differential Equations(SPDE)の解法として,GKPINN(General-Kindred Physics-Informed Neural Network)を提案する。この手法は, 境界層の事前知識を方程式から利用し, 境界層を近似するPINNを支援する新しいネットワークを確立する。 GKPINNは,確立したPINN法と比較して,2～4桁の誤差を2～4桁に削減し,大幅な性能向上を実現している。
論文参考訳（メタデータ） (2024-08-27T02:03:22Z)
Pretraining Codomain Attention Neural Operators for Solving Multiphysics PDEs [85.40198664108624]
PDEを用いた多物理問題の解法として,コドメイン注意ニューラル演算子(CoDA-NO)を提案する。 CoDA-NOはコドメインやチャネル空間に沿った機能をトークン化し、複数のPDEシステムの自己教師付き学習や事前訓練を可能にする。 CoDA-NOは、データ制限のある複雑な下流タスクにおいて、既存のメソッドを36%以上上回ります。
論文参考訳（メタデータ） (2024-03-19T08:56:20Z)
Lie Point Symmetry and Physics Informed Networks [59.56218517113066]
本稿では、損失関数を用いて、PINNモデルが基礎となるPDEを強制しようとするのと同じように、リー点対称性をネットワークに通知するロス関数を提案する。我々の対称性の損失は、リー群の無限小生成元がPDE解を保存することを保証する。実験により,PDEのリー点対称性による誘導バイアスはPINNの試料効率を大幅に向上させることが示された。
論文参考訳（メタデータ） (2023-11-07T19:07:16Z)
Implicit Stochastic Gradient Descent for Training Physics-informed Neural Networks [51.92362217307946]
物理インフォームドニューラルネットワーク(PINN)は、前方および逆微分方程式問題の解法として効果的に実証されている。 PINNは、近似すべきターゲット関数が高周波またはマルチスケールの特徴を示す場合、トレーニング障害に閉じ込められる。本稿では,暗黙的勾配降下法(ISGD)を用いてPINNを訓練し,トレーニングプロセスの安定性を向上させることを提案する。
論文参考訳（メタデータ） (2023-03-03T08:17:47Z)
Tunable Complexity Benchmarks for Evaluating Physics-Informed Neural Networks on Coupled Ordinary Differential Equations [64.78260098263489]
本研究では,より複雑に結合した常微分方程式(ODE)を解く物理インフォームドニューラルネットワーク(PINN)の能力を評価する。 PINNの複雑性が増大するにつれて,これらのベンチマークに対する正しい解が得られないことが示される。 PINN損失のラプラシアンは,ネットワーク容量の不足,ODEの条件の低下,局所曲率の高さなど,いくつかの理由を明らかにした。
論文参考訳（メタデータ） (2022-10-14T15:01:32Z)
Mitigating Learning Complexity in Physics and Equality Constrained Artificial Neural Networks [0.9137554315375919]
偏微分方程式(PDE)の解を学ぶために物理インフォームドニューラルネットワーク(PINN)が提案されている。 PINNでは、利害関係のPDEの残留形態とその境界条件は、軟罰として複合目的関数にまとめられる。本稿では,この目的関数を定式化する方法が,異なる種類のPDEに適用した場合のPINNアプローチにおける厳しい制約の源であることを示す。
論文参考訳（メタデータ） (2022-06-19T04:12:01Z)
Learning Physics-Informed Neural Networks without Stacked Back-propagation [82.26566759276105]
我々は,物理インフォームドニューラルネットワークのトレーニングを著しく高速化する新しい手法を開発した。特に、ガウス滑らか化モデルによりPDE解をパラメータ化し、スタインの恒等性から導かれる2階微分がバックプロパゲーションなしで効率的に計算可能であることを示す。実験の結果,提案手法は通常のPINN訓練に比べて2桁の精度で競合誤差を実現できることがわかった。
論文参考訳（メタデータ） (2022-02-18T18:07:54Z)
Parallel Physics-Informed Neural Networks with Bidirectional Balance [0.0]
物理インフォームドニューラルネットワーク(PINN)は工学における様々な偏微分方程式(PDE)の解法として広く用いられている。ここでは, 多層構造における熱伝達問題を典型例として挙げる。本稿では,双方向バランスを持つ並列物理インフォームニューラルネットワークを提案する。提案手法は, PINNを解けない問題にし, 優れた解法精度を実現する。
論文参考訳（メタデータ） (2021-11-10T11:13:33Z)
Physics-Informed Neural Operator for Learning Partial Differential Equations [55.406540167010014]
PINOは、演算子を学ぶために異なる解像度でデータとPDE制約を組み込んだ最初のハイブリッドアプローチである。結果の PINO モデルは、多くの人気のある PDE ファミリの基底構造解演算子を正確に近似することができる。
論文参考訳（メタデータ） (2021-11-06T03:41:34Z)
Multi-Objective Loss Balancing for Physics-Informed Deep Learning [0.0]
PINNを効果的に訓練するために、複数の競合損失関数の組み合わせを正しく重み付けする役割を観察する。本稿では,ReLoBRaLoと呼ばれるPINNの自己適応的損失分散を提案する。シミュレーションにより、ReLoBRaLoトレーニングは、他のバランシング手法によるPINNのトレーニングよりもはるかに高速で精度の高いことが示されている。
論文参考訳（メタデータ） (2021-10-19T09:00:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。