論文の概要: Dual Cone Gradient Descent for Training Physics-Informed Neural Networks

• arxiv url: http://arxiv.org/abs/2409.18426v1
• Date: Fri, 27 Sep 2024 03:27:46 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-06 06:21:38.179827
• Title: Dual Cone Gradient Descent for Training Physics-Informed Neural Networks
• Title（参考訳）: 物理インフォームドニューラルネットワークのトレーニング用デュアルコーングラディエントディフレッシュ
• Authors: Youngsik Hwang, Dong-Young Lim,
• Abstract要約: 物理インフォームド・デュアルニューラルネットワーク(PINN)は偏微分方程式の解法として注目されている。 コーン領域内に落下するのを確実にするために、更新された勾配の方向を調節する新しいフレームワークであるDual Cone Gradient Descent (DCGD)を提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Physics-informed neural networks (PINNs) have emerged as a prominent approach for solving partial differential equations (PDEs) by minimizing a combined loss function that incorporates both boundary loss and PDE residual loss. Despite their remarkable empirical performance in various scientific computing tasks, PINNs often fail to generate reasonable solutions, and such pathological behaviors remain difficult to explain and resolve. In this paper, we identify that PINNs can be adversely trained when gradients of each loss function exhibit a significant imbalance in their magnitudes and present a negative inner product value. To address these issues, we propose a novel optimization framework, Dual Cone Gradient Descent (DCGD), which adjusts the direction of the updated gradient to ensure it falls within a dual cone region. This region is defined as a set of vectors where the inner products with both the gradients of the PDE residual loss and the boundary loss are non-negative. Theoretically, we analyze the convergence properties of DCGD algorithms in a non-convex setting. On a variety of benchmark equations, we demonstrate that DCGD outperforms other optimization algorithms in terms of various evaluation metrics. In particular, DCGD achieves superior predictive accuracy and enhances the stability of training for failure modes of PINNs and complex PDEs, compared to existing optimally tuned models. Moreover, DCGD can be further improved by combining it with popular strategies for PINNs, including learning rate annealing and the Neural Tangent Kernel (NTK).
• Abstract（参考訳）: 物理インフォームドニューラルネットワーク(PINN)は、境界損失とPDE残留損失の両方を組み込んだ損失関数を最小化することにより、偏微分方程式(PDE)を解くための顕著なアプローチとして登場した。 様々な科学計算タスクにおける顕著な経験的性能にもかかわらず、PINNはしばしば合理的なソリューションを生成できず、そのような病理学的行動は説明と解決が難しいままである。 本稿では,各損失関数の勾配が大きな不均衡を示す場合にPINNを悪用し,負の内積値を示す。 これらの問題に対処するため,2つの円錐領域に収まるように勾配の向きを調節する新しい最適化フレームワークDual Cone Gradient Descent (DCGD)を提案する。 この領域は、PDE残差損失と境界損失の両方の勾配を持つ内積が非負となるベクトルの集合として定義される。 理論的には,非凸条件下でのDCGDアルゴリズムの収束特性を解析する。 様々なベンチマーク式において、DCGDは様々な評価指標で他の最適化アルゴリズムよりも優れていることを示す。 特に、DCGDは、既存の最適調整モデルと比較して、予測精度が優れ、PINNや複雑なPDEの故障モードの訓練の安定性が向上する。 さらに、学習速度アニールやニューラルタンジェントカーネル(NTK)など、PINNの一般的な戦略と組み合わせることで、DCGDをさらに改善することができる。

関連論文リスト

• Convergence of Implicit Gradient Descent for Training Two-Layer Physics-Informed Neural Networks [3.680127959836384]
  暗黙の勾配降下(IGD)は、ある種のマルチスケール問題を扱う場合、共通勾配降下(GD)よりも優れる。 IGDは線形収束速度で大域的に最適解を収束することを示す。
  論文  参考訳（メタデータ） (2024-07-03T06:10:41Z)
• RoPINN: Region Optimized Physics-Informed Neural Networks [66.38369833561039]
  物理インフォームドニューラルネットワーク(PINN)は偏微分方程式(PDE)の解法として広く応用されている。 本稿では,地域最適化としての新たな訓練パラダイムを提案し,理論的に検討する。 実践的なトレーニングアルゴリズムであるRerea Optimized PINN(RoPINN)は、この新しいパラダイムからシームレスに派生している。
  論文  参考訳（メタデータ） (2024-05-23T09:45:57Z)
• Implicit Stochastic Gradient Descent for Training Physics-informed Neural Networks [51.92362217307946]
  物理インフォームドニューラルネットワーク(PINN)は、前方および逆微分方程式問題の解法として効果的に実証されている。 PINNは、近似すべきターゲット関数が高周波またはマルチスケールの特徴を示す場合、トレーニング障害に閉じ込められる。 本稿では,暗黙的勾配降下法(ISGD)を用いてPINNを訓練し,トレーニングプロセスの安定性を向上させることを提案する。
  論文  参考訳（メタデータ） (2023-03-03T08:17:47Z)
• Learning Discretized Neural Networks under Ricci Flow [51.36292559262042]
  低精度重みとアクティベーションからなる離散ニューラルネットワーク(DNN)について検討する。 DNNは、訓練中に微分不可能な離散関数のために無限あるいはゼロの勾配に悩まされる。
  論文  参考訳（メタデータ） (2023-02-07T10:51:53Z)
• Learning Physics-Informed Neural Networks without Stacked Back-propagation [82.26566759276105]
  我々は,物理インフォームドニューラルネットワークのトレーニングを著しく高速化する新しい手法を開発した。 特に、ガウス滑らか化モデルによりPDE解をパラメータ化し、スタインの恒等性から導かれる2階微分がバックプロパゲーションなしで効率的に計算可能であることを示す。 実験の結果,提案手法は通常のPINN訓練に比べて2桁の精度で競合誤差を実現できることがわかった。
  論文  参考訳（メタデータ） (2022-02-18T18:07:54Z)
• CAN-PINN: A Fast Physics-Informed Neural Network Based on Coupled-Automatic-Numerical Differentiation Method [17.04611875126544]
  テイラー級数展開による隣り合う支持点と自動微分(AD)を結合する新しい物理情報ニューラルネットワーク(PINN)法を提案する。 can-PINNとラベル付けされた結合型自動数値微分フレームワークは、ADとNDの利点を統一し、ADベースのPINNよりも堅牢で効率的なトレーニングを提供する。
  論文  参考訳（メタデータ） (2021-10-29T14:52:46Z)
• Multi-Objective Loss Balancing for Physics-Informed Deep Learning [0.0]
  PINNを効果的に訓練するために、複数の競合損失関数の組み合わせを正しく重み付けする役割を観察する。 本稿では,ReLoBRaLoと呼ばれるPINNの自己適応的損失分散を提案する。 シミュレーションにより、ReLoBRaLoトレーニングは、他のバランシング手法によるPINNのトレーニングよりもはるかに高速で精度の高いことが示されている。
  論文  参考訳（メタデータ） (2021-10-19T09:00:12Z)
• Cogradient Descent for Dependable Learning [64.02052988844301]
  双線形最適化問題に対処するために,CoGDアルゴリズムに基づく信頼度の高い学習法を提案する。 CoGDは、ある変数がスパーシティ制約を持つ場合の双線形問題を解くために導入された。 また、特徴と重みの関連を分解するためにも使用できるため、畳み込みニューラルネットワーク(CNN)をより良く訓練するための我々の手法をさらに一般化することができる。
  論文  参考訳（メタデータ） (2021-06-20T04:28:20Z)
• Efficient training of physics-informed neural networks via importance sampling [2.9005223064604078]
  Physics-In Neural Networks(PINN)は、偏微分方程式(PDE)によって制御されるシステムを計算するために訓練されているディープニューラルネットワークのクラスである。 重要サンプリング手法により,PINN訓練の収束挙動が改善されることが示唆された。
  論文  参考訳（メタデータ） (2021-04-26T02:45:10Z)
• dNNsolve: an efficient NN-based PDE solver [62.997667081978825]
  ODE/PDEを解決するためにデュアルニューラルネットワークを利用するdNNsolveを紹介します。 我々は,dNNsolveが1,2,3次元の幅広いODE/PDEを解くことができることを示す。
  論文  参考訳（メタデータ） (2021-03-15T19:14:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。