論文の概要: Accelerating Natural Gradient Descent for PINNs with Randomized Numerical Linear Algebra

• arxiv url: http://arxiv.org/abs/2505.11638v2
• Date: Tue, 20 May 2025 08:32:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-21 12:33:37.403889
• Title: Accelerating Natural Gradient Descent for PINNs with Randomized Numerical Linear Algebra
• Title（参考訳）: ランダム化数値線形代数を用いたPINNの自然勾配の高速化
• Authors: Ivan Bioli, Carlo Marcati, Giancarlo Sangalli,
• Abstract要約: Natural Gradient Descent (NGD)は、ニューラルネットワークに基づく偏微分方程式(PDE)の学習のための有望な最適化アルゴリズムとして登場した。 我々は,行列フリーNGDを従来考えられていたよりも幅広い問題のクラスに拡張し,内部CGソルバの収束を加速するためにランダム化Nystr"omプレコンディショニング(Randomized Nystr)の利用を提案する。 このアルゴリズムは、ニューラルネットワークを用いて識別された様々なPDE問題に対して、既存のNGDベースの手法よりも大幅に性能が向上したことを示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Natural Gradient Descent (NGD) has emerged as a promising optimization algorithm for training neural network-based solvers for partial differential equations (PDEs), such as Physics-Informed Neural Networks (PINNs). However, its practical use is often limited by the high computational cost of solving linear systems involving the Gramian matrix. While matrix-free NGD methods based on the conjugate gradient (CG) method avoid explicit matrix inversion, the ill-conditioning of the Gramian significantly slows the convergence of CG. In this work, we extend matrix-free NGD to broader classes of problems than previously considered and propose the use of Randomized Nystr\"om preconditioning to accelerate convergence of the inner CG solver. The resulting algorithm demonstrates substantial performance improvements over existing NGD-based methods on a range of PDE problems discretized using neural networks.
• Abstract（参考訳）: Natural Gradient Descent (NGD) は、物理インフォームドニューラルネットワーク(PINN)のような偏微分方程式(PDE)に対するニューラルネットワークベースの解法をトレーニングするための有望な最適化アルゴリズムとして登場した。 しかし、その実用性はしばしば、グラミアン行列を含む線形系を解くための高い計算コストによって制限される。 共役勾配(CG)法に基づく行列フリーNGD法は明示的な行列逆転を避けるが、グラミアンの不調和はCGの収束を著しく遅らせる。 本研究では,行列フリーNGDを従来考えられていたよりも幅広い問題のクラスに拡張し,内部CGソルバの収束を加速するためにランダム化Nystr\"omプレコンディショニング(Randomized Nystr\"om preconditioning)を提案する。 このアルゴリズムは、ニューラルネットワークを用いて識別された様々なPDE問題に対して、既存のNGDベースの手法よりも大幅に性能が向上したことを示す。

関連論文リスト

• A Natural Primal-Dual Hybrid Gradient Method for Adversarial Neural Network Training on Solving Partial Differential Equations [9.588717577573684]
  偏微分方程式(PDE)を解くためのスケーラブルな事前条件付き原始ハイブリッド勾配アルゴリズムを提案する。 本稿では,提案手法の性能を,一般的なディープラーニングアルゴリズムと比較する。 その結果,提案手法は効率的かつ堅牢に動作し,安定に収束することが示唆された。
  論文  参考訳（メタデータ） (2024-11-09T20:39:10Z)
• Convergence of Implicit Gradient Descent for Training Two-Layer Physics-Informed Neural Networks [3.680127959836384]
  暗黙の勾配降下(IGD)は、ある種のマルチスケール問題を扱う場合、共通勾配降下(GD)よりも優れる。 IGDは線形収束速度で大域的に最適解を収束することを示す。
  論文  参考訳（メタデータ） (2024-07-03T06:10:41Z)
• Learning from Linear Algebra: A Graph Neural Network Approach to Preconditioner Design for Conjugate Gradient Solvers [40.6591136324878]
  我々は,従来のプリコンディショナーよりもシステムの条件数を大幅に削減するプリコンディショナーを得るために,GNNを訓練する。 本手法は、パラメトリック偏微分方程式の重要なクラスにおいて、古典的およびニューラルネットワークに基づく手法よりも優れている。
  論文  参考訳（メタデータ） (2024-05-24T13:44:30Z)
• A Structure-Guided Gauss-Newton Method for Shallow ReLU Neural Network [18.06366638807982]
  浅いReLUニューラルネットワークを用いて最小二乗問題を解くための構造誘導型ガウスニュートン法(SgGN)を提案する。 目的関数の最小二乗構造とニューラルネットワーク構造の両方を効果的に活用する。
  論文  参考訳（メタデータ） (2024-04-07T20:24:44Z)
• Implicit Stochastic Gradient Descent for Training Physics-informed Neural Networks [51.92362217307946]
  物理インフォームドニューラルネットワーク(PINN)は、前方および逆微分方程式問題の解法として効果的に実証されている。 PINNは、近似すべきターゲット関数が高周波またはマルチスケールの特徴を示す場合、トレーニング障害に閉じ込められる。 本稿では,暗黙的勾配降下法(ISGD)を用いてPINNを訓練し,トレーニングプロセスの安定性を向上させることを提案する。
  論文  参考訳（メタデータ） (2023-03-03T08:17:47Z)
• Stability and Generalization Analysis of Gradient Methods for Shallow Neural Networks [59.142826407441106]
  本稿では,アルゴリズム安定性の概念を活用して,浅層ニューラルネットワーク(SNN)の一般化挙動について検討する。 我々は、SNNを訓練するために勾配降下(GD)と勾配降下(SGD)を考慮する。
  論文  参考訳（メタデータ） (2022-09-19T18:48:00Z)
• Cogradient Descent for Dependable Learning [64.02052988844301]
  双線形最適化問題に対処するために,CoGDアルゴリズムに基づく信頼度の高い学習法を提案する。 CoGDは、ある変数がスパーシティ制約を持つ場合の双線形問題を解くために導入された。 また、特徴と重みの関連を分解するためにも使用できるため、畳み込みニューラルネットワーク(CNN)をより良く訓練するための我々の手法をさらに一般化することができる。
  論文  参考訳（メタデータ） (2021-06-20T04:28:20Z)
• NTopo: Mesh-free Topology Optimization using Implicit Neural Representations [35.07884509198916]
  トポロジ最適化問題に対処する新しい機械学習手法を提案する。 我々は多層パーセプトロン(MLP)を用いて密度場と変位場の両方をパラメータ化する。 実験を通じて示すように、私たちのアプローチの大きな利点は、継続的ソリューション空間の自己教師付き学習を可能にすることです。
  論文  参考訳（メタデータ） (2021-02-22T05:25:22Z)
• Multipole Graph Neural Operator for Parametric Partial Differential Equations [57.90284928158383]
  物理系をシミュレーションするためのディープラーニングベースの手法を使用する際の大きな課題の1つは、物理ベースのデータの定式化である。 線形複雑度のみを用いて、あらゆる範囲の相互作用をキャプチャする、新しいマルチレベルグラフニューラルネットワークフレームワークを提案する。 実験により, 離散化不変解演算子をPDEに学習し, 線形時間で評価できることを確認した。
  論文  参考訳（メタデータ） (2020-06-16T21:56:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。