論文の概要: Multi-Preconditioned LBFGS for Training Finite-Basis PINNs
- arxiv url: http://arxiv.org/abs/2601.08709v1
- Date: Tue, 13 Jan 2026 16:38:15 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-01-14 18:27:19.289309
- Title: Multi-Preconditioned LBFGS for Training Finite-Basis PINNs
- Title(参考訳): 有限バシスPINNの多条件LBFGS
- Authors: Marc Salvadó-Benasco, Aymane Kssim, Alexander Heinlein, Rolf Krause, Serge Gratton, Alena Kopaničáková,
- Abstract要約: 有限基底物理インフォームドニューラルネットワーク(FBPINN)のトレーニングのためのMP-LBFGSアルゴリズムの導入
鍵となる特徴は、低次元の空間最小化問題の解によって、サブドメイン補正を最適に組み合わせた、新しい非線形マルチプレコンディショニング機構である。
数値実験により、MP-LBFGSはコンバージェンス速度を向上し、標準LBFGSよりもモデル精度を向上し、通信オーバーヘッドを低減できることが示された。
- 参考スコア(独自算出の注目度): 35.66877569643008
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: A multi-preconditioned LBFGS (MP-LBFGS) algorithm is introduced for training finite-basis physics-informed neural networks (FBPINNs). The algorithm is motivated by the nonlinear additive Schwarz method and exploits the domain-decomposition-inspired additive architecture of FBPINNs, in which local neural networks are defined on subdomains, thereby localizing the network representation. Parallel, subdomain-local quasi-Newton corrections are then constructed on the corresponding local parts of the architecture. A key feature is a novel nonlinear multi-preconditioning mechanism, in which subdomain corrections are optimally combined through the solution of a low-dimensional subspace minimization problem. Numerical experiments indicate that MP-LBFGS can improve convergence speed, as well as model accuracy over standard LBFGS while incurring lower communication overhead.
- Abstract(参考訳): 多条件LBFGS(MP-LBFGS)アルゴリズムは有限基底物理インフォームドニューラルネットワーク(FBPINN)のトレーニングのために導入された。
このアルゴリズムは非線形加法Schwarz法によって動機付けられ、FBPINNのドメイン分解にインスパイアされた付加的アーキテクチャを利用して、局所ニューラルネットワークをサブドメイン上で定義し、ネットワーク表現をローカライズする。
並列部分局所準ニュートン補正は、アーキテクチャの対応する局所部分上に構築される。
鍵となる特徴は、低次元の空間最小化問題の解によって、サブドメイン補正を最適に組み合わせた、新しい非線形マルチプレコンディショニング機構である。
数値実験により、MP-LBFGSはコンバージェンス速度を向上し、標準LBFGSよりもモデル精度を向上し、通信オーバーヘッドを低減できることが示された。
関連論文リスト
- AB-PINNs: Adaptive-Basis Physics-Informed Neural Networks for Residual-Driven Domain Decomposition [3.0307211002269443]
適応基底物理インフォームドニューラルネットワーク(AB-PINN)を導入する。
AB-PINNは未知の解の本質的な特徴に動的に適応する。
複素偏微分方程式の解法におけるAB-PINNの有効性を示す包括的数値計算結果を提案する。
論文 参考訳(メタデータ) (2025-10-10T02:13:06Z) - From Sublinear to Linear: Fast Convergence in Deep Networks via Locally Polyak-Lojasiewicz Regions [0.0]
本稿では、ディープニューラルネットワーク(DNN)の非GD同値損失に関する理論的課題を示す。
準最適ギャップの勾配下界は、適切に有限幅のネットワークが L 内に二乗勾配を持つことを証明している。
我々の研究は、ディープラーニングの効率性の理論的な説明を提供する。
論文 参考訳(メタデータ) (2025-07-29T01:49:16Z) - Accelerating Natural Gradient Descent for PINNs with Randomized Nyström Preconditioning [0.0]
Natural Descent Gradient (NGD) は、ニューラルネットワークに基づく偏微分方程式(PDE)の学習アルゴリズムである。
NGDはしばしば、グラミアン行列を含む線形系を解くのに高い計算コストによって制限される。
我々は,行列フリーNGDを従来考えられていたよりも幅広い問題のクラスに拡張し,内部CGソルバの収束を加速するために,Nystr"omプレコンディショニングの利用を提案する。
論文 参考訳(メタデータ) (2025-05-16T19:00:40Z) - RoPINN: Region Optimized Physics-Informed Neural Networks [66.38369833561039]
物理インフォームドニューラルネットワーク(PINN)は偏微分方程式(PDE)の解法として広く応用されている。
本稿では,地域最適化としての新たな訓練パラダイムを提案し,理論的に検討する。
実践的なトレーニングアルゴリズムであるRerea Optimized PINN(RoPINN)は、この新しいパラダイムからシームレスに派生している。
論文 参考訳(メタデータ) (2024-05-23T09:45:57Z) - Stable Nonconvex-Nonconcave Training via Linear Interpolation [51.668052890249726]
本稿では,ニューラルネットワークトレーニングを安定化(大規模)するための原理的手法として,線形アヘッドの理論解析を提案する。
最適化過程の不安定性は、しばしば損失ランドスケープの非単調性によって引き起こされるものであり、非拡張作用素の理論を活用することによって線型性がいかに役立つかを示す。
論文 参考訳(メタデータ) (2023-10-20T12:45:12Z) - Enhancing training of physics-informed neural networks using
domain-decomposition based preconditioning strategies [1.8434042562191815]
広く使用されているL-BFGSに対して,加法的および乗法的プレコンディショニング戦略を導入する。
加法プレコンディショナーと乗算プレコンディショナーの両方が標準L-BFGSの収束を著しく改善することを示した。
論文 参考訳(メタデータ) (2023-06-30T13:35:09Z) - Neural Basis Functions for Accelerating Solutions to High Mach Euler
Equations [63.8376359764052]
ニューラルネットワークを用いた偏微分方程式(PDE)の解法を提案する。
ニューラルネットワークの集合を縮小順序 Proper Orthogonal Decomposition (POD) に回帰する。
これらのネットワークは、所定のPDEのパラメータを取り込み、PDEに還元順序近似を計算する分岐ネットワークと組み合わせて使用される。
論文 参考訳(メタデータ) (2022-08-02T18:27:13Z) - Local Propagation in Constraint-based Neural Network [77.37829055999238]
ニューラルネットワークアーキテクチャの制約に基づく表現について検討する。
本稿では,いわゆるアーキテクチャ制約を満たすのに適した簡単な最適化手法について検討する。
論文 参考訳(メタデータ) (2020-02-18T16:47:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。