Fugu-MT 論文翻訳(概要): Global Convergence of Adjoint-Optimized Neural PDEs

論文の概要: Global Convergence of Adjoint-Optimized Neural PDEs

arxiv url: http://arxiv.org/abs/2506.13633v1
Date: Mon, 16 Jun 2025 16:00:00 GMT
ステータス: 翻訳完了
システム内更新日: 2025-06-17 17:28:48.897773
Title: Global Convergence of Adjoint-Optimized Neural PDEs
Title（参考訳）: 共役最適化型ニューラルPDEの大域的収束
Authors: Konstantin Riedl, Justin Sirignano, Konstantinos Spiliopoulos,
Abstract要約: 本研究では,ニューラルネットワークを用いたPDEモデルの学習において,隠れた単位数と学習時間の両方が無限大となるような条件下での随伴勾配勾配勾配最適化手法の収束性について検討する。具体的には、ニューラルネットワークを元項に埋め込んだ非線形放物型PDEの一般クラスに対して、ターゲットデータ(すなわち、大域的最小化器)に対する訓練されたニューラルネットワークPDEソリューションを証明する。大域収束証明は有限次元収束解析では遭遇しないユニークな数学的挑戦を示す。
参考スコア（独自算出の注目度）: 0.0
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Many engineering and scientific fields have recently become interested in modeling terms in partial differential equations (PDEs) with neural networks. The resulting neural-network PDE model, being a function of the neural network parameters, can be calibrated to available data by optimizing over the PDE using gradient descent, where the gradient is evaluated in a computationally efficient manner by solving an adjoint PDE. These neural-network PDE models have emerged as an important research area in scientific machine learning. In this paper, we study the convergence of the adjoint gradient descent optimization method for training neural-network PDE models in the limit where both the number of hidden units and the training time tend to infinity. Specifically, for a general class of nonlinear parabolic PDEs with a neural network embedded in the source term, we prove convergence of the trained neural-network PDE solution to the target data (i.e., a global minimizer). The global convergence proof poses a unique mathematical challenge that is not encountered in finite-dimensional neural network convergence analyses due to (1) the neural network training dynamics involving a non-local neural network kernel operator in the infinite-width hidden layer limit where the kernel lacks a spectral gap for its eigenvalues and (2) the nonlinearity of the limit PDE system, which leads to a non-convex optimization problem, even in the infinite-width hidden layer limit (unlike in typical neual network training cases where the optimization problem becomes convex in the large neuron limit). The theoretical results are illustrated and empirically validated by numerical studies.
Abstract（参考訳）: 多くの工学や科学分野が最近、ニューラルネットワークを用いた偏微分方程式(PDE)のモデリングに興味を持つようになった。ニューラルネットワークパラメータの関数であるニューラルネットワークPDEモデルは、勾配勾配勾配を用いてPDEを最適化することにより、利用可能なデータに校正することができる。これらのニューラルネットワークPDEモデルは、科学機械学習において重要な研究領域として登場した。本稿では,ニューラルネットワークを用いたPDEモデルの学習において,隠れた単位数と学習時間の両方が無限大となるような条件下での随伴勾配勾配勾配最適化手法の収束性について検討する。具体的には、ニューラルネットワークをソース項に埋め込んだ非線形放物型PDEの一般クラスに対して、トレーニングされたニューラルネットワークPDEソリューションを対象データ(すなわち、大域的最小化器)に収束させることを証明する。大域収束証明は、(1)非局所ニューラルネットワークの演算子を含むニューラルネットワークトレーニングのダイナミクスが、その固有値のスペクトルギャップを欠いている無限幅の隠蔽層限界と(2)無限幅の隠蔽層限界においても、非凸最適化問題を引き起こす限界PDEシステムの非線形性(大きなニューロン限界において最適化問題が凸となる通常のニューラルネットワークトレーニングの場合とは異なり)によって、有限次元のニューラルネットワーク収束解析で生じない、ユニークな数学的課題を提起する。理論的結果は数値的研究によって説明され、実証的に検証される。

関連論文リスト

Global Convergence of Deep Galerkin and PINNs Methods for Solving Partial Differential Equations [0.0]
ニューラルネットワークを用いて解を近似することにより、高次元PDEを解くための様々なディープラーニング手法が開発されている。我々はPDEの解法であるDeep Galerkin MethodDGM(ディープ・ガレルキン・メソッドDGM)の解法として広く使われているディープラーニングアルゴリズムの1つである。
論文参考訳（メタデータ） (2023-05-10T09:20:11Z)
Implicit Stochastic Gradient Descent for Training Physics-informed Neural Networks [51.92362217307946]
物理インフォームドニューラルネットワーク(PINN)は、前方および逆微分方程式問題の解法として効果的に実証されている。 PINNは、近似すべきターゲット関数が高周波またはマルチスケールの特徴を示す場合、トレーニング障害に閉じ込められる。本稿では,暗黙的勾配降下法(ISGD)を用いてPINNを訓練し,トレーニングプロセスの安定性を向上させることを提案する。
論文参考訳（メタデータ） (2023-03-03T08:17:47Z)
NeuralStagger: Accelerating Physics-constrained Neural PDE Solver with Spatial-temporal Decomposition [67.46012350241969]
本稿では,NeuralStaggerと呼ばれる一般化手法を提案する。元の学習タスクをいくつかの粗い解像度のサブタスクに分解する。本稿では,2次元および3次元流体力学シミュレーションにおけるNeuralStaggerの適用例を示す。
論文参考訳（メタデータ） (2023-02-20T19:36:52Z)
LordNet: An Efficient Neural Network for Learning to Solve Parametric Partial Differential Equations without Simulated Data [47.49194807524502]
エンタングルメントをモデル化するためのチューナブルで効率的なニューラルネットワークであるLordNetを提案する。ポアソン方程式と(2Dおよび3D)ナビエ・ストークス方程式を解く実験は、長距離の絡み合いがロードネットによってうまくモデル化できることを示した。
論文参考訳（メタデータ） (2022-06-19T14:41:08Z)
Learning Physics-Informed Neural Networks without Stacked Back-propagation [82.26566759276105]
我々は,物理インフォームドニューラルネットワークのトレーニングを著しく高速化する新しい手法を開発した。特に、ガウス滑らか化モデルによりPDE解をパラメータ化し、スタインの恒等性から導かれる2階微分がバックプロパゲーションなしで効率的に計算可能であることを示す。実験の結果,提案手法は通常のPINN訓練に比べて2桁の精度で競合誤差を実現できることがわかった。
論文参考訳（メタデータ） (2022-02-18T18:07:54Z)
Solving PDEs on Unknown Manifolds with Machine Learning [8.220217498103315]
本稿では,未知多様体上の楕円型PDEを解くためのメッシュフリー計算フレームワークと機械学習理論を提案する。提案したNNソルバは,新しいデータポイント上の一般化とほぼ同一の誤差を持つ新しいデータポイント上でPDEを強固に一般化できることを示す。
論文参考訳（メタデータ） (2021-06-12T03:55:15Z)
PDE-constrained Models with Neural Network Terms: Optimization and Global Convergence [0.0]
近年の研究では、ディープラーニングを用いて、科学と工学における偏微分方程式(PDE)モデルを開発した。ニューラルネットワークを用いた線形楕円型PDEの最適化について厳密に研究する。ニューラルネットワークは,レイノルズ平均ナヴィエ・ストークス方程式の閉包モデルとして機能する流体力学への応用のために,ニューラルネットワークモデルを訓練する。
論文参考訳（メタデータ） (2021-05-18T16:04:33Z)
Multipole Graph Neural Operator for Parametric Partial Differential Equations [57.90284928158383]
物理系をシミュレーションするためのディープラーニングベースの手法を使用する際の大きな課題の1つは、物理ベースのデータの定式化である。線形複雑度のみを用いて、あらゆる範囲の相互作用をキャプチャする、新しいマルチレベルグラフニューラルネットワークフレームワークを提案する。実験により, 離散化不変解演算子をPDEに学習し, 線形時間で評価できることを確認した。
論文参考訳（メタデータ） (2020-06-16T21:56:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。