論文の概要: Global Convergence of Deep Galerkin and PINNs Methods for Solving Partial Differential Equations

• arxiv url: http://arxiv.org/abs/2305.06000v1
• Date: Wed, 10 May 2023 09:20:11 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-11 13:50:10.895392
• Title: Global Convergence of Deep Galerkin and PINNs Methods for Solving Partial Differential Equations
• Title（参考訳）: 偏微分方程式の解法におけるディープガレルキン法とピンズ法の大域収束
• Authors: Deqing Jiang, Justin Sirignano, Samuel N. Cohen
• Abstract要約: ニューラルネットワークを用いて解を近似することにより、高次元PDEを解くための様々なディープラーニング手法が開発されている。 我々はPDEの解法であるDeep Galerkin MethodDGM(ディープ・ガレルキン・メソッドDGM)の解法として広く使われているディープラーニングアルゴリズムの1つである。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Numerically solving high-dimensional partial differential equations (PDEs) is a major challenge. Conventional methods, such as finite difference methods, are unable to solve high-dimensional PDEs due to the curse-of-dimensionality. A variety of deep learning methods have been recently developed to try and solve high-dimensional PDEs by approximating the solution using a neural network. In this paper, we prove global convergence for one of the commonly-used deep learning algorithms for solving PDEs, the Deep Galerkin Method (DGM). DGM trains a neural network approximator to solve the PDE using stochastic gradient descent. We prove that, as the number of hidden units in the single-layer network goes to infinity (i.e., in the ``wide network limit"), the trained neural network converges to the solution of an infinite-dimensional linear ordinary differential equation (ODE). The PDE residual of the limiting approximator converges to zero as the training time $\rightarrow \infty$. Under mild assumptions, this convergence also implies that the neural network approximator converges to the solution of the PDE. A closely related class of deep learning methods for PDEs is Physics Informed Neural Networks (PINNs). Using the same mathematical techniques, we can prove a similar global convergence result for the PINN neural network approximators. Both proofs require analyzing a kernel function in the limit ODE governing the evolution of the limit neural network approximator. A key technical challenge is that the kernel function, which is a composition of the PDE operator and the neural tangent kernel (NTK) operator, lacks a spectral gap, therefore requiring a careful analysis of its properties.
• Abstract（参考訳）: 高次元偏微分方程式(pdes)を数値解くことは大きな課題である。 従来の方法、例えば有限差分法は、次元の呪いのために高次元PDEを解くことができない。 近年,ニューラルネットワークを用いて解を近似して高次元pdesを解こうとする深層学習法が開発されている。 本稿では,PDEの解法であるDeep Galerkin Method(DGM)の解法として広く使われているディープラーニングアルゴリズムの1つである。 DGMは確率勾配降下を用いてPDEを解決するためにニューラルネットワーク近似器を訓練する。 単一層ネットワーク内の隠れた単位の数が無限大(すなわち「広いネットワーク限界」)になるにつれて、訓練されたニューラルネットワークは無限次元線形常微分方程式(ODE)の解に収束する。 極限近似子の PDE 残差は、訓練時間 $\rightarrow \infty$ として 0 に収束する。 軽度の仮定では、この収束は、ニューラルネットワーク近似器がPDEの解に収束することを意味する。 pdesのための深層学習手法の密接なクラスは、物理学インフォームドニューラルネットワーク(pinns)である。 同じ数学的手法を用いて、pinnニューラルネットワーク近似子に対して同様の大域収束結果が証明できる。 どちらの証明も、リミットニューラルネットワーク近似器の進化を管理するリミットODEのカーネル関数を解析する必要がある。 重要な技術的課題は、PDE演算子とニューラル接カーネル(NTK)演算子の合成であるカーネル関数がスペクトルギャップを欠いているため、その特性を慎重に解析する必要があることである。

関連論文リスト

• Solving the Poisson Equation with Dirichlet data by shallow ReLU$^α$-networks: A regularity and approximation perspective [0.0]
  楕円型PDEの解を近似するニューラルネットワークの容量を解析する。 我々の焦点は半空間上のディリクレ境界条件を持つラプラス作用素である。
  論文  参考訳（メタデータ） (2024-12-10T18:24:46Z)
• Solving partial differential equations with sampled neural networks [1.8590821261905535]
  偏微分方程式(PDE)に対する解の近似は計算科学や工学において重要な問題である。 データに依存しない確率分布から、アンザッツネットワークの隠れた重みとバイアスをサンプリングすることで、両課題を進展させる方法について論じる。
  論文  参考訳（メタデータ） (2024-05-31T14:24:39Z)
• A Stable and Scalable Method for Solving Initial Value PDEs with Neural Networks [52.5899851000193]
  我々は,ネットワークの条件が悪くなるのを防止し,パラメータ数で時間線形に動作するODEベースのIPPソルバを開発した。 このアプローチに基づく現在の手法は2つの重要な問題に悩まされていることを示す。 まず、ODEに従うと、問題の条件付けにおいて制御不能な成長が生じ、最終的に許容できないほど大きな数値誤差が生じる。
  論文  参考訳（メタデータ） (2023-04-28T17:28:18Z)
• Solving High-Dimensional PDEs with Latent Spectral Models [74.1011309005488]
  我々は,高次元PDEの効率的かつ高精度な解法に向けて,Latent Spectral Models (LSM) を提案する。 数値解析において古典スペクトル法に着想を得て,潜時空間におけるPDEを解くために,ニューラルスペクトルブロックを設計する。 LSMは、一貫した最先端を実現し、7つのベンチマークで平均11.5%の相対的な利益を得る。
  論文  参考訳（メタデータ） (2023-01-30T04:58:40Z)
• Neural Basis Functions for Accelerating Solutions to High Mach Euler Equations [63.8376359764052]
  ニューラルネットワークを用いた偏微分方程式(PDE)の解法を提案する。 ニューラルネットワークの集合を縮小順序 Proper Orthogonal Decomposition (POD) に回帰する。 これらのネットワークは、所定のPDEのパラメータを取り込み、PDEに還元順序近似を計算する分岐ネットワークと組み合わせて使用される。
  論文  参考訳（メタデータ） (2022-08-02T18:27:13Z)
• Neural Q-learning for solving PDEs [0.0]
  我々は,強化学習にQ-ラーニングアルゴリズムを適用し,楕円型PDEを解くための新しい数値法を開発した。 我々の「Q-PDE」アルゴリズムはメッシュフリーであり、従って次元の呪いを克服する可能性がある。 楕円型PDEに対するQ-PDEアルゴリズムの数値計算性能について検討した。
  論文  参考訳（メタデータ） (2022-03-31T15:52:44Z)
• Solving PDEs on Unknown Manifolds with Machine Learning [8.220217498103315]
  本稿では,未知多様体上の楕円型PDEを解くためのメッシュフリー計算フレームワークと機械学習理論を提案する。 提案したNNソルバは,新しいデータポイント上の一般化とほぼ同一の誤差を持つ新しいデータポイント上でPDEを強固に一般化できることを示す。
  論文  参考訳（メタデータ） (2021-06-12T03:55:15Z)
• dNNsolve: an efficient NN-based PDE solver [62.997667081978825]
  ODE/PDEを解決するためにデュアルニューラルネットワークを利用するdNNsolveを紹介します。 我々は,dNNsolveが1,2,3次元の幅広いODE/PDEを解くことができることを示す。
  論文  参考訳（メタデータ） (2021-03-15T19:14:41Z)
• Multipole Graph Neural Operator for Parametric Partial Differential Equations [57.90284928158383]
  物理系をシミュレーションするためのディープラーニングベースの手法を使用する際の大きな課題の1つは、物理ベースのデータの定式化である。 線形複雑度のみを用いて、あらゆる範囲の相互作用をキャプチャする、新しいマルチレベルグラフニューラルネットワークフレームワークを提案する。 実験により, 離散化不変解演算子をPDEに学習し, 線形時間で評価できることを確認した。
  論文  参考訳（メタデータ） (2020-06-16T21:56:22Z)
• On the convergence of physics informed neural networks for linear second-order elliptic and parabolic type PDEs [0.0]
  物理情報ニューラルネットワーク(PINN)は、偏微分方程式(PDE)を解くためのディープラーニングに基づく技術である 最小化器の列は$C0$でPDE解に強く収束することを示す。 私たちの知る限りでは、PINNの一貫性を示す最初の理論的研究である。
  論文  参考訳（メタデータ） (2020-04-03T22:59:25Z)
• Neural Operator: Graph Kernel Network for Partial Differential Equations [57.90284928158383]
  この作業はニューラルネットワークを一般化し、無限次元空間(演算子)間の写像を学習できるようにすることである。 非線形活性化関数と積分作用素のクラスを構成することにより、無限次元写像の近似を定式化する。 実験により,提案したグラフカーネルネットワークには所望の特性があり,最先端技術と比較した場合の競合性能を示すことが確認された。
  論文  参考訳（メタデータ） (2020-03-07T01:56:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。