論文の概要: PDE-constrained Models with Neural Network Terms: Optimization and Global Convergence

• arxiv url: http://arxiv.org/abs/2105.08633v1
• Date: Tue, 18 May 2021 16:04:33 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-19 13:54:08.402932
• Title: PDE-constrained Models with Neural Network Terms: Optimization and Global Convergence
• Title（参考訳）: ニューラルネットワークを用いたPDE制約モデル:最適化と大域収束
• Authors: Justin Sirignano, Jonathan MacArt, Konstantinos Spiliopoulos
• Abstract要約: 近年、深層学習を用いて、科学と工学における偏微分方程式(pde)モデルを開発した。 ニューラルネットワーク用語を用いた線形楕円形PDEのクラス最適化を厳格に検討する。 ニューラルネットワークは,レイノルズ平均navier-stokes方程式の閉包モデルとして機能する流体力学の応用のためにニューラルネットワークモデルを訓練する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent research has used deep learning to develop partial differential equation (PDE) models in science and engineering. The functional form of the PDE is determined by a neural network, and the neural network parameters are calibrated to available data. Calibration of the embedded neural network can be performed by optimizing over the PDE. Motivated by these applications, we rigorously study the optimization of a class of linear elliptic PDEs with neural network terms. The neural network parameters in the PDE are optimized using gradient descent, where the gradient is evaluated using an adjoint PDE. As the number of parameters become large, the PDE and adjoint PDE converge to a non-local PDE system. Using this limit PDE system, we are able to prove convergence of the neural network-PDE to a global minimum during the optimization. The limit PDE system contains a non-local linear operator whose eigenvalues are positive but become arbitrarily small. The lack of a spectral gap for the eigenvalues poses the main challenge for the global convergence proof. Careful analysis of the spectral decomposition of the coupled PDE and adjoint PDE system is required. Finally, we use this adjoint method to train a neural network model for an application in fluid mechanics, in which the neural network functions as a closure model for the Reynolds-averaged Navier-Stokes (RANS) equations. The RANS neural network model is trained on several datasets for turbulent channel flow and is evaluated out-of-sample at different Reynolds numbers.
• Abstract（参考訳）: 近年、深層学習を用いて、科学と工学における偏微分方程式(pde)モデルを開発した。 PDEの機能形式はニューラルネットワークによって決定され、ニューラルネットワークパラメータは利用可能なデータに校正される。 PDEを最適化することで、組み込みニューラルネットワークの校正を行うことができる。 これらの応用に動機づけられ,ニューラルネットワークを用いた線形楕円型pdesの最適化を厳格に検討した。 PDEのニューラルネットワークパラメータは勾配降下を用いて最適化され、その勾配は隣接PDEを用いて評価される。 パラメータの数が大きくなると、PDE と随伴する PDE は非局所 PDE 系に収束する。 この制限付きPDEシステムを用いて、最適化中にニューラルネットワーク-PDEのグローバル最小値への収束を証明できる。 極限PDEシステムは、固有値が正であるが任意に小さい非局所線型作用素を含む。 固有値に対するスペクトルギャップの欠如は、大域収束証明の主要な課題である。 結合型PDEと随伴型PDEシステムのスペクトル分解の注意深い解析が必要である。 最後に, ニューラルネットワークをレイノルズ平均化 Navier-Stokes (RANS) 方程式の閉包モデルとして機能させる流体力学への応用のために, ニューラルネットワークモデルをトレーニングする。 RANSニューラルネットワークモデルは、乱流チャネルフローの複数のデータセットに基づいてトレーニングされ、Reynoldsの異なる数値でサンプル外評価される。

関連論文リスト

• End-to-End Mesh Optimization of a Hybrid Deep Learning Black-Box PDE Solver [24.437884270729903]
  最近の研究では、ディープラーニングを利用して、粗いメッシュ上のPDEソルバによって得られる解を補正するPDE補正フレームワークが提案されている。 このようなPDE補正モデルのエンドツーエンドトレーニングでは、PDEソルバは反復的な数値過程を通じて自動微分をサポートする必要がある。 本研究では,ブラックボックスPDEソルバと流体流予測のためのディープラーニングモデルを用いたハイブリッドモデルのエンドツーエンドトレーニングの実現可能性について検討する。
  論文  参考訳（メタデータ） (2024-04-17T21:49:45Z)
• Deep Equilibrium Based Neural Operators for Steady-State PDEs [100.88355782126098]
  定常PDEに対する重み付けニューラルネットワークアーキテクチャの利点について検討する。 定常PDEの解を直接解くFNOアーキテクチャの深い平衡変種であるFNO-DEQを提案する。
  論文  参考訳（メタデータ） (2023-11-30T22:34:57Z)
• Reduced-order modeling for parameterized PDEs via implicit neural representations [4.135710717238787]
  我々は、パラメータ化偏微分方程式(PDE)を効率的に解くために、新しいデータ駆動型低次モデリング手法を提案する。 提案フレームワークは、PDEを符号化し、パラメトリゼーションニューラルネットワーク(PNODE)を用いて、複数のPDEパラメータを特徴とする潜時ダイナミクスを学習する。 我々は,提案手法を大規模なレイノルズ数で評価し,O(103)の高速化と,基底真理値に対する1%の誤差を得る。
  論文  参考訳（メタデータ） (2023-11-28T01:35:06Z)
• LatentPINNs: Generative physics-informed neural networks via a latent representation learning [0.0]
  本稿では,PDEパラメータの潜在表現をPINNに追加(座標に)入力として利用するフレームワークであるLatentPINNを紹介する。 まず,PDEパラメータの分布の潜在表現を学習する。 第2段階では、解領域内の座標空間からランダムに描画されたサンプルから得られる入力に対して、物理インフォームドニューラルネットワークを訓練する。
  論文  参考訳（メタデータ） (2023-05-11T16:54:17Z)
• Implicit Stochastic Gradient Descent for Training Physics-informed Neural Networks [51.92362217307946]
  物理インフォームドニューラルネットワーク(PINN)は、前方および逆微分方程式問題の解法として効果的に実証されている。 PINNは、近似すべきターゲット関数が高周波またはマルチスケールの特徴を示す場合、トレーニング障害に閉じ込められる。 本稿では,暗黙的勾配降下法(ISGD)を用いてPINNを訓練し,トレーニングプロセスの安定性を向上させることを提案する。
  論文  参考訳（メタデータ） (2023-03-03T08:17:47Z)
• Neural Basis Functions for Accelerating Solutions to High Mach Euler Equations [63.8376359764052]
  ニューラルネットワークを用いた偏微分方程式(PDE)の解法を提案する。 ニューラルネットワークの集合を縮小順序 Proper Orthogonal Decomposition (POD) に回帰する。 これらのネットワークは、所定のPDEのパラメータを取り込み、PDEに還元順序近似を計算する分岐ネットワークと組み合わせて使用される。
  論文  参考訳（メタデータ） (2022-08-02T18:27:13Z)
• Learning Physics-Informed Neural Networks without Stacked Back-propagation [82.26566759276105]
  我々は,物理インフォームドニューラルネットワークのトレーニングを著しく高速化する新しい手法を開発した。 特に、ガウス滑らか化モデルによりPDE解をパラメータ化し、スタインの恒等性から導かれる2階微分がバックプロパゲーションなしで効率的に計算可能であることを示す。 実験の結果,提案手法は通常のPINN訓練に比べて2桁の精度で競合誤差を実現できることがわかった。
  論文  参考訳（メタデータ） (2022-02-18T18:07:54Z)
• Lie Point Symmetry Data Augmentation for Neural PDE Solvers [69.72427135610106]
  本稿では,ニューラルPDEソルバサンプルの複雑性を改善することにより,この問題を部分的に緩和する手法を提案する。 PDEの文脈では、データ変換の完全なリストを定量的に導き出せることが分かりました。 神経性PDEソルバサンプルの複雑さを桁違いに改善するために、どのように容易に展開できるかを示す。
  論文  参考訳（メタデータ） (2022-02-15T18:43:17Z)
• NeuralPDE: Modelling Dynamical Systems from Data [0.44259821861543996]
  本稿では、畳み込みニューラルネットワーク(CNN)と微分可能なODEソルバを組み合わせて動的システムをモデル化するモデルであるNeuralPDEを提案する。 標準PDEソルバで使用されるラインの手法は、CNNが任意のPDEダイナミクスをパラメトリズする自然な選択となる畳み込みを用いて表現できることを示す。 我々のモデルは、PDEの管理に関する事前の知識を必要とせずに、あらゆるデータに適用することができる。
  論文  参考訳（メタデータ） (2021-11-15T10:59:52Z)
• dNNsolve: an efficient NN-based PDE solver [62.997667081978825]
  ODE/PDEを解決するためにデュアルニューラルネットワークを利用するdNNsolveを紹介します。 我々は,dNNsolveが1,2,3次元の幅広いODE/PDEを解くことができることを示す。
  論文  参考訳（メタデータ） (2021-03-15T19:14:41Z)
• Neural-PDE: A RNN based neural network for solving time dependent PDEs [6.560798708375526]
  偏微分方程式 (Partial differential equation, PDE) は、科学や工学における多くの問題を研究する上で重要な役割を果たしている。 本稿では,時間依存型PDEシステムのルールを自動的に学習する,Neural-PDEと呼ばれるシーケンス深層学習フレームワークを提案する。 我々の実験では、ニューラルPDEは20時間以内のトレーニングで効率よく力学を抽出し、正確な予測を行うことができる。
  論文  参考訳（メタデータ） (2020-09-08T15:46:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。