Fugu-MT 論文翻訳(概要): Multi-Grade Deep Learning for Partial Differential Equations with Applications to the Burgers Equation

論文の概要: Multi-Grade Deep Learning for Partial Differential Equations with Applications to the Burgers Equation

arxiv url: http://arxiv.org/abs/2309.07401v1
Date: Thu, 14 Sep 2023 03:09:58 GMT
ステータス: 処理完了
システム内更新日: 2023-09-15 16:30:01.598366
Title: Multi-Grade Deep Learning for Partial Differential Equations with Applications to the Burgers Equation
Title（参考訳）: 部分微分方程式に対するマルチグレード深層学習とバーガーズ方程式への応用
Authors: Yuesheng Xu and Taishan Zeng
Abstract要約: 本稿では,非線形偏微分方程式(PDE)を解くための多段階深層学習法を開発する。ディープニューラルネットワーク(DNN)は、PDEを解く上で非常にパフォーマンスが高い。本稿では, 1次元, 2次元, 3次元バーガース方程式にのみ焦点をあてる。
参考スコア（独自算出の注目度）: 3.5994228506864405
License: http://creativecommons.org/licenses/by/4.0/
Abstract: We develop in this paper a multi-grade deep learning method for solving nonlinear partial differential equations (PDEs). Deep neural networks (DNNs) have received super performance in solving PDEs in addition to their outstanding success in areas such as natural language processing, computer vision, and robotics. However, training a very deep network is often a challenging task. As the number of layers of a DNN increases, solving a large-scale non-convex optimization problem that results in the DNN solution of PDEs becomes more and more difficult, which may lead to a decrease rather than an increase in predictive accuracy. To overcome this challenge, we propose a two-stage multi-grade deep learning (TS-MGDL) method that breaks down the task of learning a DNN into several neural networks stacked on top of each other in a staircase-like manner. This approach allows us to mitigate the complexity of solving the non-convex optimization problem with large number of parameters and learn residual components left over from previous grades efficiently. We prove that each grade/stage of the proposed TS-MGDL method can reduce the value of the loss function and further validate this fact through numerical experiments. Although the proposed method is applicable to general PDEs, implementation in this paper focuses only on the 1D, 2D, and 3D viscous Burgers equations. Experimental results show that the proposed two-stage multi-grade deep learning method enables efficient learning of solutions of the equations and outperforms existing single-grade deep learning methods in predictive accuracy. Specifically, the predictive errors of the single-grade deep learning are larger than those of the TS-MGDL method in 26-60, 4-31 and 3-12 times, for the 1D, 2D, and 3D equations, respectively.
Abstract（参考訳）: 本稿では,非線形偏微分方程式(PDE)を解くための多段階深層学習法を開発した。ディープニューラルネットワーク(DNN)は、自然言語処理、コンピュータビジョン、ロボット工学といった分野での卓越した成功に加えて、PDEの解決において非常に優れた成果を上げている。しかし、非常に深いネットワークのトレーニングは難しい作業であることが多い。 DNNの層数が増加するにつれて、PDEのDNN解をもたらす大規模な非凸最適化問題の解決がますます難しくなり、予測精度の増大よりも減少につながる可能性がある。この課題を克服するために、DNNを複数のニューラルネットワーク上に積み重ねるタスクを階段のような方法で分解する2段階のマルチグレードディープラーニング(TS-MGDL)手法を提案する。このアプローチにより、多くのパラメーターで非凸最適化問題を解決する複雑さを軽減し、以前のグレードから残した残余成分を効率的に学習できる。提案するts-mgdl法の各段階/段階が損失関数の値を減少させ,数値実験によりさらに検証できることを実証する。提案手法は一般のPDEに適用できるが,本論文の実装は1次元, 2次元, 3次元粘性バーガース方程式にのみ焦点をあてる。実験結果から,提案手法は方程式の解を効率よく学習し,予測精度で既存の一階深層学習法より優れていることがわかった。具体的には,1d,2d,3dの各方程式に対して,26-60,4-31,3-12回のts-mgdl法よりも予測誤差が大きい。

関連論文リスト

A forward differential deep learning-based algorithm for solving high-dimensional nonlinear backward stochastic differential equations [0.6040014326756179]
我々は、高次元非線形後方微分方程式(BSDEs)を解くための新しい前方微分深層学習アルゴリズムを提案する。差分深度学習がラベルとその導関数を入力に対して効率的に近似できるという事実により、BSDE問題を差分深度学習問題に変換する。アルゴリズムの主な考え方は、オイラー・丸山法を用いて積分を離散化し、3つのディープニューラルネットワークを用いて未知の離散解を近似することである。
論文参考訳（メタデータ） (2024-08-10T19:34:03Z)
A backward differential deep learning-based algorithm for solving high-dimensional nonlinear backward stochastic differential equations [0.6040014326756179]
本稿では,高次元非線形逆微分方程式を解くための新しい逆微分深層学習アルゴリズムを提案する。ディープニューラルネットワーク(DNN)モデルは、入力やラベルだけでなく、対応するラベルの差分に基づいて訓練される。
論文参考訳（メタデータ） (2024-04-12T13:05:35Z)
Accelerated primal-dual methods with enlarged step sizes and operator learning for nonsmooth optimal control problems [3.1006429989273063]
本稿では,異なる種類の変数を個別に扱える原始双対法の適用に焦点をあてる。ステップサイズが大きい高速化された原始双対法では、元の原始双対法を数値的に高速化しながら、その収束を厳密に証明することができる。演算子学習アクセラレーションのために、関連するPDEのためのディープニューラルネットワークサロゲートモデルを構築する。
論文参考訳（メタデータ） (2023-07-01T10:39:07Z)
iPINNs: Incremental learning for Physics-informed neural networks [66.4795381419701]
物理インフォームドニューラルネットワーク(PINN)は、最近偏微分方程式(PDE)を解く強力なツールとなっている。本稿では,新しいタスクのパラメータを追加せずに連続的に複数のタスクを学習できるインクリメンタルPINNを提案する。提案手法は,PDEごとに個別のサブネットワークを作成し,従来のサブネットワークと重なり合うようにすることで,最も単純なPDEから複数のPDEを学習する。
論文参考訳（メタデータ） (2023-04-10T20:19:20Z)
Implicit Stochastic Gradient Descent for Training Physics-informed Neural Networks [51.92362217307946]
物理インフォームドニューラルネットワーク(PINN)は、前方および逆微分方程式問題の解法として効果的に実証されている。 PINNは、近似すべきターゲット関数が高周波またはマルチスケールの特徴を示す場合、トレーニング障害に閉じ込められる。本稿では,暗黙的勾配降下法(ISGD)を用いてPINNを訓練し,トレーニングプロセスの安定性を向上させることを提案する。
論文参考訳（メタデータ） (2023-03-03T08:17:47Z)
NeuralStagger: Accelerating Physics-constrained Neural PDE Solver with Spatial-temporal Decomposition [67.46012350241969]
本稿では,NeuralStaggerと呼ばれる一般化手法を提案する。元の学習タスクをいくつかの粗い解像度のサブタスクに分解する。本稿では,2次元および3次元流体力学シミュレーションにおけるNeuralStaggerの適用例を示す。
論文参考訳（メタデータ） (2023-02-20T19:36:52Z)
Learning Physics-Informed Neural Networks without Stacked Back-propagation [82.26566759276105]
我々は,物理インフォームドニューラルネットワークのトレーニングを著しく高速化する新しい手法を開発した。特に、ガウス滑らか化モデルによりPDE解をパラメータ化し、スタインの恒等性から導かれる2階微分がバックプロパゲーションなしで効率的に計算可能であることを示す。実験の結果,提案手法は通常のPINN訓練に比べて2桁の精度で競合誤差を実現できることがわかった。
論文参考訳（メタデータ） (2022-02-18T18:07:54Z)
Solving Partial Differential Equations with Point Source Based on Physics-Informed Neural Networks [33.18757454787517]
近年では、偏微分方程式(PDE)の解法としてディープラーニング技術が用いられている。 3つの新しい手法でこの問題に対処するための普遍的な解決策を提案する。提案手法を3つの代表的PDEを用いて評価し,提案手法が既存の深層学習手法よりも精度,効率,汎用性に優れていたことを示す。
論文参考訳（メタデータ） (2021-11-02T06:39:54Z)
Characterizing possible failure modes in physics-informed neural networks [55.83255669840384]
科学機械学習における最近の研究は、いわゆる物理情報ニューラルネットワーク(PINN)モデルを開発した。既存のPINN方法論は比較的自明な問題に対して優れたモデルを学ぶことができるが、単純なPDEであっても、関連する物理現象を学習するのに失敗する可能性があることを実証する。これらの障害モードは,NNアーキテクチャの表現力の欠如によるものではなく,PINNのセットアップによって損失状況の最適化が極めて困難であることを示す。
論文参考訳（メタデータ） (2021-09-02T16:06:45Z)
Adversarial Multi-task Learning Enhanced Physics-informed Neural Networks for Solving Partial Differential Equations [9.823102211212582]
本稿では,多タスク学習手法,不確実性強調損失,勾配手術を学習pdeソリューションの文脈で活用する新しいアプローチを提案する。実験では,提案手法が有効であることが判明し,従来手法と比較して未発見のデータポイントの誤差を低減できた。
論文参考訳（メタデータ） (2021-04-29T13:17:46Z)
dNNsolve: an efficient NN-based PDE solver [62.997667081978825]
ODE/PDEを解決するためにデュアルニューラルネットワークを利用するdNNsolveを紹介します。我々は,dNNsolveが1,2,3次元の幅広いODE/PDEを解くことができることを示す。
論文参考訳（メタデータ） (2021-03-15T19:14:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。