Fugu-MT 論文翻訳(概要): Error Analysis of Three-Layer Neural Network Trained with PGD for Deep Ritz Method

論文の概要: Error Analysis of Three-Layer Neural Network Trained with PGD for Deep Ritz Method

arxiv url: http://arxiv.org/abs/2405.11451v1
Date: Sun, 19 May 2024 05:07:09 GMT
ステータス: 処理完了
システム内更新日: 2024-05-21 17:37:55.783791
Title: Error Analysis of Three-Layer Neural Network Trained with PGD for Deep Ritz Method
Title（参考訳）: PGDを用いたディープリッツ法における3層ニューラルネットワークの誤差解析
Authors: Yuling Jiao, Yanming Lai, Yang Wang,
Abstract要約: 我々はディープ・リッツ法(英語版)の枠組み内に3層タンニューラルネットを用い、二階楕円方程式を解く。我々は3層ネットワークをトレーニングするために、予測勾配降下を行い、そのグローバル収束を確立する。サンプルサイズ$n$の誤差を提示し、ネットワーク深さ、幅、ステップサイズ、および予測勾配降下アルゴリズムの反復数の設定方法についてのガイダンスを提供する。
参考スコア（独自算出の注目度）: 7.723218675113336
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Machine learning is a rapidly advancing field with diverse applications across various domains. One prominent area of research is the utilization of deep learning techniques for solving partial differential equations(PDEs). In this work, we specifically focus on employing a three-layer tanh neural network within the framework of the deep Ritz method(DRM) to solve second-order elliptic equations with three different types of boundary conditions. We perform projected gradient descent(PDG) to train the three-layer network and we establish its global convergence. To the best of our knowledge, we are the first to provide a comprehensive error analysis of using overparameterized networks to solve PDE problems, as our analysis simultaneously includes estimates for approximation error, generalization error, and optimization error. We present error bound in terms of the sample size $n$ and our work provides guidance on how to set the network depth, width, step size, and number of iterations for the projected gradient descent algorithm. Importantly, our assumptions in this work are classical and we do not require any additional assumptions on the solution of the equation. This ensures the broad applicability and generality of our results.
Abstract（参考訳）: 機械学習は、様々な領域にまたがる多様なアプリケーションを持つ、急速に進歩する分野である。研究の顕著な領域は、偏微分方程式(PDE)を解くためのディープラーニング技術の利用である。本研究では,三種類の境界条件を持つ二階楕円方程式を解くために,ディープ・リッツ法(DRM)の枠組み内に3層タンニューラルネットを用いることに着目する。我々は3層ネットワークをトレーニングするために、プロジェクテッド勾配降下(PDG)を行い、そのグローバル収束を確立する。我々の知る限りでは、近似誤差、一般化誤差、最適化誤差の見積もりを同時に含むため、我々はPDE問題を解決するために過パラメータネットワークを用いた包括的なエラー解析を初めて提供する。サンプルサイズ$n$の誤差を提示し、ネットワーク深さ、幅、ステップサイズ、および予測勾配降下アルゴリズムの反復数の設定方法についてのガイダンスを提供する。重要なことに、この研究における我々の仮定は古典的であり、方程式の解に関する追加の仮定は不要である。これにより、我々の結果の幅広い適用性と一般化が保証される。

関連論文リスト

General-Kindred Physics-Informed Neural Network to the Solutions of Singularly Perturbed Differential Equations [11.121415128908566]
我々は,Singular Perturbation Differential Equations(SPDE)の解法として,GKPINN(General-Kindred Physics-Informed Neural Network)を提案する。この手法は, 境界層の事前知識を方程式から利用し, 境界層を近似するPINNを支援する新しいネットワークを確立する。 GKPINNは,確立したPINN法と比較して,2～4桁の誤差を2～4桁に削減し,大幅な性能向上を実現している。
論文参考訳（メタデータ） (2024-08-27T02:03:22Z)
A forward differential deep learning-based algorithm for solving high-dimensional nonlinear backward stochastic differential equations [0.6040014326756179]
我々は、高次元非線形後方微分方程式(BSDEs)を解くための新しい前方微分深層学習アルゴリズムを提案する。差分深度学習がラベルとその導関数を入力に対して効率的に近似できるという事実により、BSDE問題を差分深度学習問題に変換する。アルゴリズムの主な考え方は、オイラー・丸山法を用いて積分を離散化し、3つのディープニューラルネットワークを用いて未知の離散解を近似することである。
論文参考訳（メタデータ） (2024-08-10T19:34:03Z)
Optimizing Solution-Samplers for Combinatorial Problems: The Landscape of Policy-Gradient Methods [52.0617030129699]
本稿では,DeepMatching NetworksとReinforcement Learningメソッドの有効性を解析するための新しい理論フレームワークを提案する。我々の主な貢献は、Max- and Min-Cut、Max-$k$-Bipartite-Bi、Maximum-Weight-Bipartite-Bi、Traveing Salesman Problemを含む幅広い問題である。本分析の副産物として,バニラ降下による新たな正則化プロセスを導入し,失効する段階的な問題に対処し,悪い静止点から逃れる上で有効であることを示す理論的および実験的証拠を提供する。
論文参考訳（メタデータ） (2023-10-08T23:39:38Z)
Implicit Stochastic Gradient Descent for Training Physics-informed Neural Networks [51.92362217307946]
物理インフォームドニューラルネットワーク(PINN)は、前方および逆微分方程式問題の解法として効果的に実証されている。 PINNは、近似すべきターゲット関数が高周波またはマルチスケールの特徴を示す場合、トレーニング障害に閉じ込められる。本稿では,暗黙的勾配降下法(ISGD)を用いてPINNを訓練し,トレーニングプロセスの安定性を向上させることを提案する。
論文参考訳（メタデータ） (2023-03-03T08:17:47Z)
Neural Basis Functions for Accelerating Solutions to High Mach Euler Equations [63.8376359764052]
ニューラルネットワークを用いた偏微分方程式(PDE)の解法を提案する。ニューラルネットワークの集合を縮小順序 Proper Orthogonal Decomposition (POD) に回帰する。これらのネットワークは、所定のPDEのパラメータを取り込み、PDEに還元順序近似を計算する分岐ネットワークと組み合わせて使用される。
論文参考訳（メタデータ） (2022-08-02T18:27:13Z)
Solving parametric partial differential equations with deep rectified quadratic unit neural networks [38.16617079681564]
本研究では、パラメトリックPDEの解マップを近似するための深部修正二次単位(ReQU)ニューラルネットワークの表現力について検討する。精度を実現するために必要な深部ReQUニューラルネットワークのサイズに基づいて,上界$mathcalOleft(d3log_2qlog_2 (1/epsilon) right)$を導出する。
論文参考訳（メタデータ） (2022-03-14T10:15:29Z)
Mean-field Analysis of Piecewise Linear Solutions for Wide ReLU Networks [83.58049517083138]
勾配勾配勾配を用いた2層ReLUネットワークについて検討する。 SGDは単純な解に偏りがあることが示される。また,データポイントと異なる場所で結び目が発生するという経験的証拠も提供する。
論文参考訳（メタデータ） (2021-11-03T15:14:20Z)
Proxy Convexity: A Unified Framework for the Analysis of Neural Networks Trained by Gradient Descent [95.94432031144716]
学習ネットワークの分析のための統合された非最適化フレームワークを提案する。既存の保証は勾配降下により統一することができることを示す。
論文参考訳（メタデータ） (2021-06-25T17:45:00Z)
Solving PDEs on Unknown Manifolds with Machine Learning [8.220217498103315]
本稿では,未知多様体上の楕円型PDEを解くためのメッシュフリー計算フレームワークと機械学習理論を提案する。提案したNNソルバは,新しいデータポイント上の一般化とほぼ同一の誤差を持つ新しいデータポイント上でPDEを強固に一般化できることを示す。
論文参考訳（メタデータ） (2021-06-12T03:55:15Z)
ODEN: A Framework to Solve Ordinary Differential Equations using Artificial Neural Networks [0.0]
我々は、ニューラルネットワークの性能を評価するために、正確な解の知識を必要としない特定の損失関数を証明した。ニューラルネットワークは、トレーニング領域内での継続的ソリューションの近似に熟練していることが示されている。ユーザフレンドリで適応可能なオープンソースコード(ODE$mathcalN$)がGitHubで提供されている。
論文参考訳（メタデータ） (2020-05-28T15:34:10Z)
Communication-Efficient Distributed Stochastic AUC Maximization with Deep Neural Networks [50.42141893913188]
本稿では,ニューラルネットワークを用いた大規模AUCのための分散変数について検討する。我々のモデルは通信ラウンドをはるかに少なくし、理論上はまだ多くの通信ラウンドを必要としています。いくつかのデータセットに対する実験は、我々の理論の有効性を示し、我々の理論を裏付けるものである。
論文参考訳（メタデータ） (2020-05-05T18:08:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。