論文の概要: Understanding the Difficulty of Solving Cauchy Problems with PINNs

• arxiv url: http://arxiv.org/abs/2405.02561v1
• Date: Sat, 4 May 2024 04:22:52 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-07 19:30:33.332323
• Title: Understanding the Difficulty of Solving Cauchy Problems with PINNs
• Title（参考訳）: PINNを用いた因果問題解決の難しさの理解
• Authors: Tao Wang, Bo Zhao, Sicun Gao, Rose Yu,
• Abstract要約: PINNは微分方程式の解法における古典的手法と同等の精度を達成できないことが多い。 L2$残差と初期条件誤差の和を最小化することは、真の解を保証するのに十分でないことを示す。 我々は,大域的最小値が存在しない場合,機械の精度がエラーの原因となることを示した。
• 参考スコア（独自算出の注目度）: 31.98081858215356
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Physics-Informed Neural Networks (PINNs) have gained popularity in scientific computing in recent years. However, they often fail to achieve the same level of accuracy as classical methods in solving differential equations. In this paper, we identify two sources of this issue in the case of Cauchy problems: the use of $L^2$ residuals as objective functions and the approximation gap of neural networks. We show that minimizing the sum of $L^2$ residual and initial condition error is not sufficient to guarantee the true solution, as this loss function does not capture the underlying dynamics. Additionally, neural networks are not capable of capturing singularities in the solutions due to the non-compactness of their image sets. This, in turn, influences the existence of global minima and the regularity of the network. We demonstrate that when the global minimum does not exist, machine precision becomes the predominant source of achievable error in practice. We also present numerical experiments in support of our theoretical claims.
• Abstract（参考訳）: 近年,物理インフォームドニューラルネットワーク (PINN) が科学計算で人気を集めている。 しかし、それらは微分方程式の解法において古典的な方法と同じレベルの精度を達成できないことが多い。 本稿では,コーシー問題におけるこの問題の原因として,目的関数としての$L^2$残差とニューラルネットワークの近似ギャップの2つを同定する。 L^2$残差と初期条件誤差の和を最小化することは、この損失関数が基礎となるダイナミクスを捕捉しないため、真の解を保証するのに十分でないことを示す。 さらに、ニューラルネットワークは、画像集合の非コンパクト性のため、解の特異点をキャプチャすることができない。 これにより、グローバル・ミニマの存在とネットワークの規則性に影響を及ぼす。 我々は,世界最小値が存在しない場合,機械の精度が実際に達成可能な誤差の原因となることを示した。 また,我々の理論的主張を支持する数値実験を行った。

関連論文リスト

• Error Feedback under $(L_0,L_1)$-Smoothness: Normalization and Momentum [56.37522020675243]
  機械学習の幅広い問題にまたがる正規化誤差フィードバックアルゴリズムに対する収束の最初の証明を提供する。 提案手法では,許容可能なステップサイズが大きくなったため,新しい正規化エラーフィードバックアルゴリズムは,各種タスクにおける非正規化エラーよりも優れていた。
  論文  参考訳（メタデータ） (2024-10-22T10:19:27Z)
• Dimension-independent learning rates for high-dimensional classification problems [53.622581586464634]
  各RBV2$関数は、重みが有界なニューラルネットワークによって近似可能であることを示す。 次に、分類関数を近似した有界重みを持つニューラルネットワークの存在を証明する。
  論文  参考訳（メタデータ） (2024-09-26T16:02:13Z)
• The Implicit Bias of Minima Stability in Multivariate Shallow ReLU Networks [53.95175206863992]
  本研究では,2次損失を持つ1層多変量ReLUネットワークをトレーニングする際に,勾配勾配勾配が収束する解のタイプについて検討する。 我々は、浅いReLUネットワークが普遍近似器であるにもかかわらず、安定した浅層ネットワークは存在しないことを証明した。
  論文  参考訳（メタデータ） (2023-06-30T09:17:39Z)
• Benign Overfitting in Deep Neural Networks under Lazy Training [72.28294823115502]
  データ分布が適切に分離された場合、DNNは分類のためのベイズ最適テスト誤差を達成できることを示す。 よりスムーズな関数との補間により、より一般化できることを示す。
  論文  参考訳（メタデータ） (2023-05-30T19:37:44Z)
• Physics-Informed Neural Networks for Quantum Eigenvalue Problems [1.2891210250935146]
  固有値問題は、科学と工学のいくつかの分野において重要な問題である。 我々は、教師なしニューラルネットワークを用いて、微分固有値問題に対する固有関数と固有値を発見する。 ネットワーク最適化はデータフリーであり、ニューラルネットワークの予測にのみ依存する。
  論文  参考訳（メタデータ） (2022-02-24T18:29:39Z)
• On the Omnipresence of Spurious Local Minima in Certain Neural Network Training Problems [0.0]
  本研究では,1次元実出力を持つ深層ニューラルネットワークにおける学習課題の損失状況について検討する。 このような問題は、アフィンでないすべての対象函数に対して、刺激的(すなわち、大域的最適ではない)局所ミニマの連続体を持つことが示されている。
  論文  参考訳（メタデータ） (2022-02-23T14:41:54Z)
• Near-Minimax Optimal Estimation With Shallow ReLU Neural Networks [19.216784367141972]
  本研究では,浅層(単層)ReLUニューラルネットワークを用いた雑音データから未知の関数を推定する問題について検討する。 我々は、データ生成関数がラドン領域における二階有界変動関数の空間に属するとき、これらのニューラルネットワーク推定器の性能を定量化する。
  論文  参考訳（メタデータ） (2021-09-18T05:56:06Z)
• Towards an Understanding of Benign Overfitting in Neural Networks [104.2956323934544]
  現代の機械学習モデルは、しばしば膨大な数のパラメータを使用し、通常、トレーニング損失がゼロになるように最適化されている。 ニューラルネットワークの2層構成において、これらの良質な過適合現象がどのように起こるかを検討する。 本稿では,2層型ReLUネットワーク補間器を極小最適学習率で実現可能であることを示す。
  論文  参考訳（メタデータ） (2021-06-06T19:08:53Z)
• Achieving Small Test Error in Mildly Overparameterized Neural Networks [30.664282759625948]
  時間内にこれらの点の1つを見つけるアルゴリズムを示す。 さらに、我々は、完全に接続されたニューラルネットワークのために、データ分布に追加の仮定で、時間アルゴリズムがあることを証明します。
  論文  参考訳（メタデータ） (2021-04-24T06:47:20Z)
• Conditional physics informed neural networks [85.48030573849712]
  固有値問題のクラス解を推定するための条件付きPINN(物理情報ニューラルネットワーク)を紹介します。 一つのディープニューラルネットワークが、問題全体に対する偏微分方程式の解を学習できることが示される。
  論文  参考訳（メタデータ） (2021-04-06T18:29:14Z)
• Error Estimation and Correction from within Neural Network Differential Equation Solvers [3.04585143845864]
  本稿では,ニューラルネットワーク微分方程式解法における誤差推定と補正の戦略について述べる。 提案手法では, 真の解の事前知識を必要とせず, 損失関数と解推定に伴う誤差との明確な関係を求める。
  論文  参考訳（メタデータ） (2020-07-09T11:01:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。