論文の概要: Physics-Informed Neural Networks: Minimizing Residual Loss with Wide Networks and Effective Activations

• arxiv url: http://arxiv.org/abs/2405.01680v2
• Date: Thu, 13 Jun 2024 00:39:43 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-14 23:06:20.319520
• Title: Physics-Informed Neural Networks: Minimizing Residual Loss with Wide Networks and Effective Activations
• Title（参考訳）: 物理インフォームドニューラルネットワーク:広帯域ネットワークによる残留損失の最小化と有効活性化
• Authors: Nima Hosseini Dashtbayaz, Ghazal Farhani, Boyu Wang, Charles X. Ling,
• Abstract要約: 特定の条件下では、広いニューラルネットワークによってPINNの残留損失を世界規模で最小化できることを示す。 良好な高次導関数を持つ活性化関数は、残留損失を最小限に抑える上で重要な役割を果たす。 確立された理論は、PINNの効果的な活性化関数の設計と選択の道を開く。
• 参考スコア（独自算出の注目度）: 5.731640425517324
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The residual loss in Physics-Informed Neural Networks (PINNs) alters the simple recursive relation of layers in a feed-forward neural network by applying a differential operator, resulting in a loss landscape that is inherently different from those of common supervised problems. Therefore, relying on the existing theory leads to unjustified design choices and suboptimal performance. In this work, we analyze the residual loss by studying its characteristics at critical points to find the conditions that result in effective training of PINNs. Specifically, we first show that under certain conditions, the residual loss of PINNs can be globally minimized by a wide neural network. Furthermore, our analysis also reveals that an activation function with well-behaved high-order derivatives plays a crucial role in minimizing the residual loss. In particular, to solve a $k$-th order PDE, the $k$-th derivative of the activation function should be bijective. The established theory paves the way for designing and choosing effective activation functions for PINNs and explains why periodic activations have shown promising performance in certain cases. Finally, we verify our findings by conducting a set of experiments on several PDEs. Our code is publicly available at https://github.com/nimahsn/pinns_tf2.
• Abstract（参考訳）: 物理情報ニューラルネットワーク(PINN)の残留損失は、差動演算子を適用することにより、フィードフォワードニューラルネットワークのレイヤの単純な再帰的関係を変化させる。 したがって、既存の理論を頼りにすれば、不適切な設計選択と準最適性能につながる。 本研究では,その特性を臨界点で調べて残余損失を分析し,PINNを効果的に訓練する条件を見出す。 具体的には、ある条件下では、PINNの残留損失は広義のニューラルネットワークによって世界規模で最小化できることを示す。 さらに, 高次導関数を持つ活性化関数が, 残留損失を最小限に抑える上で重要な役割を担っていることも明らかにした。 特に、$k$-次 PDE を解くためには、活性化関数の$k$-次微分は単射であるべきである。 確立された理論は、PINNの効果的なアクティベーション関数の設計と選択の方法を示し、なぜ周期的アクティベーションが有望な性能を示したのかを説明する。 最後に、いくつかのPDEに対して一連の実験を行うことで、この結果を検証する。 私たちのコードはhttps://github.com/nimahsn/pinns_tf2.comで公開されています。

関連論文リスト

• Benign Overfitting in Deep Neural Networks under Lazy Training [72.28294823115502]
  データ分布が適切に分離された場合、DNNは分類のためのベイズ最適テスト誤差を達成できることを示す。 よりスムーズな関数との補間により、より一般化できることを示す。
  論文  参考訳（メタデータ） (2023-05-30T19:37:44Z)
• Globally Optimal Training of Neural Networks with Threshold Activation Functions [63.03759813952481]
  しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。 ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
  論文  参考訳（メタデータ） (2023-03-06T18:59:13Z)
• Implicit Stochastic Gradient Descent for Training Physics-informed Neural Networks [51.92362217307946]
  物理インフォームドニューラルネットワーク(PINN)は、前方および逆微分方程式問題の解法として効果的に実証されている。 PINNは、近似すべきターゲット関数が高周波またはマルチスケールの特徴を示す場合、トレーニング障害に閉じ込められる。 本稿では,暗黙的勾配降下法(ISGD)を用いてPINNを訓練し,トレーニングプロセスの安定性を向上させることを提案する。
  論文  参考訳（メタデータ） (2023-03-03T08:17:47Z)
• Characteristics-Informed Neural Networks for Forward and Inverse Hyperbolic Problems [0.0]
  双曲型PDEを含む前方および逆問題に対する特徴情報ニューラルネットワーク(CINN)を提案する。 CINNは、通常のMSEデータ適合回帰損失をトレーニングした汎用ディープニューラルネットワークにおいて、PDEの特性を符号化する。 予備的な結果は、CINNがベースラインPINNの精度を改善しつつ、トレーニングの約2倍の速さで非物理的解を回避できることを示している。
  論文  参考訳（メタデータ） (2022-12-28T18:38:53Z)
• Momentum Diminishes the Effect of Spectral Bias in Physics-Informed Neural Networks [72.09574528342732]
  物理インフォームドニューラルネットワーク(PINN)アルゴリズムは、偏微分方程式(PDE)を含む幅広い問題を解く上で有望な結果を示している。 彼らはしばしば、スペクトルバイアスと呼ばれる現象のために、ターゲット関数が高周波の特徴を含むとき、望ましい解に収束しない。 本研究は, 運動量による勾配降下下で進化するPINNのトレーニングダイナミクスを, NTK(Neural Tangent kernel)を用いて研究するものである。
  論文  参考訳（メタデータ） (2022-06-29T19:03:10Z)
• Critical Investigation of Failure Modes in Physics-informed Neural Networks [0.9137554315375919]
  合成定式化による物理インフォームドニューラルネットワークは、最適化が難しい非学習損失面を生成することを示す。 また,2つの楕円問題に対する2つのアプローチを,より複雑な目標解を用いて評価する。
  論文  参考訳（メタデータ） (2022-06-20T18:43:35Z)
• Scientific Machine Learning through Physics-Informed Neural Networks: Where we are and What's next [5.956366179544257]
  physic-Informed Neural Networks (PINN) は、モデル方程式を符号化するニューラルネットワーク(NN)である。 PINNは現在ではPDE、分数方程式、積分微分方程式の解法として使われている。
  論文  参考訳（メタデータ） (2022-01-14T19:05:44Z)
• Topological obstructions in neural networks learning [67.8848058842671]
  損失勾配関数フローのグローバル特性について検討する。 損失関数とそのモースコンプレックスの位相データ解析を用いて,損失面の大域的特性と勾配軌道に沿った局所的挙動を関連付ける。
  論文  参考訳（メタデータ） (2020-12-31T18:53:25Z)
• Revisiting Initialization of Neural Networks [72.24615341588846]
  ヘッセン行列のノルムを近似し, 制御することにより, 層間における重みのグローバルな曲率を厳密に推定する。 Word2Vec と MNIST/CIFAR 画像分類タスクの実験により,Hessian ノルムの追跡が診断ツールとして有用であることが確認された。
  論文  参考訳（メタデータ） (2020-04-20T18:12:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。