論文の概要: Critical Investigation of Failure Modes in Physics-informed Neural Networks

• arxiv url: http://arxiv.org/abs/2206.09961v1
• Date: Mon, 20 Jun 2022 18:43:35 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-22 19:56:11.697249
• Title: Critical Investigation of Failure Modes in Physics-informed Neural Networks
• Title（参考訳）: 物理形ニューラルネットワークにおける故障モードの批判的研究
• Authors: Shamsulhaq Basir, Inanc Senocak
• Abstract要約: 合成定式化による物理インフォームドニューラルネットワークは、最適化が難しい非学習損失面を生成することを示す。 また,2つの楕円問題に対する2つのアプローチを,より複雑な目標解を用いて評価する。
• 参考スコア（独自算出の注目度）: 0.9137554315375919
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Several recent works in scientific machine learning have revived interest in the application of neural networks to partial differential equations (PDEs). A popular approach is to aggregate the residual form of the governing PDE and its boundary conditions as soft penalties into a composite objective/loss function for training neural networks, which is commonly referred to as physics-informed neural networks (PINNs). In the present study, we visualize the loss landscapes and distributions of learned parameters and explain the ways this particular formulation of the objective function may hinder or even prevent convergence when dealing with challenging target solutions. We construct a purely data-driven loss function composed of both the boundary loss and the domain loss. Using this data-driven loss function and, separately, a physics-informed loss function, we then train two neural network models with the same architecture. We show that incomparable scales between boundary and domain loss terms are the culprit behind the poor performance. Additionally, we assess the performance of both approaches on two elliptic problems with increasingly complex target solutions. Based on our analysis of their loss landscapes and learned parameter distributions, we observe that a physics-informed neural network with a composite objective function formulation produces highly non-convex loss surfaces that are difficult to optimize and are more prone to the problem of vanishing gradients.
• Abstract（参考訳）: 科学機械学習における最近のいくつかの研究は、ニューラルネットワークを偏微分方程式(PDE)に適用することへの関心を復活させた。 一般的なアプローチは、PDEの残余形態とその境界条件をソフトペナルティとして集約して、ニューラルネットワークを訓練するための複合目的/損失関数(一般的には物理インフォームドニューラルネットワーク(PINN)と呼ばれる)を構築することである。 本研究では,学習パラメータの損失景観と分布を可視化し,この目的関数の特定の定式化が,挑戦対象解に対処する際の収束を妨げたり防止したりする方法について説明する。 境界損失と領域損失の両方からなる純粋にデータ駆動型損失関数を構築する。 このデータ駆動損失関数と、物理インフォームド損失関数を別々に使用して、同じアーキテクチャで2つのニューラルネットワークモデルをトレーニングする。 境界項とドメイン損失項の間の比較不能なスケールが性能低下の原因であることを示す。 さらに, 複雑化が進む2つの楕円型問題に対する両手法の性能評価を行った。 それらの損失景観と学習パラメータ分布を解析した結果、複合目的関数の定式化による物理インフォームドニューラルネットワークは、最適化が困難で勾配の解消が困難である高い非凸損失曲面を生成することがわかった。

関連論文リスト

• Unraveling the Hessian: A Key to Smooth Convergence in Loss Function Landscapes [0.0]
  我々は、完全に連結されたニューラルネットワークにおける損失景観の収束を理論的に解析し、新しいオブジェクトをサンプルに追加する際の損失関数値の差について上限を導出する。 画像分類作業における損失関数面の収束を実証し,これらの結果を様々なデータセットで検証した。
  論文  参考訳（メタデータ） (2024-09-18T14:04:15Z)
• Data-Guided Physics-Informed Neural Networks for Solving Inverse Problems in Partial Differential Equations [3.231578125191615]
  物理インフォームドニューラルネットワーク(PINN)は、機械学習の大幅な進歩を示している。 PINNは偏微分方程式(PDE)における様々な前方および逆問題の解法に成功している。 本研究では、データ誘導物理インフォームドニューラルネットワーク(DG-PINN)と呼ばれる新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-07-15T15:47:24Z)
• Loss Jump During Loss Switch in Solving PDEs with Neural Networks [11.123662745891677]
  ニューラルネットワークを用いて偏微分方程式(PDE)を解くことは、科学計算コミュニティにおいて代替のアプローチとして人気を集めている。 この研究は、PDEを解決するためのニューラルネットワークのトレーニングに、異なる損失関数がどう影響するかを調査することに焦点を当てる。
  論文  参考訳（メタデータ） (2024-05-06T01:18:36Z)
• A topological description of loss surfaces based on Betti Numbers [8.539445673580252]
  多層ニューラルネットワークの場合の損失複雑性を評価するためのトポロジカル尺度を提供する。 損失関数やモデルアーキテクチャの特定のバリエーション、例えば$ell$正規化項の追加やフィードフォワードネットワークでの接続のスキップは、特定のケースにおける損失には影響しない。
  論文  参考訳（メタデータ） (2024-01-08T11:20:04Z)
• Implicit Stochastic Gradient Descent for Training Physics-informed Neural Networks [51.92362217307946]
  物理インフォームドニューラルネットワーク(PINN)は、前方および逆微分方程式問題の解法として効果的に実証されている。 PINNは、近似すべきターゲット関数が高周波またはマルチスケールの特徴を示す場合、トレーニング障害に閉じ込められる。 本稿では,暗黙的勾配降下法(ISGD)を用いてPINNを訓練し,トレーニングプロセスの安定性を向上させることを提案する。
  論文  参考訳（メタデータ） (2023-03-03T08:17:47Z)
• NeuralStagger: Accelerating Physics-constrained Neural PDE Solver with Spatial-temporal Decomposition [67.46012350241969]
  本稿では,NeuralStaggerと呼ばれる一般化手法を提案する。 元の学習タスクをいくつかの粗い解像度のサブタスクに分解する。 本稿では,2次元および3次元流体力学シミュレーションにおけるNeuralStaggerの適用例を示す。
  論文  参考訳（メタデータ） (2023-02-20T19:36:52Z)
• Physics informed neural networks for continuum micromechanics [68.8204255655161]
  近年,応用数学や工学における多種多様な問題に対して,物理情報ニューラルネットワークの適用が成功している。 グローバルな近似のため、物理情報ニューラルネットワークは、最適化によって局所的な効果と強い非線形解を表示するのに困難である。 実世界の$mu$CT-Scansから得られた不均一構造における非線形応力, 変位, エネルギー場を, 正確に解くことができる。
  論文  参考訳（メタデータ） (2021-10-14T14:05:19Z)
• Characterizing possible failure modes in physics-informed neural networks [55.83255669840384]
  科学機械学習における最近の研究は、いわゆる物理情報ニューラルネットワーク(PINN)モデルを開発した。 既存のPINN方法論は比較的自明な問題に対して優れたモデルを学ぶことができるが、単純なPDEであっても、関連する物理現象を学習するのに失敗する可能性があることを実証する。 これらの障害モードは,NNアーキテクチャの表現力の欠如によるものではなく,PINNのセットアップによって損失状況の最適化が極めて困難であることを示す。
  論文  参考訳（メタデータ） (2021-09-02T16:06:45Z)
• Topological obstructions in neural networks learning [67.8848058842671]
  損失勾配関数フローのグローバル特性について検討する。 損失関数とそのモースコンプレックスの位相データ解析を用いて,損失面の大域的特性と勾配軌道に沿った局所的挙動を関連付ける。
  論文  参考訳（メタデータ） (2020-12-31T18:53:25Z)
• Binary Neural Networks: A Survey [126.67799882857656]
  バイナリニューラルネットワークは、リソース制限されたデバイスにディープモデルをデプロイするための有望なテクニックとして機能する。 バイナライゼーションは必然的に深刻な情報損失を引き起こし、さらに悪いことに、その不連続性はディープネットワークの最適化に困難をもたらす。 本稿では,2項化を直接実施するネイティブソリューションと,量子化誤差の最小化,ネットワーク損失関数の改善,勾配誤差の低減といった手法を用いて,これらのアルゴリズムを探索する。
  論文  参考訳（メタデータ） (2020-03-31T16:47:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。