論文の概要: Understanding and Mitigating Extrapolation Failures in Physics-Informed Neural Networks

• arxiv url: http://arxiv.org/abs/2306.09478v2
• Date: Sun, 26 Nov 2023 20:01:28 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-30 15:46:00.800335
• Title: Understanding and Mitigating Extrapolation Failures in Physics-Informed Neural Networks
• Title（参考訳）: 物理インフォームドニューラルネットワークにおける外挿故障の理解と緩和
• Authors: Lukas Fesser, Luca D'Amico-Wong, Richard Qiu
• Abstract要約: 異なるタイプのPDEの代表的な集合上でのPINNの補間挙動について検討する。 その結果,外挿障害は解関数の高周波数によるものではなく,フーリエスペクトルの時間的支持の変化によるものであることがわかった。
• 参考スコア（独自算出の注目度）: 1.1510009152620668
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Physics-informed Neural Networks (PINNs) have recently gained popularity due to their effective approximation of partial differential equations (PDEs) using deep neural networks (DNNs). However, their out of domain behavior is not well understood, with previous work speculating that the presence of high frequency components in the solution function might be to blame for poor extrapolation performance. In this paper, we study the extrapolation behavior of PINNs on a representative set of PDEs of different types, including high-dimensional PDEs. We find that failure to extrapolate is not caused by high frequencies in the solution function, but rather by shifts in the support of the Fourier spectrum over time. We term these spectral shifts and quantify them by introducing a Weighted Wasserstein-Fourier distance (WWF). We show that the WWF can be used to predict PINN extrapolation performance, and that in the absence of significant spectral shifts, PINN predictions stay close to the true solution even in extrapolation. Finally, we propose a transfer learning-based strategy to mitigate the effects of larger spectral shifts, which decreases extrapolation errors by up to 82%.
• Abstract（参考訳）: 物理インフォームドニューラルネットワーク(PINN)は、ディープニューラルネットワーク(DNN)を用いた偏微分方程式(PDE)の効率的な近似によって最近人気を博している。 しかし、それらのドメイン外振舞いはよく理解されておらず、以前の研究では、解関数に高周波成分が存在することが外挿性能の悪い原因になるかもしれないと推測されている。 本稿では,高次元pdesを含む異なる種類のpdesの代表的な集合に対するピンの補間挙動について検討する。 その結果,外挿障害は解関数の高周波数によるものではなく,フーリエスペクトルの時間的支持の変化によるものであることがわかった。 本稿では、これらのスペクトルシフトを、WWF(Weighted Wasserstein-Fourier distance)を導入して定量化する。 WWFは、PINN外挿性能の予測に利用でき、重要なスペクトルシフトがない場合には、PINN外挿性能においても真の解に近づいたままであることを示す。 最後に,より大きなスペクトルシフトの影響を緩和し,補間誤差を最大82%低減するトランスファー学習に基づく戦略を提案する。

関連論文リスト

• Physics-embedded Fourier Neural Network for Partial Differential Equations [35.41134465442465]
  物理埋め込みフーリエニューラルネット(PeFNN)を柔軟かつ説明可能な誤差で導入する。 PeFNNは運動量保存を強制し、解釈可能な非線形表現を得るように設計されている。 我々は,大規模な洪水シミュレーションのような実世界のアプリケーションに挑戦する上で,その優れた性能を実証する。
  論文  参考訳（メタデータ） (2024-07-15T18:30:39Z)
• RoPINN: Region Optimized Physics-Informed Neural Networks [66.38369833561039]
  物理インフォームドニューラルネットワーク(PINN)は偏微分方程式(PDE)の解法として広く応用されている。 本稿では,地域最適化としての新たな訓練パラダイムを提案し,理論的に検討する。 実践的なトレーニングアルゴリズムであるRerea Optimized PINN(RoPINN)は、この新しいパラダイムからシームレスに派生している。
  論文  参考訳（メタデータ） (2024-05-23T09:45:57Z)
• Parametric Encoding with Attention and Convolution Mitigate Spectral Bias of Neural Partial Differential Equation Solvers [0.0]
  PGCAN(Parametric Grid Convolutional Attention Networks)は偏微分方程式(PDE)の解法である。 PGCANは、DNNデコーダを介して出力に接続されたグリッドベースのエンコーダで入力空間をパラメータ化する。 我々のエンコーダは、局所的な学習能力を提供し、畳み込みレイヤを使用して、境界からドメインの内部への情報の伝播速度を過度に調整し改善する。
  論文  参考訳（メタデータ） (2024-03-22T23:56:40Z)
• Deep Neural Networks Tend To Extrapolate Predictably [51.303814412294514]
  ニューラルネットワークの予測は、アウト・オブ・ディストリビューション(OOD)入力に直面した場合、予測不可能で過信される傾向がある。 我々は、入力データがOODになるにつれて、ニューラルネットワークの予測が一定値に向かう傾向があることを観察する。 我々は、OOD入力の存在下でリスクに敏感な意思決定を可能にするために、私たちの洞察を実際に活用する方法を示します。
  論文  参考訳（メタデータ） (2023-10-02T03:25:32Z)
• PINNsFormer: A Transformer-Based Framework For Physics-Informed Neural Networks [22.39904196850583]
  物理インフォームドニューラルネットワーク(PINN)は、偏微分方程式(PDE)の数値解を近似するための有望なディープラーニングフレームワークとして登場した。 我々は,この制限に対処するために,新しいTransformerベースのフレームワークであるPINNsFormerを紹介した。 PINNsFormerは、PINNの障害モードや高次元PDEなど、様々なシナリオにおいて優れた一般化能力と精度を実現する。
  論文  参考訳（メタデータ） (2023-07-21T18:06:27Z)
• Implicit Stochastic Gradient Descent for Training Physics-informed Neural Networks [51.92362217307946]
  物理インフォームドニューラルネットワーク(PINN)は、前方および逆微分方程式問題の解法として効果的に実証されている。 PINNは、近似すべきターゲット関数が高周波またはマルチスケールの特徴を示す場合、トレーニング障害に閉じ込められる。 本稿では,暗黙的勾配降下法(ISGD)を用いてPINNを訓練し,トレーニングプロセスの安定性を向上させることを提案する。
  論文  参考訳（メタデータ） (2023-03-03T08:17:47Z)
• Incremental Spatial and Spectral Learning of Neural Operators for Solving Large-Scale PDEs [86.35471039808023]
  Incrmental Fourier Neural Operator (iFNO)を導入し、モデルが使用する周波数モードの数を徐々に増加させる。 iFNOは、各種データセット間の一般化性能を維持したり改善したりしながら、トレーニング時間を短縮する。 提案手法は,既存のフーリエニューラル演算子に比べて20%少ない周波数モードを用いて,10%低いテスト誤差を示すとともに,30%高速なトレーニングを実現する。
  論文  参考訳（メタデータ） (2022-11-28T09:57:15Z)
• Momentum Diminishes the Effect of Spectral Bias in Physics-Informed Neural Networks [72.09574528342732]
  物理インフォームドニューラルネットワーク(PINN)アルゴリズムは、偏微分方程式(PDE)を含む幅広い問題を解く上で有望な結果を示している。 彼らはしばしば、スペクトルバイアスと呼ばれる現象のために、ターゲット関数が高周波の特徴を含むとき、望ましい解に収束しない。 本研究は, 運動量による勾配降下下で進化するPINNのトレーニングダイナミクスを, NTK(Neural Tangent kernel)を用いて研究するものである。
  論文  参考訳（メタデータ） (2022-06-29T19:03:10Z)
• Physical Activation Functions (PAFs): An Approach for More Efficient Induction of Physics into Physics-Informed Neural Networks (PINNs) [0.0]
  物理アクティベーション関数(PAF)は、より複雑さが小さく、より長い範囲の予測に対してより妥当性の高い物理インフォームドニューラルネットワーク(PINN)を生成するのに役立つ。 PAFは、PDEシステムの初期条件や境界条件のような調査現象に関連する数学的公式にインスピレーションを与えることができる。 PAFの使用は、より複雑なPINNを生成するのに役立ち、より長い範囲の予測に対してより有効である、と結論付けている。
  論文  参考訳（メタデータ） (2022-05-29T11:26:46Z)
• Revisiting PINNs: Generative Adversarial Physics-informed Neural Networks and Point-weighting Method [70.19159220248805]
  物理インフォームドニューラルネットワーク(PINN)は、偏微分方程式(PDE)を数値的に解くためのディープラーニングフレームワークを提供する 本稿では,GA機構とPINNの構造を統合したGA-PINNを提案する。 本稿では,Adaboost法の重み付け戦略からヒントを得て,PINNのトレーニング効率を向上させるためのPW法を提案する。
  論文  参考訳（メタデータ） (2022-05-18T06:50:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。