論文の概要: Understanding and Mitigating Extrapolation Failures in Physics-Informed
Neural Networks
- arxiv url: http://arxiv.org/abs/2306.09478v1
- Date: Thu, 15 Jun 2023 20:08:42 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-19 15:57:43.269665
- Title: Understanding and Mitigating Extrapolation Failures in Physics-Informed
Neural Networks
- Title(参考訳): 物理インフォームドニューラルネットワークにおける外挿故障の理解と緩和
- Authors: Lukas Fesser, Richard Qiu, Luca D'Amico-Wong
- Abstract要約: 物理インフォームドニューラルネットワーク(PINN)は、ディープニューラルネットワークを用いた偏微分方程式(PDE)の効果的な近似により、最近科学界で人気を集めている。
本稿では,PINNの外挿行動に関する詳細な調査を行い,これまで想定されていたいくつかの仮定に対する証拠を提供する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Physics-informed Neural Networks (PINNs) have recently gained popularity in
the scientific community due to their effective approximation of partial
differential equations (PDEs) using deep neural networks. However, their
application has been generally limited to interpolation scenarios, where
predictions rely on inputs within the support of the training set. In
real-world applications, extrapolation is often required, but the out of domain
behavior of PINNs is understudied. In this paper, we provide a detailed
investigation of PINNs' extrapolation behavior and provide evidence against
several previously held assumptions: we study the effects of different model
choices on extrapolation and find that once the model can achieve zero
interpolation error, further increases in architecture size or in the number of
points sampled have no effect on extrapolation behavior. We also show that for
some PDEs, PINNs perform nearly as well in extrapolation as in interpolation.
By analyzing the Fourier spectra of the solution functions, we characterize the
PDEs that yield favorable extrapolation behavior, and show that the presence of
high frequencies in the solution function is not to blame for poor
extrapolation behavior. Finally, we propose a transfer learning-based strategy
based on our Fourier results, which decreases extrapolation errors in PINNs by
up to $82 \%$.
- Abstract(参考訳): 物理インフォームドニューラルネットワーク(PINN)は、ディープニューラルネットワークを用いた偏微分方程式(PDE)の効果的な近似により、最近科学界で人気を集めている。
しかし、それらのアプリケーションは一般に補間シナリオに限られており、予測はトレーニングセットのサポート内で入力に依存する。
実世界のアプリケーションでは、外挿がしばしば必要となるが、ピンのドメイン外振舞いは未検討である。
本稿では,ピンズ外挿行動の詳細な調査を行い,先行するいくつかの仮定に対する証拠を提供する。我々は,異なるモデル選択が外挿行動に与える影響について検討し,モデルがゼロ間挿誤差を達成できれば,アーキテクチャサイズやサンプリングされた点数の増加は外挿行動に何の影響も及ぼさないことを見出した。
また、一部のPDEでは、PINNは補間と補間とほぼ同等に機能することを示す。
解関数のフーリエスペクトルを解析することにより、良好な外挿行動をもたらすpdesを特徴付け、解関数の高周波数の存在が外挿行動の悪さの原因ではないことを示す。
最後に,Fourier結果に基づく移動学習型戦略を提案し,PINNにおける外挿誤差を最大8.2 %$に削減する。
関連論文リスト
- Parametric Encoding with Attention and Convolution Mitigate Spectral Bias of Neural Partial Differential Equation Solvers [0.0]
PGCAN(Parametric Grid Convolutional Attention Networks)は偏微分方程式(PDE)の解法である。
PGCANは、DNNデコーダを介して出力に接続されたグリッドベースのエンコーダで入力空間をパラメータ化する。
我々のエンコーダは、局所的な学習能力を提供し、畳み込みレイヤを使用して、境界からドメインの内部への情報の伝播速度を過度に調整し改善する。
論文 参考訳(メタデータ) (2024-03-22T23:56:40Z) - Deep Neural Networks Tend To Extrapolate Predictably [51.303814412294514]
ニューラルネットワークの予測は、アウト・オブ・ディストリビューション(OOD)入力に直面した場合、予測不可能で過信される傾向がある。
我々は、入力データがOODになるにつれて、ニューラルネットワークの予測が一定値に向かう傾向があることを観察する。
我々は、OOD入力の存在下でリスクに敏感な意思決定を可能にするために、私たちの洞察を実際に活用する方法を示します。
論文 参考訳(メタデータ) (2023-10-02T03:25:32Z) - PINNsFormer: A Transformer-Based Framework For Physics-Informed Neural Networks [22.39904196850583]
物理インフォームドニューラルネットワーク(PINN)は、偏微分方程式(PDE)の数値解を近似するための有望なディープラーニングフレームワークとして登場した。
我々は,この制限に対処するために,新しいTransformerベースのフレームワークであるPINNsFormerを紹介した。
PINNsFormerは、PINNの障害モードや高次元PDEなど、様々なシナリオにおいて優れた一般化能力と精度を実現する。
論文 参考訳(メタデータ) (2023-07-21T18:06:27Z) - Implicit Stochastic Gradient Descent for Training Physics-informed
Neural Networks [51.92362217307946]
物理インフォームドニューラルネットワーク(PINN)は、前方および逆微分方程式問題の解法として効果的に実証されている。
PINNは、近似すべきターゲット関数が高周波またはマルチスケールの特徴を示す場合、トレーニング障害に閉じ込められる。
本稿では,暗黙的勾配降下法(ISGD)を用いてPINNを訓練し,トレーニングプロセスの安定性を向上させることを提案する。
論文 参考訳(メタデータ) (2023-03-03T08:17:47Z) - Incremental Spatial and Spectral Learning of Neural Operators for
Solving Large-Scale PDEs [86.35471039808023]
Incrmental Fourier Neural Operator (iFNO)を導入し、モデルが使用する周波数モードの数を徐々に増加させる。
iFNOは、各種データセット間の一般化性能を維持したり改善したりしながら、トレーニング時間を短縮する。
提案手法は,既存のフーリエニューラル演算子に比べて20%少ない周波数モードを用いて,10%低いテスト誤差を示すとともに,30%高速なトレーニングを実現する。
論文 参考訳(メタデータ) (2022-11-28T09:57:15Z) - Replacing Automatic Differentiation by Sobolev Cubatures fastens Physics
Informed Neural Nets and strengthens their Approximation Power [0.6091702876917279]
本稿では,物理インフォームド・ニューラルネット(PINN)のトレーニングに適用可能な,変分損失の新たな近似クラスを提案する。
損失計算は、自動微分(A.D.)を置き換えるソボレフキュウチャー(Sobolev cubatures)と呼ばれるガウス=ルジャンドルキュウチャーの拡張に依存する。
論文 参考訳(メタデータ) (2022-11-23T11:23:08Z) - Momentum Diminishes the Effect of Spectral Bias in Physics-Informed
Neural Networks [72.09574528342732]
物理インフォームドニューラルネットワーク(PINN)アルゴリズムは、偏微分方程式(PDE)を含む幅広い問題を解く上で有望な結果を示している。
彼らはしばしば、スペクトルバイアスと呼ばれる現象のために、ターゲット関数が高周波の特徴を含むとき、望ましい解に収束しない。
本研究は, 運動量による勾配降下下で進化するPINNのトレーニングダイナミクスを, NTK(Neural Tangent kernel)を用いて研究するものである。
論文 参考訳(メタデータ) (2022-06-29T19:03:10Z) - Physical Activation Functions (PAFs): An Approach for More Efficient
Induction of Physics into Physics-Informed Neural Networks (PINNs) [0.0]
物理アクティベーション関数(PAF)は、より複雑さが小さく、より長い範囲の予測に対してより妥当性の高い物理インフォームドニューラルネットワーク(PINN)を生成するのに役立つ。
PAFは、PDEシステムの初期条件や境界条件のような調査現象に関連する数学的公式にインスピレーションを与えることができる。
PAFの使用は、より複雑なPINNを生成するのに役立ち、より長い範囲の予測に対してより有効である、と結論付けている。
論文 参考訳(メタデータ) (2022-05-29T11:26:46Z) - Revisiting PINNs: Generative Adversarial Physics-informed Neural
Networks and Point-weighting Method [70.19159220248805]
物理インフォームドニューラルネットワーク(PINN)は、偏微分方程式(PDE)を数値的に解くためのディープラーニングフレームワークを提供する
本稿では,GA機構とPINNの構造を統合したGA-PINNを提案する。
本稿では,Adaboost法の重み付け戦略からヒントを得て,PINNのトレーニング効率を向上させるためのPW法を提案する。
論文 参考訳(メタデータ) (2022-05-18T06:50:44Z) - Beyond Dropout: Feature Map Distortion to Regularize Deep Neural
Networks [107.77595511218429]
本稿では,ディープニューラルネットワークの中間層に関連する実験的なRademacher複雑性について検討する。
上記の問題に対処するための特徴歪み法(Disout)を提案する。
より高い試験性能を有するディープニューラルネットワークを作製するための特徴写像歪みの優位性を解析し、実証した。
論文 参考訳(メタデータ) (2020-02-23T13:59:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。