論文の概要: Investigating and Mitigating Failure Modes in Physics-informed Neural Networks (PINNs)

• arxiv url: http://arxiv.org/abs/2209.09988v3
• Date: Mon, 8 May 2023 00:04:06 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-10 00:26:21.502785
• Title: Investigating and Mitigating Failure Modes in Physics-informed Neural Networks (PINNs)
• Title（参考訳）: 物理インフォームドニューラルネットワーク(PINN)における故障モードの調査と緩和
• Authors: Shamsulhaq Basir
• Abstract要約: 本稿では,物理インフォームドニューラルネットワーク(PINN)を用いた偏微分方程式(PDE)の解法について検討する。 PINNは客観的関数の正規化用語として物理を用いるが、この手法はデータの欠如や解の事前知識の欠如において実用的ではない。 以上の結果から,高次PDEは逆伝播勾配を汚染し,収束を阻害することが明らかとなった。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper explores the difficulties in solving partial differential equations (PDEs) using physics-informed neural networks (PINNs). PINNs use physics as a regularization term in the objective function. However, a drawback of this approach is the requirement for manual hyperparameter tuning, making it impractical in the absence of validation data or prior knowledge of the solution. Our investigations of the loss landscapes and backpropagated gradients in the presence of physics reveal that existing methods produce non-convex loss landscapes that are hard to navigate. Our findings demonstrate that high-order PDEs contaminate backpropagated gradients and hinder convergence. To address these challenges, we introduce a novel method that bypasses the calculation of high-order derivative operators and mitigates the contamination of backpropagated gradients. Consequently, we reduce the dimension of the search space and make learning PDEs with non-smooth solutions feasible. Our method also provides a mechanism to focus on complex regions of the domain. Besides, we present a dual unconstrained formulation based on Lagrange multiplier method to enforce equality constraints on the model's prediction, with adaptive and independent learning rates inspired by adaptive subgradient methods. We apply our approach to solve various linear and non-linear PDEs.
• Abstract（参考訳）: 本稿では,物理インフォームドニューラルネットワーク(PINN)を用いた偏微分方程式(PDE)の解法について検討する。 PINNは、目的関数の正規化用語として物理学を用いる。 しかしながら、このアプローチの欠点は、手動のハイパーパラメータチューニングの要件であり、検証データやソリューションの事前知識がない場合に実用的でない。 物理存在下での損失景観と逆伝播勾配の調査により、既存の方法では、航行が困難である非凸損失景観が生じることが明らかとなった。 以上の結果から,高次PDEは逆伝播勾配を汚染し,収束を阻害することが明らかとなった。 これらの課題に対処するために,高階微分作用素の計算をバイパスし,逆伝播勾配の汚染を緩和する新しい手法を提案する。 その結果,探索空間の次元を小さくし,非滑らかな解を用いてPDEを学習できるようにする。 また,本手法はドメインの複雑な領域に注目する機構も提供する。 さらに,ラグランジュ乗算法に基づいて,適応型および独立型の学習率を適応型サブグラディエント法にインスパイアしたモデル予測に等式制約を課す2つの非拘束型定式法を提案する。 我々は,この手法を線形および非線形pdesの解法に適用する。

関連論文リスト

• Advancing Generalization in PINNs through Latent-Space Representations [71.86401914779019]
  物理インフォームドニューラルネットワーク(PINN)は、偏微分方程式(PDE)によって支配される力学系のモデリングにおいて大きな進歩を遂げた。 本稿では,多種多様なPDE構成を効果的に一般化する物理インフォームドニューラルPDE解法PIDOを提案する。 PIDOは1次元合成方程式と2次元ナビエ・ストークス方程式を含む様々なベンチマークで検証する。
  論文  参考訳（メタデータ） (2024-11-28T13:16:20Z)
• Beyond Derivative Pathology of PINNs: Variable Splitting Strategy with Convergence Analysis [6.468495781611434]
  物理インフォームドニューラルネットワーク(PINN)は、様々な問題において偏微分方程式(PDE)を解く効果的な方法として登場した。 本研究では,PINNが前提が無効であるという根本的な問題に直面していることを証明する。 本稿では,解の勾配を補助変数としてパラメータ化することで,この問題に対処するテキスト可変分割戦略を提案する。
  論文  参考訳（メタデータ） (2024-09-30T15:20:10Z)
• Constrained or Unconstrained? Neural-Network-Based Equation Discovery from Data [0.0]
  我々はPDEをニューラルネットワークとして表現し、物理情報ニューラルネットワーク(PINN)に似た中間状態表現を用いる。 本稿では,この制約付き最適化問題を解くために,ペナルティ法と広く利用されている信頼領域障壁法を提案する。 バーガーズ方程式とコルトヴェーグ・ド・ヴライス方程式に関する我々の結果は、後者の制約付き手法がペナルティ法より優れていることを示している。
  論文  参考訳（メタデータ） (2024-05-30T01:55:44Z)
• Implicit Stochastic Gradient Descent for Training Physics-informed Neural Networks [51.92362217307946]
  物理インフォームドニューラルネットワーク(PINN)は、前方および逆微分方程式問題の解法として効果的に実証されている。 PINNは、近似すべきターゲット関数が高周波またはマルチスケールの特徴を示す場合、トレーニング障害に閉じ込められる。 本稿では,暗黙的勾配降下法(ISGD)を用いてPINNを訓練し,トレーニングプロセスの安定性を向上させることを提案する。
  論文  参考訳（メタデータ） (2023-03-03T08:17:47Z)
• Learning differentiable solvers for systems with hard constraints [48.54197776363251]
  ニューラルネットワーク(NN)によって定義される関数に対する偏微分方程式(PDE)制約を強制する実践的手法を提案する。 我々は、任意のNNアーキテクチャに組み込むことができる微分可能なPDE制約層を開発した。 その結果、NNアーキテクチャに直接ハード制約を組み込むことで、制約のない目的のトレーニングに比べてテストエラーがはるかに少ないことがわかった。
  論文  参考訳（メタデータ） (2022-07-18T15:11:43Z)
• Mitigating Learning Complexity in Physics and Equality Constrained Artificial Neural Networks [0.9137554315375919]
  偏微分方程式(PDE)の解を学ぶために物理インフォームドニューラルネットワーク(PINN)が提案されている。 PINNでは、利害関係のPDEの残留形態とその境界条件は、軟罰として複合目的関数にまとめられる。 本稿では,この目的関数を定式化する方法が,異なる種類のPDEに適用した場合のPINNアプローチにおける厳しい制約の源であることを示す。
  論文  参考訳（メタデータ） (2022-06-19T04:12:01Z)
• Learning Physics-Informed Neural Networks without Stacked Back-propagation [82.26566759276105]
  我々は,物理インフォームドニューラルネットワークのトレーニングを著しく高速化する新しい手法を開発した。 特に、ガウス滑らか化モデルによりPDE解をパラメータ化し、スタインの恒等性から導かれる2階微分がバックプロパゲーションなしで効率的に計算可能であることを示す。 実験の結果,提案手法は通常のPINN訓練に比べて2桁の精度で競合誤差を実現できることがわかった。
  論文  参考訳（メタデータ） (2022-02-18T18:07:54Z)
• Message Passing Neural PDE Solvers [60.77761603258397]
  我々は、バックプロップ最適化されたニューラル関数近似器で、グラフのアリーデザインのコンポーネントを置き換えるニューラルメッセージパッシング解決器を構築した。 本稿では, 有限差分, 有限体積, WENOスキームなどの古典的手法を表現的に含んでいることを示す。 本研究では, 異なる領域のトポロジ, 方程式パラメータ, 離散化などにおける高速, 安定, 高精度な性能を, 1次元, 2次元で検証する。
  論文  参考訳（メタデータ） (2022-02-07T17:47:46Z)
• Physics-Informed Neural Operator for Learning Partial Differential Equations [55.406540167010014]
  PINOは、演算子を学ぶために異なる解像度でデータとPDE制約を組み込んだ最初のハイブリッドアプローチである。 結果の PINO モデルは、多くの人気のある PDE ファミリの基底構造解演算子を正確に近似することができる。
  論文  参考訳（メタデータ） (2021-11-06T03:41:34Z)
• Physics and Equality Constrained Artificial Neural Networks: Application to Partial Differential Equations [1.370633147306388]
  偏微分方程式(PDE)の解を学ぶために物理インフォームドニューラルネットワーク(PINN)が提案されている。 本稿では,この目的関数の定式化方法が,PINNアプローチにおける厳密な制約の源であることを示す。 本稿では,逆問題と前方問題の両方に対処可能な多目的フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-09-30T05:55:35Z)
• Solving PDEs on Unknown Manifolds with Machine Learning [8.220217498103315]
  本稿では,未知多様体上の楕円型PDEを解くためのメッシュフリー計算フレームワークと機械学習理論を提案する。 提案したNNソルバは,新しいデータポイント上の一般化とほぼ同一の誤差を持つ新しいデータポイント上でPDEを強固に一般化できることを示す。
  論文  参考訳（メタデータ） (2021-06-12T03:55:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。