論文の概要: ProPINN: Demystifying Propagation Failures in Physics-Informed Neural Networks

• arxiv url: http://arxiv.org/abs/2502.00803v1
• Date: Sun, 02 Feb 2025 13:56:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-05 14:58:09.455328
• Title: ProPINN: Demystifying Propagation Failures in Physics-Informed Neural Networks
• Title（参考訳）: ProPINN:物理インフォームドニューラルネットワークにおける伝播障害の軽減
• Authors: Haixu Wu, Yuezhou Ma, Hang Zhou, Huikun Weng, Jianmin Wang, Mingsheng Long,
• Abstract要約: 物理インフォームドニューラルネットワーク(PINN)は偏微分方程式(PDE)の解法において高い期待を得た 以前の研究では、PINNの伝播不良現象が観察された。 本論文は,伝播不良とその根本原因について,初めて公式かつ詳細な研究を行ったものである。
• 参考スコア（独自算出の注目度）: 71.02216400133858
• License:
• Abstract: Physics-informed neural networks (PINNs) have earned high expectations in solving partial differential equations (PDEs), but their optimization usually faces thorny challenges due to the unique derivative-dependent loss function. By analyzing the loss distribution, previous research observed the propagation failure phenomenon of PINNs, intuitively described as the correct supervision for model outputs cannot ``propagate'' from initial states or boundaries to the interior domain. Going beyond intuitive understanding, this paper provides the first formal and in-depth study of propagation failure and its root cause. Based on a detailed comparison with classical finite element methods, we ascribe the failure to the conventional single-point-processing architecture of PINNs and further prove that propagation failure is essentially caused by the lower gradient correlation of PINN models on nearby collocation points. Compared to superficial loss maps, this new perspective provides a more precise quantitative criterion to identify where and why PINN fails. The theoretical finding also inspires us to present a new PINN architecture, named ProPINN, which can effectively unite the gradient of region points for better propagation. ProPINN can reliably resolve PINN failure modes and significantly surpass advanced Transformer-based models with 46% relative promotion.
• Abstract（参考訳）: 物理インフォームドニューラルネットワーク(PINN)は偏微分方程式(PDE)の解法において高い期待を得てきたが、その最適化は通常、一意の微分依存損失関数(英語版)のため、厄介な課題に直面している。 損失分布を解析することにより、PINNの伝播不良現象を観察し、モデル出力の正しい監督は初期状態や境界領域から内部領域まで「伝播」できないと直感的に記述した。 本論文は, 直観的理解を超えて, 伝播不良とその根本原因に関する最初の形式的, 奥深い研究を提供する。 古典的有限要素法との比較から,従来のPINNの単一点処理アーキテクチャの故障を補足し,また,近くにあるコロケーション点におけるPINNモデルの低勾配相関による伝搬不良が原因であることを証明した。 表面的な損失マップと比較して、この新しい視点はPINNが失敗した場所と理由を特定するためのより正確な定量的な基準を提供する。 この理論的な発見は、ProPINNと呼ばれる新しいPINNアーキテクチャを提示するきっかけにもなりました。 ProPINNは、PINNの障害モードを確実に解決し、46%の相対的なプロモーションを持つトランスフォーマーベースのモデルを大幅に上回ることができる。

関連論文リスト

• General-Kindred Physics-Informed Neural Network to the Solutions of Singularly Perturbed Differential Equations [11.121415128908566]
  我々は,Singular Perturbation Differential Equations(SPDE)の解法として,GKPINN(General-Kindred Physics-Informed Neural Network)を提案する。 この手法は, 境界層の事前知識を方程式から利用し, 境界層を近似するPINNを支援する新しいネットワークを確立する。 GKPINNは,確立したPINN法と比較して,2～4桁の誤差を2～4桁に削減し,大幅な性能向上を実現している。
  論文  参考訳（メタデータ） (2024-08-27T02:03:22Z)
• RoPINN: Region Optimized Physics-Informed Neural Networks [66.38369833561039]
  物理インフォームドニューラルネットワーク(PINN)は偏微分方程式(PDE)の解法として広く応用されている。 本稿では,地域最適化としての新たな訓練パラダイムを提案し,理論的に検討する。 実践的なトレーニングアルゴリズムであるRerea Optimized PINN(RoPINN)は、この新しいパラダイムからシームレスに派生している。
  論文  参考訳（メタデータ） (2024-05-23T09:45:57Z)
• PINNsFormer: A Transformer-Based Framework For Physics-Informed Neural Networks [22.39904196850583]
  物理インフォームドニューラルネットワーク(PINN)は、偏微分方程式(PDE)の数値解を近似するための有望なディープラーニングフレームワークとして登場した。 我々は,この制限に対処するために,新しいTransformerベースのフレームワークであるPINNsFormerを紹介した。 PINNsFormerは、PINNの障害モードや高次元PDEなど、様々なシナリオにおいて優れた一般化能力と精度を実現する。
  論文  参考訳（メタデータ） (2023-07-21T18:06:27Z)
• Benign Overfitting in Deep Neural Networks under Lazy Training [72.28294823115502]
  データ分布が適切に分離された場合、DNNは分類のためのベイズ最適テスト誤差を達成できることを示す。 よりスムーズな関数との補間により、より一般化できることを示す。
  論文  参考訳（メタデータ） (2023-05-30T19:37:44Z)
• Failure-informed adaptive sampling for PINNs [5.723850818203907]
  物理学インフォームドニューラルネットワーク(PINN)は、幅広い領域でPDEを解決する効果的な手法として登場した。 しかし、最近の研究では、異なるサンプリング手順でPINNの性能が劇的に変化することが示されている。 本稿では,信頼度分析の視点から,故障インフォームドPINNという適応的手法を提案する。
  論文  参考訳（メタデータ） (2022-10-01T13:34:41Z)
• Auto-PINN: Understanding and Optimizing Physics-Informed Neural Architecture [77.59766598165551]
  物理インフォームドニューラルネットワーク(PINN)は、ディープラーニングのパワーを科学計算にもたらし、科学と工学の実践に革命をもたらしている。 本稿では,ニューラル・アーキテクチャ・サーチ(NAS)手法をPINN設計に適用したAuto-PINNを提案する。 標準PDEベンチマークを用いた包括的事前実験により、PINNの構造と性能の関係を探索することができる。
  論文  参考訳（メタデータ） (2022-05-27T03:24:31Z)
• Learning Physics-Informed Neural Networks without Stacked Back-propagation [82.26566759276105]
  我々は,物理インフォームドニューラルネットワークのトレーニングを著しく高速化する新しい手法を開発した。 特に、ガウス滑らか化モデルによりPDE解をパラメータ化し、スタインの恒等性から導かれる2階微分がバックプロパゲーションなしで効率的に計算可能であることを示す。 実験の結果,提案手法は通常のPINN訓練に比べて2桁の精度で競合誤差を実現できることがわかった。
  論文  参考訳（メタデータ） (2022-02-18T18:07:54Z)
• PSO-PINN: Physics-Informed Neural Networks Trained with Particle Swarm Optimization [0.0]
  そこで本研究では,ハイブリッド粒子群最適化と勾配降下法を用いてPINNを訓練する手法を提案する。 PSO-PINNアルゴリズムは、標準勾配降下法で訓練されたPINNの望ましくない挙動を緩和する。 実験の結果, PSO-PINNはアダム勾配降下法でトレーニングしたベースラインPINNよりも一貫して優れていた。
  論文  参考訳（メタデータ） (2022-02-04T02:21:31Z)
• Robust Learning of Physics Informed Neural Networks [2.86989372262348]
  物理インフォームドニューラルネットワーク(PINN)は偏微分方程式の解法に有効であることが示されている。 本稿では、PINNがトレーニングデータのエラーに敏感であり、これらのエラーをPDEの解領域上で動的に伝播させるのに過度に適合していることを示す。
  論文  参考訳（メタデータ） (2021-10-26T00:10:57Z)
• A Theoretical Framework for Target Propagation [75.52598682467817]
  我々は、バックプロパゲーション(BP)の代替として人気があるが、まだ完全には理解されていないターゲット伝搬(TP)を解析する。 提案理論は,TPがガウス・ニュートン最適化と密接に関係していることを示し,BPとは大きく異なる。 我々は,フィードバックウェイトトレーニングを改善する新しいリコンストラクション損失を通じて,この問題に対する第1の解決策を提供する。
  論文  参考訳（メタデータ） (2020-06-25T12:07:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。