論文の概要: PINNsFormer: A Transformer-Based Framework For Physics-Informed Neural Networks

• arxiv url: http://arxiv.org/abs/2307.11833v3
• Date: Tue, 7 May 2024 14:04:16 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-08 20:23:22.736642
• Title: PINNsFormer: A Transformer-Based Framework For Physics-Informed Neural Networks
• Title（参考訳）: PINNsFormer:物理インフォームドニューラルネットワークのためのトランスフォーマーベースのフレームワーク
• Authors: Zhiyuan Zhao, Xueying Ding, B. Aditya Prakash,
• Abstract要約: 物理インフォームドニューラルネットワーク(PINN)は、偏微分方程式(PDE)の数値解を近似するための有望なディープラーニングフレームワークとして登場した。 我々は,この制限に対処するために,新しいTransformerベースのフレームワークであるPINNsFormerを紹介した。 PINNsFormerは、PINNの障害モードや高次元PDEなど、様々なシナリオにおいて優れた一般化能力と精度を実現する。
• 参考スコア（独自算出の注目度）: 22.39904196850583
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Physics-Informed Neural Networks (PINNs) have emerged as a promising deep learning framework for approximating numerical solutions to partial differential equations (PDEs). However, conventional PINNs, relying on multilayer perceptrons (MLP), neglect the crucial temporal dependencies inherent in practical physics systems and thus fail to propagate the initial condition constraints globally and accurately capture the true solutions under various scenarios. In this paper, we introduce a novel Transformer-based framework, termed PINNsFormer, designed to address this limitation. PINNsFormer can accurately approximate PDE solutions by utilizing multi-head attention mechanisms to capture temporal dependencies. PINNsFormer transforms point-wise inputs into pseudo sequences and replaces point-wise PINNs loss with a sequential loss. Additionally, it incorporates a novel activation function, Wavelet, which anticipates Fourier decomposition through deep neural networks. Empirical results demonstrate that PINNsFormer achieves superior generalization ability and accuracy across various scenarios, including PINNs failure modes and high-dimensional PDEs. Moreover, PINNsFormer offers flexibility in integrating existing learning schemes for PINNs, further enhancing its performance.
• Abstract（参考訳）: 物理インフォームドニューラルネットワーク(PINN)は、偏微分方程式(PDE)の数値解を近似するための有望なディープラーニングフレームワークとして登場した。 しかし、従来のPINNは多層パーセプトロン(MLP)に依存しており、実際的な物理系に固有の重要な時間的依存関係を無視しているため、初期条件制約をグローバルに伝播せず、様々なシナリオ下で真の解を正確に捉えることができなかった。 本稿では,この制限に対処するために,新しいトランスフォーマーベースのフレームワークであるPINNsFormerを紹介する。 PINNsFormerはマルチヘッドアテンション機構を利用してPDEソリューションを正確に近似し、時間的依存関係をキャプチャする。 PINNsFormerは、ポイントワイズ入力を擬似シーケンスに変換し、ポイントワイズPINNの損失をシーケンシャルな損失に置き換える。 さらに、深層ニューラルネットワークを通じてフーリエ分解を予想する新しいアクティベーション機能であるWaveletも組み込まれている。 実証実験の結果、PINNsFormerは、PINNの障害モードや高次元PDEなど、様々なシナリオにおいて、より優れた一般化能力と精度を実現することが示された。 さらに、PINNsFormerは、PINNの既存の学習スキームの統合の柔軟性を提供し、そのパフォーマンスをさらに向上させる。

関連論文リスト

• SetPINNs: Set-based Physics-informed Neural Networks [19.27512418720287]
  物理インフォームドニューラルネットワーク(PINN)は、ディープラーニングを用いて偏微分方程式(PDE)の解を近似する有望な方法として登場した。 数値解析の分野から有限要素法に着想を得た新しい手法であるSetPINNを提案する。 本研究では,様々な物理システムにおいて,SetPINNが優れた一般化性能と精度を示すことを示す。
  論文  参考訳（メタデータ） (2024-09-30T11:41:58Z)
• RoPINN: Region Optimized Physics-Informed Neural Networks [66.38369833561039]
  物理インフォームドニューラルネットワーク(PINN)は偏微分方程式(PDE)の解法として広く応用されている。 本稿では,地域最適化としての新たな訓練パラダイムを提案し,理論的に検討する。 実践的なトレーニングアルゴリズムであるRerea Optimized PINN(RoPINN)は、この新しいパラダイムからシームレスに派生している。
  論文  参考訳（メタデータ） (2024-05-23T09:45:57Z)
• Efficient Discrete Physics-informed Neural Networks for Addressing Evolutionary Partial Differential Equations [7.235476098729406]
  物理インフォームドニューラルネットワーク(PINN)は、ディープラーニングを用いて偏微分方程式(PDE)を解く有望な可能性を示している。 PINNの損失における時間的特徴の全てを同時に訓練するため、PINNは時間的因果性に違反する可能性がある。 本稿では,時間的因果関係を強制するために暗黙の時間差分法を用い,空間内のPINNを異なる時間フレームにおけるPDEソリューションのサロゲートとして逐次更新するために転送学習を用いることを提案する。
  論文  参考訳（メタデータ） (2023-12-22T11:09:01Z)
• A Sequential Meta-Transfer (SMT) Learning to Combat Complexities of Physics-Informed Neural Networks: Application to Composites Autoclave Processing [1.6317061277457001]
  PINNは非線形偏微分方程式の解法として人気がある。 PINNは、与えられたPDEシステムの特定の実現を近似するように設計されている。 新しいシステム構成に効率的に適応するために必要な一般化性は欠如している。
  論文  参考訳（メタデータ） (2023-08-12T02:46:54Z)
• Characteristics-Informed Neural Networks for Forward and Inverse Hyperbolic Problems [0.0]
  双曲型PDEを含む前方および逆問題に対する特徴情報ニューラルネットワーク(CINN)を提案する。 CINNは、通常のMSEデータ適合回帰損失をトレーニングした汎用ディープニューラルネットワークにおいて、PDEの特性を符号化する。 予備的な結果は、CINNがベースラインPINNの精度を改善しつつ、トレーニングの約2倍の速さで非物理的解を回避できることを示している。
  論文  参考訳（メタデータ） (2022-12-28T18:38:53Z)
• Auto-PINN: Understanding and Optimizing Physics-Informed Neural Architecture [77.59766598165551]
  物理インフォームドニューラルネットワーク(PINN)は、ディープラーニングのパワーを科学計算にもたらし、科学と工学の実践に革命をもたらしている。 本稿では,ニューラル・アーキテクチャ・サーチ(NAS)手法をPINN設計に適用したAuto-PINNを提案する。 標準PDEベンチマークを用いた包括的事前実験により、PINNの構造と性能の関係を探索することができる。
  論文  参考訳（メタデータ） (2022-05-27T03:24:31Z)
• Revisiting PINNs: Generative Adversarial Physics-informed Neural Networks and Point-weighting Method [70.19159220248805]
  物理インフォームドニューラルネットワーク(PINN)は、偏微分方程式(PDE)を数値的に解くためのディープラーニングフレームワークを提供する 本稿では,GA機構とPINNの構造を統合したGA-PINNを提案する。 本稿では,Adaboost法の重み付け戦略からヒントを得て,PINNのトレーニング効率を向上させるためのPW法を提案する。
  論文  参考訳（メタデータ） (2022-05-18T06:50:44Z)
• Improved Training of Physics-Informed Neural Networks with Model Ensembles [81.38804205212425]
  我々は、PINNを正しい解に収束させるため、解区間を徐々に拡大することを提案する。 すべてのアンサンブルのメンバーは、観測されたデータの近くで同じ解に収束する。 提案手法は, 得られた解の精度を向上させることができることを示す。
  論文  参考訳（メタデータ） (2022-04-11T14:05:34Z)
• Characterizing possible failure modes in physics-informed neural networks [55.83255669840384]
  科学機械学習における最近の研究は、いわゆる物理情報ニューラルネットワーク(PINN)モデルを開発した。 既存のPINN方法論は比較的自明な問題に対して優れたモデルを学ぶことができるが、単純なPDEであっても、関連する物理現象を学習するのに失敗する可能性があることを実証する。 これらの障害モードは,NNアーキテクチャの表現力の欠如によるものではなく,PINNのセットアップによって損失状況の最適化が極めて困難であることを示す。
  論文  参考訳（メタデータ） (2021-09-02T16:06:45Z)
• dNNsolve: an efficient NN-based PDE solver [62.997667081978825]
  ODE/PDEを解決するためにデュアルニューラルネットワークを利用するdNNsolveを紹介します。 我々は,dNNsolveが1,2,3次元の幅広いODE/PDEを解くことができることを示す。
  論文  参考訳（メタデータ） (2021-03-15T19:14:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。