論文の概要: PINNsFormer: A Transformer-Based Framework For Physics-Informed Neural Networks

• arxiv url: http://arxiv.org/abs/2307.11833v1
• Date: Fri, 21 Jul 2023 18:06:27 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-25 19:27:31.272443
• Title: PINNsFormer: A Transformer-Based Framework For Physics-Informed Neural Networks
• Title（参考訳）: PINNsFormer:物理インフォームドニューラルネットワークのためのトランスフォーマーベースのフレームワーク
• Authors: Leo Zhiyuan Zhao, Xueying Ding, B. Aditya Prakash
• Abstract要約: 物理インフォームドニューラルネットワーク(PINN)は、偏微分方程式(PDE)の数値解を近似するための有望なディープラーニングフレームワークとして登場した。 本稿では,PDE の解を正確に近似する Transformer ベースの新しいフレームワーク PINNsFormer を提案する。 PINNsFormerは、入力ベクトルを擬似シーケンスに適応し、ポイントワイズPINNの損失をシーケンシャルPINNの損失に適応させる。
• 参考スコア（独自算出の注目度）: 6.059203654569413
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Physics-Informed Neural Networks (PINNs) have emerged as a promising deep learning framework for approximating numerical solutions for partial differential equations (PDEs). While conventional PINNs and most related studies adopt fully-connected multilayer perceptrons (MLP) as the backbone structure, they have neglected the temporal relations in PDEs and failed to approximate the true solution. In this paper, we propose a novel Transformer-based framework, namely PINNsFormer, that accurately approximates PDEs' solutions by capturing the temporal dependencies with multi-head attention mechanisms in Transformer-based models. Instead of approximating point predictions, PINNsFormer adapts input vectors to pseudo sequences and point-wise PINNs loss to a sequential PINNs loss. In addition, PINNsFormer is equipped with a novel activation function, namely Wavelet, which anticipates the Fourier decomposition through deep neural networks. We empirically demonstrate PINNsFormer's ability to capture the PDE solutions for various scenarios, in which conventional PINNs have failed to learn. We also show that PINNsFormer achieves superior approximation accuracy on such problems than conventional PINNs with non-sensitive hyperparameters, in trade of marginal computational and memory costs, with extensive experiments.
• Abstract（参考訳）: 物理インフォームドニューラルネットワーク(PINN)は、偏微分方程式(PDE)の数値解を近似するための有望なディープラーニングフレームワークとして登場した。 従来のPINNおよびほとんどの研究は、バックボーン構造として完全連結多層パーセプトロン(MLP)を採用しているが、彼らはPDEの時間的関係を無視し、真の解を近似しなかった。 本稿では,多頭部注意機構を用いたトランスフォーマモデルにおいて,pdesの解を高精度に近似する新しいトランスフォーマフレームワークであるpinnsformerを提案する。 PINNsFormerは、点予測を近似する代わりに、入力ベクトルを擬似シーケンスに適応し、ポイントワイズPINNの損失を逐次PINNの損失に適応させる。 さらに、PINNsFormerは、ディープニューラルネットワークを介してフーリエ分解を予測する、新しいアクティベーション機能であるWaveletを備えている。 従来の PINN が学習に失敗した様々なシナリオで PDE ソリューションをキャプチャする PINNsFormer の能力を実証的に示す。 また, PINNsFormerは, 差分計算とメモリコストのトレードオフにより, 従来の非感度ハイパーパラメータのPINNよりも高い近似精度を実現し, 広範囲な実験を行った。

関連論文リスト

• SetPINNs: Set-based Physics-informed Neural Networks [19.27512418720287]
  物理インフォームドニューラルネットワーク(PINN)は、ディープラーニングを用いて偏微分方程式(PDE)の解を近似する有望な方法として登場した。 数値解析の分野から有限要素法に着想を得た新しい手法であるSetPINNを提案する。 本研究では,様々な物理システムにおいて,SetPINNが優れた一般化性能と精度を示すことを示す。
  論文  参考訳（メタデータ） (2024-09-30T11:41:58Z)
• RoPINN: Region Optimized Physics-Informed Neural Networks [66.38369833561039]
  物理インフォームドニューラルネットワーク(PINN)は偏微分方程式(PDE)の解法として広く応用されている。 本稿では,地域最適化としての新たな訓練パラダイムを提案し,理論的に検討する。 実践的なトレーニングアルゴリズムであるRerea Optimized PINN(RoPINN)は、この新しいパラダイムからシームレスに派生している。
  論文  参考訳（メタデータ） (2024-05-23T09:45:57Z)
• Efficient Discrete Physics-informed Neural Networks for Addressing Evolutionary Partial Differential Equations [7.235476098729406]
  物理インフォームドニューラルネットワーク(PINN)は、ディープラーニングを用いて偏微分方程式(PDE)を解く有望な可能性を示している。 PINNの損失における時間的特徴の全てを同時に訓練するため、PINNは時間的因果性に違反する可能性がある。 本稿では,時間的因果関係を強制するために暗黙の時間差分法を用い,空間内のPINNを異なる時間フレームにおけるPDEソリューションのサロゲートとして逐次更新するために転送学習を用いることを提案する。
  論文  参考訳（メタデータ） (2023-12-22T11:09:01Z)
• A Sequential Meta-Transfer (SMT) Learning to Combat Complexities of Physics-Informed Neural Networks: Application to Composites Autoclave Processing [1.6317061277457001]
  PINNは非線形偏微分方程式の解法として人気がある。 PINNは、与えられたPDEシステムの特定の実現を近似するように設計されている。 新しいシステム構成に効率的に適応するために必要な一般化性は欠如している。
  論文  参考訳（メタデータ） (2023-08-12T02:46:54Z)
• Characteristics-Informed Neural Networks for Forward and Inverse Hyperbolic Problems [0.0]
  双曲型PDEを含む前方および逆問題に対する特徴情報ニューラルネットワーク(CINN)を提案する。 CINNは、通常のMSEデータ適合回帰損失をトレーニングした汎用ディープニューラルネットワークにおいて、PDEの特性を符号化する。 予備的な結果は、CINNがベースラインPINNの精度を改善しつつ、トレーニングの約2倍の速さで非物理的解を回避できることを示している。
  論文  参考訳（メタデータ） (2022-12-28T18:38:53Z)
• Auto-PINN: Understanding and Optimizing Physics-Informed Neural Architecture [77.59766598165551]
  物理インフォームドニューラルネットワーク(PINN)は、ディープラーニングのパワーを科学計算にもたらし、科学と工学の実践に革命をもたらしている。 本稿では,ニューラル・アーキテクチャ・サーチ(NAS)手法をPINN設計に適用したAuto-PINNを提案する。 標準PDEベンチマークを用いた包括的事前実験により、PINNの構造と性能の関係を探索することができる。
  論文  参考訳（メタデータ） (2022-05-27T03:24:31Z)
• Revisiting PINNs: Generative Adversarial Physics-informed Neural Networks and Point-weighting Method [70.19159220248805]
  物理インフォームドニューラルネットワーク(PINN)は、偏微分方程式(PDE)を数値的に解くためのディープラーニングフレームワークを提供する 本稿では,GA機構とPINNの構造を統合したGA-PINNを提案する。 本稿では,Adaboost法の重み付け戦略からヒントを得て,PINNのトレーニング効率を向上させるためのPW法を提案する。
  論文  参考訳（メタデータ） (2022-05-18T06:50:44Z)
• Improved Training of Physics-Informed Neural Networks with Model Ensembles [81.38804205212425]
  我々は、PINNを正しい解に収束させるため、解区間を徐々に拡大することを提案する。 すべてのアンサンブルのメンバーは、観測されたデータの近くで同じ解に収束する。 提案手法は, 得られた解の精度を向上させることができることを示す。
  論文  参考訳（メタデータ） (2022-04-11T14:05:34Z)
• Characterizing possible failure modes in physics-informed neural networks [55.83255669840384]
  科学機械学習における最近の研究は、いわゆる物理情報ニューラルネットワーク(PINN)モデルを開発した。 既存のPINN方法論は比較的自明な問題に対して優れたモデルを学ぶことができるが、単純なPDEであっても、関連する物理現象を学習するのに失敗する可能性があることを実証する。 これらの障害モードは,NNアーキテクチャの表現力の欠如によるものではなく,PINNのセットアップによって損失状況の最適化が極めて困難であることを示す。
  論文  参考訳（メタデータ） (2021-09-02T16:06:45Z)
• dNNsolve: an efficient NN-based PDE solver [62.997667081978825]
  ODE/PDEを解決するためにデュアルニューラルネットワークを利用するdNNsolveを紹介します。 我々は,dNNsolveが1,2,3次元の幅広いODE/PDEを解くことができることを示す。
  論文  参考訳（メタデータ） (2021-03-15T19:14:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。