論文の概要: iPINNs: Incremental learning for Physics-informed neural networks

• arxiv url: http://arxiv.org/abs/2304.04854v1
• Date: Mon, 10 Apr 2023 20:19:20 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-12 16:54:56.376222
• Title: iPINNs: Incremental learning for Physics-informed neural networks
• Title（参考訳）: IPINN:物理インフォームドニューラルネットワークのインクリメンタル学習
• Authors: Aleksandr Dekhovich, Marcel H.F. Sluiter, David M.J. Tax and Miguel A. Bessa
• Abstract要約: 物理インフォームドニューラルネットワーク(PINN)は、最近偏微分方程式(PDE)を解く強力なツールとなっている。 本稿では,新しいタスクのパラメータを追加せずに連続的に複数のタスクを学習できるインクリメンタルPINNを提案する。 提案手法は,PDEごとに個別のサブネットワークを作成し,従来のサブネットワークと重なり合うようにすることで,最も単純なPDEから複数のPDEを学習する。
• 参考スコア（独自算出の注目度）: 66.4795381419701
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Physics-informed neural networks (PINNs) have recently become a powerful tool for solving partial differential equations (PDEs). However, finding a set of neural network parameters that lead to fulfilling a PDE can be challenging and non-unique due to the complexity of the loss landscape that needs to be traversed. Although a variety of multi-task learning and transfer learning approaches have been proposed to overcome these issues, there is no incremental training procedure for PINNs that can effectively mitigate such training challenges. We propose incremental PINNs (iPINNs) that can learn multiple tasks (equations) sequentially without additional parameters for new tasks and improve performance for every equation in the sequence. Our approach learns multiple PDEs starting from the simplest one by creating its own subnetwork for each PDE and allowing each subnetwork to overlap with previously learned subnetworks. We demonstrate that previous subnetworks are a good initialization for a new equation if PDEs share similarities. We also show that iPINNs achieve lower prediction error than regular PINNs for two different scenarios: (1) learning a family of equations (e.g., 1-D convection PDE); and (2) learning PDEs resulting from a combination of processes (e.g., 1-D reaction-diffusion PDE). The ability to learn all problems with a single network together with learning more complex PDEs with better generalization than regular PINNs will open new avenues in this field.
• Abstract（参考訳）: 物理インフォームドニューラルネットワーク(PINN)は、最近偏微分方程式(PDE)を解く強力なツールとなっている。 しかしながら、PDEを実現するためのニューラルネットワークパラメータのセットを見つけることは困難であり、トラバースする必要があるロスランドスケープの複雑さのため、一般的ではない。 これらの課題を克服するために、様々なマルチタスク学習とトランスファー学習アプローチが提案されているが、これらのトレーニングを効果的に軽減できるPINNの漸進的なトレーニング手順は存在しない。 我々は,新しいタスクのパラメータを追加することなく,複数のタスク(列)を逐次的に学習できるインクリメンタルピン(ipinn)を提案する。 提案手法は,PDE毎に独自のサブネットワークを作成し,従来学習されていたサブネットワークと重なり合うようにすることで,最も単純なPDEから複数のPDEを学習する。 我々は、PDEが類似性を共有する場合、以前のサブネットワークが新しい方程式のよい初期化であることを示す。 また,iPINNは,(1)方程式群(例えば,1次元対流PDE)の学習,(2)プロセスの組み合わせによるPDEの学習(例えば,1次元の反応拡散PDE)の2つのシナリオにおいて,通常のPINNよりも予測誤差が低いことを示す。 単一のネットワークですべての問題を学習し、より複雑なPDEを通常のPINNよりも優れた一般化で学習することで、この分野に新たな道を開くことができる。

関連論文リスト

• Multi-Grade Deep Learning for Partial Differential Equations with Applications to the Burgers Equation [3.5994228506864405]
  本稿では,非線形偏微分方程式(PDE)を解くための多段階深層学習法を開発する。 ディープニューラルネットワーク(DNN)は、PDEを解く上で非常にパフォーマンスが高い。 本稿では, 1次元, 2次元, 3次元バーガース方程式にのみ焦点をあてる。
  論文  参考訳（メタデータ） (2023-09-14T03:09:58Z)
• SVD-PINNs: Transfer Learning of Physics-Informed Neural Networks via Singular Value Decomposition [24.422082821785487]
  1つのニューラルネットワークは1つの偏微分方程式に対応する。 実際には、私たちは通常、PDEのクラスを1つだけでなく1つのクラスで解決する必要があります。 本稿では,特異ベクトルの保持と特異値の最適化によるPINNの転送学習手法を提案する。
  論文  参考訳（メタデータ） (2022-11-16T08:46:10Z)
• Revisiting PINNs: Generative Adversarial Physics-informed Neural Networks and Point-weighting Method [70.19159220248805]
  物理インフォームドニューラルネットワーク(PINN)は、偏微分方程式(PDE)を数値的に解くためのディープラーニングフレームワークを提供する 本稿では,GA機構とPINNの構造を統合したGA-PINNを提案する。 本稿では,Adaboost法の重み付け戦略からヒントを得て,PINNのトレーニング効率を向上させるためのPW法を提案する。
  論文  参考訳（メタデータ） (2022-05-18T06:50:44Z)
• Improved Training of Physics-Informed Neural Networks with Model Ensembles [81.38804205212425]
  我々は、PINNを正しい解に収束させるため、解区間を徐々に拡大することを提案する。 すべてのアンサンブルのメンバーは、観測されたデータの近くで同じ解に収束する。 提案手法は, 得られた解の精度を向上させることができることを示す。
  論文  参考訳（メタデータ） (2022-04-11T14:05:34Z)
• Learning Physics-Informed Neural Networks without Stacked Back-propagation [82.26566759276105]
  我々は,物理インフォームドニューラルネットワークのトレーニングを著しく高速化する新しい手法を開発した。 特に、ガウス滑らか化モデルによりPDE解をパラメータ化し、スタインの恒等性から導かれる2階微分がバックプロパゲーションなしで効率的に計算可能であることを示す。 実験の結果,提案手法は通常のPINN訓練に比べて2桁の精度で競合誤差を実現できることがわかった。
  論文  参考訳（メタデータ） (2022-02-18T18:07:54Z)
• Characterizing possible failure modes in physics-informed neural networks [55.83255669840384]
  科学機械学習における最近の研究は、いわゆる物理情報ニューラルネットワーク(PINN)モデルを開発した。 既存のPINN方法論は比較的自明な問題に対して優れたモデルを学ぶことができるが、単純なPDEであっても、関連する物理現象を学習するのに失敗する可能性があることを実証する。 これらの障害モードは,NNアーキテクチャの表現力の欠如によるものではなく,PINNのセットアップによって損失状況の最適化が極めて困難であることを示す。
  論文  参考訳（メタデータ） (2021-09-02T16:06:45Z)
• dNNsolve: an efficient NN-based PDE solver [62.997667081978825]
  ODE/PDEを解決するためにデュアルニューラルネットワークを利用するdNNsolveを紹介します。 我々は,dNNsolveが1,2,3次元の幅広いODE/PDEを解くことができることを示す。
  論文  参考訳（メタデータ） (2021-03-15T19:14:41Z)
• On the convergence of physics informed neural networks for linear second-order elliptic and parabolic type PDEs [0.0]
  物理情報ニューラルネットワーク(PINN)は、偏微分方程式(PDE)を解くためのディープラーニングに基づく技術である 最小化器の列は$C0$でPDE解に強く収束することを示す。 私たちの知る限りでは、PINNの一貫性を示す最初の理論的研究である。
  論文  参考訳（メタデータ） (2020-04-03T22:59:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。