論文の概要: When Do Extended Physics-Informed Neural Networks (XPINNs) Improve Generalization?

• arxiv url: http://arxiv.org/abs/2109.09444v1
• Date: Mon, 20 Sep 2021 12:03:12 GMT
• ステータス: 処理完了
• システム内更新日: 2021-09-22 00:11:46.232467
• Title: When Do Extended Physics-Informed Neural Networks (XPINNs) Improve Generalization?
• Title（参考訳）: 拡張物理形ニューラルネットワーク(xpinns)は一般化をいつ改善するのか?
• Authors: Zheyuan Hu, Ameya D. Jagtap, George Em Karniadakis, Kenji Kawaguchi
• Abstract要約: 物理インフォームドニューラルネットワーク(PINN)は高次元偏微分方程式(PDE)の解法として人気がある。 そこで本研究では,XPINNがPINNより優れていることの理解に向けて,最初の一歩を踏み出した。
• 参考スコア（独自算出の注目度）: 5.649009931836113
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Physics-informed neural networks (PINNs) have become a popular choice for solving high-dimensional partial differential equations (PDEs) due to their excellent approximation power and generalization ability. Recently, Extended PINNs (XPINNs) based on domain decomposition methods have attracted considerable attention due to their effectiveness in modeling multiscale and multiphysics problems and their parallelization. However, theoretical understanding on their convergence and generalization properties remains unexplored. In this study, we take an initial step towards understanding how and when XPINNs outperform PINNs. Specifically, for general multi-layer PINNs and XPINNs, we first provide a prior generalization bound via the complexity of the target functions in the PDE problem, and a posterior generalization bound via the posterior matrix norms of the networks after optimization. Moreover, based on our bounds, we analyze the conditions under which XPINNs improve generalization. Concretely, our theory shows that the key building block of XPINN, namely the domain decomposition, introduces a tradeoff for generalization. On the one hand, XPINNs decompose the complex PDE solution into several simple parts, which decreases the complexity needed to learn each part and boosts generalization. On the other hand, decomposition leads to less training data being available in each subdomain, and hence such model is typically prone to overfitting and may become less generalizable. Empirically, we choose five PDEs to show when XPINNs perform better than, similar to, or worse than PINNs, hence demonstrating and justifying our new theory.
• Abstract（参考訳）: 高次元偏微分方程式 (high-dimensional partial differential equation, pdes) の解法として、物理学に変形したニューラルネットワーク (pinns) が一般的である。 近年,領域分解法に基づく拡張PINN (XPINNs) が注目されている。 しかし、それらの収束と一般化性に関する理論的理解は未定である。 そこで本研究では,XPINNがPINNより優れていることの理解に向けて,最初の一歩を踏み出した。 具体的には, pde問題における対象関数の複雑性を通じて束縛された事前一般化と, 最適化後のネットワークの後方行列ノルムを介して束縛された後方一般化を提案する。 さらに,この境界に基づいて,XPINNが一般化を改善する条件を解析する。 具体的には、XPINNの鍵となる構成ブロック、すなわち領域分解が一般化のトレードオフをもたらすことを示す。 一方、XPINNは複素PDE解をいくつかの単純な部分に分解し、各部分の学習に必要な複雑さを減らし、一般化を促進する。 一方、分解は各サブドメインで利用可能なトレーニングデータを減らすことにつながるため、そのようなモデルは一般的に過度に適合する傾向があり、一般化しにくくなる。 実証的に、5つのPDEを選択して、XPINNsがPINNsとよく似ているか悪いかを示し、その結果、新しい理論を実証し正当化する。

関連論文リスト

• General-Kindred Physics-Informed Neural Network to the Solutions of Singularly Perturbed Differential Equations [11.121415128908566]
  我々は,Singular Perturbation Differential Equations(SPDE)の解法として,GKPINN(General-Kindred Physics-Informed Neural Network)を提案する。 この手法は, 境界層の事前知識を方程式から利用し, 境界層を近似するPINNを支援する新しいネットワークを確立する。 GKPINNは,確立したPINN法と比較して,2～4桁の誤差を2～4桁に削減し,大幅な性能向上を実現している。
  論文  参考訳（メタデータ） (2024-08-27T02:03:22Z)
• RoPINN: Region Optimized Physics-Informed Neural Networks [66.38369833561039]
  物理インフォームドニューラルネットワーク(PINN)は偏微分方程式(PDE)の解法として広く応用されている。 本稿では,地域最適化としての新たな訓練パラダイムを提案し,理論的に検討する。 実践的なトレーニングアルゴリズムであるRerea Optimized PINN(RoPINN)は、この新しいパラダイムからシームレスに派生している。
  論文  参考訳（メタデータ） (2024-05-23T09:45:57Z)
• Physics-Informed Boundary Integral Networks (PIBI-Nets): A Data-Driven Approach for Solving Partial Differential Equations [1.6435014180036467]
  偏微分方程式(PDE)は力学系の関連する現象を記述するために広く用いられる。 高次元設定では、PINNは計算領域全体にわたって密度の高いコロケーションポイントを必要とするため、しばしば計算上の問題に悩まされる。 本稿では,PDEを元の問題空間よりも1次元以下で解くためのデータ駆動手法として,Physical-Informed Boundary Networks(PIBI-Nets)を提案する。
  論文  参考訳（メタデータ） (2023-08-18T14:03:34Z)
• PINNsFormer: A Transformer-Based Framework For Physics-Informed Neural Networks [22.39904196850583]
  物理インフォームドニューラルネットワーク(PINN)は、偏微分方程式(PDE)の数値解を近似するための有望なディープラーニングフレームワークとして登場した。 我々は,この制限に対処するために,新しいTransformerベースのフレームワークであるPINNsFormerを紹介した。 PINNsFormerは、PINNの障害モードや高次元PDEなど、様々なシナリオにおいて優れた一般化能力と精度を実現する。
  論文  参考訳（メタデータ） (2023-07-21T18:06:27Z)
• iPINNs: Incremental learning for Physics-informed neural networks [66.4795381419701]
  物理インフォームドニューラルネットワーク(PINN)は、最近偏微分方程式(PDE)を解く強力なツールとなっている。 本稿では,新しいタスクのパラメータを追加せずに連続的に複数のタスクを学習できるインクリメンタルPINNを提案する。 提案手法は,PDEごとに個別のサブネットワークを作成し,従来のサブネットワークと重なり合うようにすることで,最も単純なPDEから複数のPDEを学習する。
  論文  参考訳（メタデータ） (2023-04-10T20:19:20Z)
• On the Expressiveness and Generalization of Hypergraph Neural Networks [77.65788763444877]
  この拡張抽象化はハイパーグラフニューラルネットワーク(HyperGNN)の表現性、学習、および(構造的)一般化を分析するためのフレームワークを記述する。 具体的には、HyperGNNが有限データセットからどのように学習し、任意の入力サイズのグラフ推論問題に構造的に一般化するかに焦点を当てる。
  論文  参考訳（メタデータ） (2023-03-09T18:42:18Z)
• Augmented Physics-Informed Neural Networks (APINNs): A gating network-based soft domain decomposition methodology [27.164040990410065]
  APINNは、ソフトでトレーニング可能なドメイン分解とフレキシブルなパラメータ共有を採用している。 特に、XPINNのハード分解を模倣するために、トレーニング可能なゲートネットワークが使用される。
  論文  参考訳（メタデータ） (2022-11-16T14:35:10Z)
• Deep Architecture Connectivity Matters for Its Convergence: A Fine-Grained Analysis [94.64007376939735]
  我々は、勾配降下訓練におけるディープニューラルネットワーク(DNN)の収束に対する接続パターンの影響を理論的に特徴づける。 接続パターンの単純なフィルタリングによって、評価対象のモデルの数を削減できることが示される。
  論文  参考訳（メタデータ） (2022-05-11T17:43:54Z)
• Improved Training of Physics-Informed Neural Networks with Model Ensembles [81.38804205212425]
  我々は、PINNを正しい解に収束させるため、解区間を徐々に拡大することを提案する。 すべてのアンサンブルのメンバーは、観測されたデータの近くで同じ解に収束する。 提案手法は, 得られた解の精度を向上させることができることを示す。
  論文  参考訳（メタデータ） (2022-04-11T14:05:34Z)
• Finite Basis Physics-Informed Neural Networks (FBPINNs): a scalable domain decomposition approach for solving differential equations [20.277873724720987]
  我々はFBPINN(Finite Basis PINNs)と呼ばれる微分方程式に関連する大きな問題を解くための新しいスケーラブルなアプローチを提案する。 FBPINNは古典的有限要素法に着想を得ており、微分方程式の解はコンパクトな支持を持つ基底関数の有限集合の和として表される。 FBPINNでは、ニューラルネットワークを使ってこれらの基底関数を学習する。
  論文  参考訳（メタデータ） (2021-07-16T13:03:47Z)
• Generalization bound of globally optimal non-convex neural network training: Transportation map estimation by infinite dimensional Langevin dynamics [50.83356836818667]
  本稿では,ディープラーニングの最適化を一般化誤差と関連づけて解析する理論フレームワークを提案する。 ニューラルネットワーク最適化分析のための平均場理論やニューラル・タンジェント・カーネル理論のような既存のフレームワークは、そのグローバル収束を示すために、ネットワークの無限幅の限界を取る必要がある。
  論文  参考訳（メタデータ） (2020-07-11T18:19:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。