論文の概要: Parametric Encoding with Attention and Convolution Mitigate Spectral Bias of Neural Partial Differential Equation Solvers

• arxiv url: http://arxiv.org/abs/2403.15652v1
• Date: Fri, 22 Mar 2024 23:56:40 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-26 21:41:55.403157
• Title: Parametric Encoding with Attention and Convolution Mitigate Spectral Bias of Neural Partial Differential Equation Solvers
• Title（参考訳）: ニューラル偏微分方程式解の注意と畳み込みによるパラメトリック符号化
• Authors: Mehdi Shishehbor, Shirin Hosseinmardi, Ramin Bostanabad,
• Abstract要約: PGCAN(Parametric Grid Convolutional Attention Networks)は偏微分方程式(PDE)の解法である。 PGCANは、DNNデコーダを介して出力に接続されたグリッドベースのエンコーダで入力空間をパラメータ化する。 我々のエンコーダは、局所的な学習能力を提供し、畳み込みレイヤを使用して、境界からドメインの内部への情報の伝播速度を過度に調整し改善する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deep neural networks (DNNs) are increasingly used to solve partial differential equations (PDEs) that naturally arise while modeling a wide range of systems and physical phenomena. However, the accuracy of such DNNs decreases as the PDE complexity increases and they also suffer from spectral bias as they tend to learn the low-frequency solution characteristics. To address these issues, we introduce Parametric Grid Convolutional Attention Networks (PGCANs) that can solve PDE systems without leveraging any labeled data in the domain. The main idea of PGCAN is to parameterize the input space with a grid-based encoder whose parameters are connected to the output via a DNN decoder that leverages attention to prioritize feature training. Our encoder provides a localized learning ability and uses convolution layers to avoid overfitting and improve information propagation rate from the boundaries to the interior of the domain. We test the performance of PGCAN on a wide range of PDE systems and show that it effectively addresses spectral bias and provides more accurate solutions compared to competing methods.
• Abstract（参考訳）: ディープニューラルネットワーク(DNN)は、様々なシステムや物理現象をモデル化しながら自然に発生する偏微分方程式(PDE)を解くために、ますます使われている。 しかし、これらのDNNの精度は、PDEの複雑さが増加するにつれて低下し、低周波溶液特性を学習する傾向にあるため、スペクトルバイアスに悩まされる。 これらの問題に対処するために、ドメイン内のラベル付きデータを活用することなくPDEシステムを解くことができるParametric Grid Convolutional Attention Networks (PGCANs)を導入する。 PGCANの主な考え方は、DNNデコーダを介して出力にパラメータが接続されたグリッドベースのエンコーダで入力空間をパラメータ化することである。 我々のエンコーダは局所的な学習能力を提供し、畳み込み層を用いて境界から領域の内部への情報の伝播速度を過度に調整し改善する。 我々は,幅広いPDEシステム上でPGCANの性能を検証し,スペクトルバイアスを効果的に処理し,競合する手法と比較してより正確な解を提供することを示す。

関連論文リスト

• Implicit Stochastic Gradient Descent for Training Physics-informed Neural Networks [51.92362217307946]
  物理インフォームドニューラルネットワーク(PINN)は、前方および逆微分方程式問題の解法として効果的に実証されている。 PINNは、近似すべきターゲット関数が高周波またはマルチスケールの特徴を示す場合、トレーニング障害に閉じ込められる。 本稿では,暗黙的勾配降下法(ISGD)を用いてPINNを訓練し,トレーニングプロセスの安定性を向上させることを提案する。
  論文  参考訳（メタデータ） (2023-03-03T08:17:47Z)
• Solving High-Dimensional PDEs with Latent Spectral Models [74.1011309005488]
  我々は,高次元PDEの効率的かつ高精度な解法に向けて,Latent Spectral Models (LSM) を提案する。 数値解析において古典スペクトル法に着想を得て,潜時空間におけるPDEを解くために,ニューラルスペクトルブロックを設計する。 LSMは、一貫した最先端を実現し、7つのベンチマークで平均11.5%の相対的な利益を得る。
  論文  参考訳（メタデータ） (2023-01-30T04:58:40Z)
• Characteristics-Informed Neural Networks for Forward and Inverse Hyperbolic Problems [0.0]
  双曲型PDEを含む前方および逆問題に対する特徴情報ニューラルネットワーク(CINN)を提案する。 CINNは、通常のMSEデータ適合回帰損失をトレーニングした汎用ディープニューラルネットワークにおいて、PDEの特性を符号化する。 予備的な結果は、CINNがベースラインPINNの精度を改善しつつ、トレーニングの約2倍の速さで非物理的解を回避できることを示している。
  論文  参考訳（メタデータ） (2022-12-28T18:38:53Z)
• RBF-MGN:Solving spatiotemporal PDEs with Physics-informed Graph Neural Network [4.425915683879297]
  グラフニューラルネットワーク(GNN)とラジアル基底関数有限差分(RBF-FD)に基づく新しいフレームワークを提案する。 RBF-FDはモデルトレーニングを導くために微分方程式の高精度差分形式を構築するために用いられる。 提案アルゴリズムの一般化可能性,精度,効率性を,異なるPDEパラメータで説明する。
  論文  参考訳（メタデータ） (2022-12-06T10:08:02Z)
• PhyGNNet: Solving spatiotemporal PDEs with Physics-informed Graph Neural Network [12.385926494640932]
  本稿では,グラフニューラルネットワークの基本値から偏微分方程式を解くためのPhyGNNetを提案する。 特に、計算領域を正規グリッドに分割し、グリッド上の偏微分演算子を定義し、PhyGNNetモデルを構築する最適化のためにネットワークのpde損失を構築する。
  論文  参考訳（メタデータ） (2022-08-07T13:33:34Z)
• Momentum Diminishes the Effect of Spectral Bias in Physics-Informed Neural Networks [72.09574528342732]
  物理インフォームドニューラルネットワーク(PINN)アルゴリズムは、偏微分方程式(PDE)を含む幅広い問題を解く上で有望な結果を示している。 彼らはしばしば、スペクトルバイアスと呼ばれる現象のために、ターゲット関数が高周波の特徴を含むとき、望ましい解に収束しない。 本研究は, 運動量による勾配降下下で進化するPINNのトレーニングダイナミクスを, NTK(Neural Tangent kernel)を用いて研究するものである。
  論文  参考訳（メタデータ） (2022-06-29T19:03:10Z)
• Learning to Solve PDE-constrained Inverse Problems with Graph Networks [51.89325993156204]
  科学と工学にまたがる多くの応用分野において、偏微分方程式(PDE)によって定義される制約で逆問題を解決することに興味がある。 ここでは、これらのPDE制約された逆問題を解決するために、GNNを探索する。 GNNを用いて計算速度を最大90倍に向上させる。
  論文  参考訳（メタデータ） (2022-06-01T18:48:01Z)
• Auto-PINN: Understanding and Optimizing Physics-Informed Neural Architecture [77.59766598165551]
  物理インフォームドニューラルネットワーク(PINN)は、ディープラーニングのパワーを科学計算にもたらし、科学と工学の実践に革命をもたらしている。 本稿では,ニューラル・アーキテクチャ・サーチ(NAS)手法をPINN設計に適用したAuto-PINNを提案する。 標準PDEベンチマークを用いた包括的事前実験により、PINNの構造と性能の関係を探索することができる。
  論文  参考訳（メタデータ） (2022-05-27T03:24:31Z)
• PhyCRNet: Physics-informed Convolutional-Recurrent Network for Solving Spatiotemporal PDEs [8.220908558735884]
  偏微分方程式 (Partial differential equation, PDE) は、幅広い分野の問題をモデル化し、シミュレーションする上で基礎的な役割を果たす。 近年のディープラーニングの進歩は、データ駆動逆解析の基盤としてPDEを解くために物理学インフォームドニューラルネットワーク(NN)の大きな可能性を示している。 本稿では,PDEをラベル付きデータなしで解くための物理インフォームド・畳み込み学習アーキテクチャ(PhyCRNetとPhCRyNet-s)を提案する。
  論文  参考訳（メタデータ） (2021-06-26T22:22:19Z)
• dNNsolve: an efficient NN-based PDE solver [62.997667081978825]
  ODE/PDEを解決するためにデュアルニューラルネットワークを利用するdNNsolveを紹介します。 我々は,dNNsolveが1,2,3次元の幅広いODE/PDEを解くことができることを示す。
  論文  参考訳（メタデータ） (2021-03-15T19:14:41Z)
• Solving inverse-PDE problems with physics-aware neural networks [0.0]
  偏微分方程式の逆問題における未知の場を見つけるための新しい枠組みを提案する。 我々は,ディープニューラルネットワークの高表現性を,既存の数値アルゴリズムの精度と信頼性とを融合した普遍関数推定器とする。
  論文  参考訳（メタデータ） (2020-01-10T18:46:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。