論文の概要: Deep Equilibrium Based Neural Operators for Steady-State PDEs

• arxiv url: http://arxiv.org/abs/2312.00234v1
• Date: Thu, 30 Nov 2023 22:34:57 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-04 16:16:18.983634
• Title: Deep Equilibrium Based Neural Operators for Steady-State PDEs
• Title（参考訳）: 定常PDEのための深い平衡に基づくニューラル演算子
• Authors: Tanya Marwah, Ashwini Pokle, J. Zico Kolter, Zachary C. Lipton, Jianfeng Lu, Andrej Risteski
• Abstract要約: 定常PDEに対する重み付けニューラルネットワークアーキテクチャの利点について検討する。 定常PDEの解を直接解くFNOアーキテクチャの深い平衡変種であるFNO-DEQを提案する。
• 参考スコア（独自算出の注目度）: 100.88355782126098
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Data-driven machine learning approaches are being increasingly used to solve partial differential equations (PDEs). They have shown particularly striking successes when training an operator, which takes as input a PDE in some family, and outputs its solution. However, the architectural design space, especially given structural knowledge of the PDE family of interest, is still poorly understood. We seek to remedy this gap by studying the benefits of weight-tied neural network architectures for steady-state PDEs. To achieve this, we first demonstrate that the solution of most steady-state PDEs can be expressed as a fixed point of a non-linear operator. Motivated by this observation, we propose FNO-DEQ, a deep equilibrium variant of the FNO architecture that directly solves for the solution of a steady-state PDE as the infinite-depth fixed point of an implicit operator layer using a black-box root solver and differentiates analytically through this fixed point resulting in $\mathcal{O}(1)$ training memory. Our experiments indicate that FNO-DEQ-based architectures outperform FNO-based baselines with $4\times$ the number of parameters in predicting the solution to steady-state PDEs such as Darcy Flow and steady-state incompressible Navier-Stokes. Finally, we show FNO-DEQ is more robust when trained with datasets with more noisy observations than the FNO-based baselines, demonstrating the benefits of using appropriate inductive biases in architectural design for different neural network based PDE solvers. Further, we show a universal approximation result that demonstrates that FNO-DEQ can approximate the solution to any steady-state PDE that can be written as a fixed point equation.
• Abstract（参考訳）: データ駆動機械学習アプローチは、偏微分方程式(PDE)の解法としてますます使われている。 彼らは、あるファミリーのPDEを入力として取り、そのソリューションを出力するオペレータのトレーニングにおいて、特に顕著な成功を示している。 しかし、特にPDEファミリーの構造的な知識を考えると、建築設計の空間はいまだに理解されていない。 我々は、定常PDEに対する重み付けニューラルネットワークアーキテクチャの利点を研究することにより、このギャップを修復することを模索する。 これを達成するために、我々はまず最も定常な pdes の解を非線形作用素の不動点として表現できることを示す。 この観測から得られたFNO-DEQは、定常PDEの解をブラックボックス根解法を用いて暗黙演算層の無限深度固定点として直接解き、この固定点を通して解析的に微分し、$\mathcal{O}(1)のトレーニングメモリとなるFNOアーキテクチャの深い平衡変種である。 実験の結果、FNO-DEQベースのアーキテクチャは、Darcy FlowやNavier-Stokesのような定常PDEに対する解を予測する際のパラメータ数に対して、FNOベースのベースラインを4ドル以上で上回ります。 最後に、FNO-DEQは、FNOベースのベースラインよりもノイズの多い観測データでトレーニングされた場合、より堅牢であることが示され、異なるニューラルネットワークベースのPDEソルバのアーキテクチャ設計に適切な帰納バイアスを用いることの利点が示される。 さらに、FNO-DEQが固定点方程式として書ける任意の定常PDEへの解を近似できることを示す普遍近似結果を示す。

関連論文リスト

• Physics-informed Neural Networks for Functional Differential Equations: Cylindrical Approximation and Its Convergence Guarantees [7.366405857677226]
  関数微分方程式(FDE)の第一学習法を提案する。 FDEは物理学、数学、最適制御において基本的な役割を果たす。 FDEの数値近似が開発されたが、しばしば解を単純化する。
  論文  参考訳（メタデータ） (2024-10-23T06:16:35Z)
• Unisolver: PDE-Conditional Transformers Are Universal PDE Solvers [55.0876373185983]
  広範にPDEを解くことができるUniversal PDEソルバ(Unisolver)を提案する。 私たちの重要な発見は、PDEソリューションが基本的に一連のPDEコンポーネントの制御下にあることです。 Unisolverは3つの挑戦的な大規模ベンチマークにおいて、一貫した最先端の結果を達成する。
  論文  参考訳（メタデータ） (2024-05-27T15:34:35Z)
• Koopman neural operator as a mesh-free solver of non-linear partial differential equations [15.410070455154138]
  これらの課題を克服するために,新しいニューラル演算子であるクープマンニューラル演算子(KNO)を提案する。 力学系のすべての可能な観測を統括する無限次元作用素であるクープマン作用素を近似することにより、非線型PDEファミリーの解を等価に学べる。 KNOは、従来の最先端モデルと比較して顕著なアドバンテージを示している。
  論文  参考訳（メタデータ） (2023-01-24T14:10:15Z)
• Learning differentiable solvers for systems with hard constraints [48.54197776363251]
  ニューラルネットワーク(NN)によって定義される関数に対する偏微分方程式(PDE)制約を強制する実践的手法を提案する。 我々は、任意のNNアーキテクチャに組み込むことができる微分可能なPDE制約層を開発した。 その結果、NNアーキテクチャに直接ハード制約を組み込むことで、制約のない目的のトレーニングに比べてテストエラーがはるかに少ないことがわかった。
  論文  参考訳（メタデータ） (2022-07-18T15:11:43Z)
• Noise-aware Physics-informed Machine Learning for Robust PDE Discovery [5.746505534720594]
  この研究は、物理系の制御偏微分方程式(PDE)の発見に関係している。 既存の手法では、有限観測からPDEの同定を実証しているが、ノイズデータに対する満足度を維持できなかった。 本稿では、任意の分布に従うデータからPDEを管理するためのノイズ対応物理インフォームド機械学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-06-26T15:29:07Z)
• Lie Point Symmetry Data Augmentation for Neural PDE Solvers [69.72427135610106]
  本稿では,ニューラルPDEソルバサンプルの複雑性を改善することにより,この問題を部分的に緩和する手法を提案する。 PDEの文脈では、データ変換の完全なリストを定量的に導き出せることが分かりました。 神経性PDEソルバサンプルの複雑さを桁違いに改善するために、どのように容易に展開できるかを示す。
  論文  参考訳（メタデータ） (2022-02-15T18:43:17Z)
• Physics-Informed Neural Operator for Learning Partial Differential Equations [55.406540167010014]
  PINOは、演算子を学ぶために異なる解像度でデータとPDE制約を組み込んだ最初のハイブリッドアプローチである。 結果の PINO モデルは、多くの人気のある PDE ファミリの基底構造解演算子を正確に近似することができる。
  論文  参考訳（メタデータ） (2021-11-06T03:41:34Z)
• dNNsolve: an efficient NN-based PDE solver [62.997667081978825]
  ODE/PDEを解決するためにデュアルニューラルネットワークを利用するdNNsolveを紹介します。 我々は,dNNsolveが1,2,3次元の幅広いODE/PDEを解くことができることを示す。
  論文  参考訳（メタデータ） (2021-03-15T19:14:41Z)
• Bayesian neural networks for weak solution of PDEs with uncertainty quantification [3.4773470589069473]
  ラベルなしでPDEを解くために、新しい物理制約ニューラルネットワーク(NN)アプローチが提案されている。 我々は,PDEの離散化残差に基づくNNの損失関数を,効率的で畳み込み演算子に基づくベクトル化実装により記述する。 本研究では, 定常拡散, 線形弾性, 非線形弾性に応用し, 提案フレームワークの性能と性能を示す。
  論文  参考訳（メタデータ） (2021-01-13T04:57:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。