論文の概要: Pretraining Codomain Attention Neural Operators for Solving Multiphysics PDEs
- arxiv url: http://arxiv.org/abs/2403.12553v2
- Date: Fri, 5 Apr 2024 16:28:18 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-09 00:47:36.811564
- Title: Pretraining Codomain Attention Neural Operators for Solving Multiphysics PDEs
- Title(参考訳): 多分野PDEのためのコドメイン注意神経オペレータの事前学習
- Authors: Md Ashiqur Rahman, Robert Joseph George, Mogab Elleithy, Daniel Leibovici, Zongyi Li, Boris Bonev, Colin White, Julius Berner, Raymond A. Yeh, Jean Kossaifi, Kamyar Azizzadenesheli, Anima Anandkumar,
- Abstract要約: PDEを用いた多物理問題の解法として,コドメイン注意ニューラル演算子(CoDA-NO)を提案する。
CoDA-NOはコドメインやチャネル空間に沿った機能をトークン化し、複数のPDEシステムの自己教師付き学習や事前訓練を可能にする。
我々は,CoDA-NOの可能性を,複数システム上で多物理PDEを学習するためのバックボーンとして評価する。
- 参考スコア(独自算出の注目度): 85.40198664108624
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Existing neural operator architectures face challenges when solving multiphysics problems with coupled partial differential equations (PDEs), due to complex geometries, interactions between physical variables, and the lack of large amounts of high-resolution training data. To address these issues, we propose Codomain Attention Neural Operator (CoDA-NO), which tokenizes functions along the codomain or channel space, enabling self-supervised learning or pretraining of multiple PDE systems. Specifically, we extend positional encoding, self-attention, and normalization layers to the function space. CoDA-NO can learn representations of different PDE systems with a single model. We evaluate CoDA-NO's potential as a backbone for learning multiphysics PDEs over multiple systems by considering few-shot learning settings. On complex downstream tasks with limited data, such as fluid flow simulations and fluid-structure interactions, we found CoDA-NO to outperform existing methods on the few-shot learning task by over $36\%$. The code is available at https://github.com/ashiq24/CoDA-NO.
- Abstract(参考訳): 既存のニューラルネットワークアーキテクチャは、複雑なジオメトリー、物理変数間の相互作用、高解像度のトレーニングデータの欠如などにより、結合偏微分方程式(PDE)で多重物理問題を解く際の課題に直面している。
このような問題に対処するために、コドメインやチャネル空間に沿った機能をトークン化し、自己教師付き学習や複数のPDEシステムの事前学習を可能にするコドメイン注意ニューラルネットワーク(CoDA-NO)を提案する。
具体的には、位置符号化、自己アテンション、正規化層を関数空間に拡張する。
CoDA-NOは1つのモデルで異なるPDEシステムの表現を学習することができる。
我々は,CoDA-NOの可能性を,複数システム上で多物理PDEを学習するためのバックボーンとして評価する。
流体流動シミュレーションや流体構造相互作用などの限られたデータを含む複雑な下流タスクにおいて,CoDA-NOは,数ショット学習タスクにおける既存手法を36 %以上上回る性能を示した。
コードはhttps://github.com/ashiq24/CoDA-NOで公開されている。
関連論文リスト
- iPINNs: Incremental learning for Physics-informed neural networks [66.4795381419701]
物理インフォームドニューラルネットワーク(PINN)は、最近偏微分方程式(PDE)を解く強力なツールとなっている。
本稿では,新しいタスクのパラメータを追加せずに連続的に複数のタスクを学習できるインクリメンタルPINNを提案する。
提案手法は,PDEごとに個別のサブネットワークを作成し,従来のサブネットワークと重なり合うようにすることで,最も単純なPDEから複数のPDEを学習する。
論文 参考訳(メタデータ) (2023-04-10T20:19:20Z) - Solving High-Dimensional PDEs with Latent Spectral Models [74.1011309005488]
我々は,高次元PDEの効率的かつ高精度な解法に向けて,Latent Spectral Models (LSM) を提案する。
数値解析において古典スペクトル法に着想を得て,潜時空間におけるPDEを解くために,ニューラルスペクトルブロックを設計する。
LSMは、一貫した最先端を実現し、7つのベンチマークで平均11.5%の相対的な利益を得る。
論文 参考訳(メタデータ) (2023-01-30T04:58:40Z) - KoopmanLab: machine learning for solving complex physics equations [7.815723299913228]
解析解や閉形式を使わずにPDEを学習するための、クープマンニューラルオペレータファミリーの効率的なモジュールであるクープマンLabを提案する。
我々のモジュールは、メッシュに依存しないニューラルネットワークベースのPDEソルバの一種であるクープマンニューラル演算子(KNO)の複数の変種から構成されている。
KNO のコンパクトな変種はモデルサイズが小さい PDE を正確に解くことができるが、KNO の大きな変種は高度に複雑な力学系を予測する上でより競争力がある。
論文 参考訳(メタデータ) (2023-01-03T13:58:39Z) - Semi-supervised Learning of Partial Differential Operators and Dynamical
Flows [68.77595310155365]
本稿では,超ネットワーク解法とフーリエニューラル演算子アーキテクチャを組み合わせた新しい手法を提案する。
本手法は, 1次元, 2次元, 3次元の非線形流体を含む様々な時間発展PDEを用いて実験を行った。
その結果、新しい手法は、監督点の時点における学習精度を向上し、任意の中間時間にその解を補間できることを示した。
論文 参考訳(メタデータ) (2022-07-28T19:59:14Z) - NeuralPDE: Modelling Dynamical Systems from Data [0.44259821861543996]
本稿では、畳み込みニューラルネットワーク(CNN)と微分可能なODEソルバを組み合わせて動的システムをモデル化するモデルであるNeuralPDEを提案する。
標準PDEソルバで使用されるラインの手法は、CNNが任意のPDEダイナミクスをパラメトリズする自然な選択となる畳み込みを用いて表現できることを示す。
我々のモデルは、PDEの管理に関する事前の知識を必要とせずに、あらゆるデータに適用することができる。
論文 参考訳(メタデータ) (2021-11-15T10:59:52Z) - Physics-Informed Neural Operator for Learning Partial Differential
Equations [55.406540167010014]
PINOは、演算子を学ぶために異なる解像度でデータとPDE制約を組み込んだ最初のハイブリッドアプローチである。
結果の PINO モデルは、多くの人気のある PDE ファミリの基底構造解演算子を正確に近似することができる。
論文 参考訳(メタデータ) (2021-11-06T03:41:34Z) - Neural-PDE: A RNN based neural network for solving time dependent PDEs [6.560798708375526]
偏微分方程式 (Partial differential equation, PDE) は、科学や工学における多くの問題を研究する上で重要な役割を果たしている。
本稿では,時間依存型PDEシステムのルールを自動的に学習する,Neural-PDEと呼ばれるシーケンス深層学習フレームワークを提案する。
我々の実験では、ニューラルPDEは20時間以内のトレーニングで効率よく力学を抽出し、正確な予測を行うことができる。
論文 参考訳(メタデータ) (2020-09-08T15:46:00Z) - Solver-in-the-Loop: Learning from Differentiable Physics to Interact
with Iterative PDE-Solvers [26.444103444634994]
認識されたPDEが捉えない効果を補正することにより、機械学習が解の精度を向上させることができることを示す。
従来使用されていた学習手法は,学習ループにソルバを組み込む手法により大幅に性能が向上していることがわかった。
これにより、以前の補正を考慮に入れたリアルな入力分布がモデルに提供される。
論文 参考訳(メタデータ) (2020-06-30T18:00:03Z) - Learning to Control PDEs with Differentiable Physics [102.36050646250871]
本稿では,ニューラルネットワークが長い時間をかけて複雑な非線形物理系の理解と制御を学べる新しい階層型予測器・相関器手法を提案する。
本手法は,複雑な物理系の理解に成功し,PDEに関わるタスクに対してそれらを制御できることを実証する。
論文 参考訳(メタデータ) (2020-01-21T11:58:41Z) - Solving inverse-PDE problems with physics-aware neural networks [0.0]
偏微分方程式の逆問題における未知の場を見つけるための新しい枠組みを提案する。
我々は,ディープニューラルネットワークの高表現性を,既存の数値アルゴリズムの精度と信頼性とを融合した普遍関数推定器とする。
論文 参考訳(メタデータ) (2020-01-10T18:46:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。