論文の概要: Pretraining Codomain Attention Neural Operators for Solving Multiphysics PDEs

• arxiv url: http://arxiv.org/abs/2403.12553v3
• Date: Fri, 01 Nov 2024 06:45:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-04 21:01:07.963718
• Title: Pretraining Codomain Attention Neural Operators for Solving Multiphysics PDEs
• Title（参考訳）: 多分野PDEのためのコドメイン注意神経オペレータの事前学習
• Authors: Md Ashiqur Rahman, Robert Joseph George, Mogab Elleithy, Daniel Leibovici, Zongyi Li, Boris Bonev, Colin White, Julius Berner, Raymond A. Yeh, Jean Kossaifi, Kamyar Azizzadenesheli, Anima Anandkumar,
• Abstract要約: PDEを用いた多物理問題の解法として,コドメイン注意ニューラル演算子(CoDA-NO)を提案する。 CoDA-NOはコドメインやチャネル空間に沿った機能をトークン化し、複数のPDEシステムの自己教師付き学習や事前訓練を可能にする。 CoDA-NOは、データ制限のある複雑な下流タスクにおいて、既存のメソッドを36%以上上回ります。
• 参考スコア（独自算出の注目度）: 85.40198664108624
• License:
• Abstract: Existing neural operator architectures face challenges when solving multiphysics problems with coupled partial differential equations (PDEs) due to complex geometries, interactions between physical variables, and the limited amounts of high-resolution training data. To address these issues, we propose Codomain Attention Neural Operator (CoDA-NO), which tokenizes functions along the codomain or channel space, enabling self-supervised learning or pretraining of multiple PDE systems. Specifically, we extend positional encoding, self-attention, and normalization layers to function spaces. CoDA-NO can learn representations of different PDE systems with a single model. We evaluate CoDA-NO's potential as a backbone for learning multiphysics PDEs over multiple systems by considering few-shot learning settings. On complex downstream tasks with limited data, such as fluid flow simulations, fluid-structure interactions, and Rayleigh-B\'enard convection, we found CoDA-NO to outperform existing methods by over 36%.
• Abstract（参考訳）: 既存のニューラルネットワークアーキテクチャは、複雑なジオメトリー、物理変数間の相互作用、高分解能トレーニングデータの限られた量による結合偏微分方程式(PDE)による多物理問題の解法において、課題に直面している。 このような問題に対処するために、コドメインやチャネル空間に沿った機能をトークン化し、自己教師付き学習や複数のPDEシステムの事前学習を可能にするコドメイン注意ニューラルネットワーク(CoDA-NO)を提案する。 具体的には、位置符号化、自己アテンション、正規化層を関数空間に拡張する。 CoDA-NOは1つのモデルで異なるPDEシステムの表現を学習することができる。 我々は,CoDA-NOの可能性を,複数システム上で多物理PDEを学習するためのバックボーンとして評価する。 流体流動シミュレーション,流体-構造相互作用,レイリー-ブエナード対流など,限られたデータを含む複雑な下流タスクにおいて,既存の手法を36%以上上回るCoDA-NOが発見された。

関連論文リスト

• ConDiff: A Challenging Dataset for Neural Solvers of Partial Differential Equations [42.69799418639716]
  本稿では,科学的機械学習のための新しいデータセットであるConDiffを紹介する。 ConDiffは、パラメトリック偏微分方程式(PDE)の多くの応用における基本的な問題である、様々な係数を持つ拡散方程式に焦点を当てている。 この種の問題は、学術的な関心事だけでなく、様々な環境・産業問題の記述の基礎にもなっている。 このようにして、ConDiffは、完全な合成と使いやすさを維持しながら、現実世界の問題とのギャップを短くする。
  論文  参考訳（メタデータ） (2024-06-07T07:35:14Z)
• Latent Neural PDE Solver: a reduced-order modelling framework for partial differential equations [6.173339150997772]
  より粗い離散化を伴う潜在空間における系の力学を学習することを提案する。 非線形オートエンコーダは、まずシステムの全順序表現をメッシュ再現空間に投影するように訓練される。 実時間空間で動作するニューラルPDEソルバと比較して, 精度と効率が優れていることを示す。
  論文  参考訳（メタデータ） (2024-02-27T19:36:27Z)
• Solving High-Dimensional PDEs with Latent Spectral Models [74.1011309005488]
  我々は,高次元PDEの効率的かつ高精度な解法に向けて,Latent Spectral Models (LSM) を提案する。 数値解析において古典スペクトル法に着想を得て,潜時空間におけるPDEを解くために,ニューラルスペクトルブロックを設計する。 LSMは、一貫した最先端を実現し、7つのベンチマークで平均11.5%の相対的な利益を得る。
  論文  参考訳（メタデータ） (2023-01-30T04:58:40Z)
• KoopmanLab: machine learning for solving complex physics equations [7.815723299913228]
  解析解や閉形式を使わずにPDEを学習するための、クープマンニューラルオペレータファミリーの効率的なモジュールであるクープマンLabを提案する。 我々のモジュールは、メッシュに依存しないニューラルネットワークベースのPDEソルバの一種であるクープマンニューラル演算子(KNO)の複数の変種から構成されている。 KNO のコンパクトな変種はモデルサイズが小さい PDE を正確に解くことができるが、KNO の大きな変種は高度に複雑な力学系を予測する上でより競争力がある。
  論文  参考訳（メタデータ） (2023-01-03T13:58:39Z)
• Semi-supervised Learning of Partial Differential Operators and Dynamical Flows [68.77595310155365]
  本稿では,超ネットワーク解法とフーリエニューラル演算子アーキテクチャを組み合わせた新しい手法を提案する。 本手法は, 1次元, 2次元, 3次元の非線形流体を含む様々な時間発展PDEを用いて実験を行った。 その結果、新しい手法は、監督点の時点における学習精度を向上し、任意の中間時間にその解を補間できることを示した。
  論文  参考訳（メタデータ） (2022-07-28T19:59:14Z)
• Physics-Informed Neural Operator for Learning Partial Differential Equations [55.406540167010014]
  PINOは、演算子を学ぶために異なる解像度でデータとPDE制約を組み込んだ最初のハイブリッドアプローチである。 結果の PINO モデルは、多くの人気のある PDE ファミリの基底構造解演算子を正確に近似することができる。
  論文  参考訳（メタデータ） (2021-11-06T03:41:34Z)
• One-shot learning for solution operators of partial differential equations [3.559034814756831]
  データから偏微分方程式(PDE)で表される物理系の方程式を学習し、解くことは、科学と工学の様々な分野において中心的な課題である。 従来のPDEの数値解法は複雑なシステムでは計算コストがかかり、物理系の完全なPDEが必要となる。 本稿では,1つのPDEソリューション,すなわちワンショット学習のみを必要とする,最初のソリューション演算子学習法を提案する。
  論文  参考訳（メタデータ） (2021-04-06T17:35:10Z)
• Large-scale Neural Solvers for Partial Differential Equations [48.7576911714538]
  偏微分方程式 (PDE) を解くことは、多くのプロセスがPDEの観点でモデル化できるため、科学の多くの分野において不可欠である。 最近の数値解法では、基礎となる方程式を手動で離散化するだけでなく、分散コンピューティングのための高度で調整されたコードも必要である。 偏微分方程式, 物理インフォームドニューラルネットワーク(PINN)に対する連続メッシュフリーニューラルネットワークの適用性について検討する。 本稿では,解析解に関するGatedPINNの精度と,スペクトル解法などの最先端数値解法について論じる。
  論文  参考訳（メタデータ） (2020-09-08T13:26:51Z)
• Learning to Control PDEs with Differentiable Physics [102.36050646250871]
  本稿では,ニューラルネットワークが長い時間をかけて複雑な非線形物理系の理解と制御を学べる新しい階層型予測器・相関器手法を提案する。 本手法は,複雑な物理系の理解に成功し,PDEに関わるタスクに対してそれらを制御できることを実証する。
  論文  参考訳（メタデータ） (2020-01-21T11:58:41Z)
• Solving inverse-PDE problems with physics-aware neural networks [0.0]
  偏微分方程式の逆問題における未知の場を見つけるための新しい枠組みを提案する。 我々は,ディープニューラルネットワークの高表現性を,既存の数値アルゴリズムの精度と信頼性とを融合した普遍関数推定器とする。
  論文  参考訳（メタデータ） (2020-01-10T18:46:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。