論文の概要: Transformers as Neural Operators for Solutions of Differential Equations with Finite Regularity
- arxiv url: http://arxiv.org/abs/2405.19166v1
- Date: Wed, 29 May 2024 15:10:24 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-30 16:41:25.746242
- Title: Transformers as Neural Operators for Solutions of Differential Equations with Finite Regularity
- Title（参考訳）: 有限規則性を持つ微分方程式解に対するニューラル演算子としての変圧器
- Authors: Benjamin Shih, Ahmad Peyvan, Zhongqiang Zhang, George Em Karniadakis,
- Abstract要約: まず、変換器が演算子学習モデルとして普遍近似特性を持つ理論基盤を確立する。
特に, Izhikevich ニューロンモデル, 分数次 Leaky Integrate-and-Fire (LIFLIF) モデル, 1次元方程式 Euler の3つの例を考える。
- 参考スコア（独自算出の注目度）: 1.6874375111244329
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Neural operator learning models have emerged as very effective surrogates in data-driven methods for partial differential equations (PDEs) across different applications from computational science and engineering. Such operator learning models not only predict particular instances of a physical or biological system in real-time but also forecast classes of solutions corresponding to a distribution of initial and boundary conditions or forcing terms. % DeepONet is the first neural operator model and has been tested extensively for a broad class of solutions, including Riemann problems. Transformers have not been used in that capacity, and specifically, they have not been tested for solutions of PDEs with low regularity. % In this work, we first establish the theoretical groundwork that transformers possess the universal approximation property as operator learning models. We then apply transformers to forecast solutions of diverse dynamical systems with solutions of finite regularity for a plurality of initial conditions and forcing terms. In particular, we consider three examples: the Izhikevich neuron model, the tempered fractional-order Leaky Integrate-and-Fire (LIF) model, and the one-dimensional Euler equation Riemann problem. For the latter problem, we also compare with variants of DeepONet, and we find that transformers outperform DeepONet in accuracy but they are computationally more expensive.
- Abstract（参考訳）: ニューラル演算子学習モデルは、計算科学や工学から様々な応用にまたがる偏微分方程式(PDE)のデータ駆動法において、非常に効果的な代理として登場した。
このような演算子学習モデルは、物理的または生物学的システムの特定のインスタンスをリアルタイムで予測するだけでなく、初期条件と境界条件の分布や強制条件に対応する解のクラスを予測する。
% DeepONetは最初のニューラル演算子モデルであり、リーマン問題を含む幅広いクラスのソリューションに対して広くテストされている。
変換器はその容量では使われておらず、具体的には、低い正規性を持つPDEの解に対してはテストされていない。
%) この研究において, 変圧器が演算子学習モデルとして普遍近似特性を持つ理論的基礎をまず確立する。
次に,複数の初期条件に対する有限正則解と強制項の解を用いて,多様な力学系の解を予測するために変圧器を適用した。
特に, Izhikevich ニューロンモデル, 分数次 Leaky Integrate-and-Fire (LIF) モデル, 1次元オイラー方程式 Riemann の3つの例を考える。
後者の問題に対しては,DeepONetの変種との比較を行い,変換器の精度はDeepONetよりも高いが,計算コストは高いことがわかった。
関連論文リスト
- Physics-informed Mesh-independent Deep Compositional Operator Network [1.2430809884830318]
可変サイズおよび不規則領域形状のパラメータの離散化を一般化する物理インフォームドモデルアーキテクチャを提案する。
ディープ・オペレーター・ニューラルネットワークにインスパイアされた我々のモデルは、パラメータの繰り返し埋め込みの離散化に依存しない学習を含む。
論文 参考訳（メタデータ） (2024-04-21T12:41:30Z) - A Physics-driven GraphSAGE Method for Physical Process Simulations
Described by Partial Differential Equations [2.1217718037013635]
物理駆動型グラフSAGE法は不規則なPDEによって支配される問題を解くために提案される。
距離関連エッジ機能と特徴マッピング戦略は、トレーニングと収束を支援するために考案された。
ガウス特異性ランダム場源によりパラメータ化された熱伝導問題に対するロバストPDEサロゲートモデルの構築に成功した。
論文 参考訳（メタデータ） (2024-03-13T14:25:15Z) - PICL: Physics Informed Contrastive Learning for Partial Differential Equations [7.136205674624813]
我々は,複数の支配方程式にまたがるニューラル演算子一般化を同時に改善する,新しいコントラスト事前学習フレームワークを開発する。
物理インフォームドシステムの進化と潜在空間モデル出力の組み合わせは、入力データに固定され、我々の距離関数で使用される。
物理インフォームドコントラストプレトレーニングにより,1次元および2次元熱,バーガーズ,線形対流方程式に対する固定フューチャーおよび自己回帰ロールアウトタスクにおけるフーリエニューラル演算子の精度が向上することがわかった。
論文 参考訳（メタデータ） (2024-01-29T17:32:22Z) - Neural Operators for Accelerating Scientific Simulations and Design [85.89660065887956]
Neural Operatorsとして知られるAIフレームワークは、継続的ドメインで定義された関数間のマッピングを学習するための原則的なフレームワークを提供する。
ニューラルオペレータは、計算流体力学、天気予報、物質モデリングなど、多くのアプリケーションで既存のシミュレータを拡張または置き換えることができる。
論文 参考訳（メタデータ） (2023-09-27T00:12:07Z) - Physics-guided Data Augmentation for Learning the Solution Operator of
Linear Differential Equations [2.1850269949775663]
ニューラルネットワークモデルの精度と一般化を改善するために,物理誘導型データ拡張法(PGDA)を提案する。
様々な線形微分方程式におけるPGDAの利点を実証し、PGDAがサンプルの複雑さを向上し、分布シフトに頑健であることを示す。
論文 参考訳（メタデータ） (2022-12-08T06:29:15Z) - Semi-supervised Learning of Partial Differential Operators and Dynamical
Flows [68.77595310155365]
本稿では,超ネットワーク解法とフーリエニューラル演算子アーキテクチャを組み合わせた新しい手法を提案する。
本手法は, 1次元, 2次元, 3次元の非線形流体を含む様々な時間発展PDEを用いて実験を行った。
その結果、新しい手法は、監督点の時点における学習精度を向上し、任意の中間時間にその解を補間できることを示した。
論文 参考訳（メタデータ） (2022-07-28T19:59:14Z) - Learning the Solution Operator of Boundary Value Problems using Graph
Neural Networks [0.0]
グラフニューラルネットワーク(GNN)とスペクトルグラフ畳み込みを用いた2つの異なる時間非依存PDEに対する一般解演算子を設計する。
我々は、様々な形状と不均一性の有限要素ソルバからシミュレーションデータを用いてネットワークを訓練する。
有限要素メッシュの変動が多岐にわたる多様なデータセット上でのトレーニングが,優れた一般化結果を得るための鍵となる要素であることがわかった。
論文 参考訳（メタデータ） (2022-06-28T15:39:06Z) - Message Passing Neural PDE Solvers [60.77761603258397]
我々は、バックプロップ最適化されたニューラル関数近似器で、グラフのアリーデザインのコンポーネントを置き換えるニューラルメッセージパッシング解決器を構築した。
本稿では, 有限差分, 有限体積, WENOスキームなどの古典的手法を表現的に含んでいることを示す。
本研究では, 異なる領域のトポロジ, 方程式パラメータ, 離散化などにおける高速, 安定, 高精度な性能を, 1次元, 2次元で検証する。
論文 参考訳（メタデータ） (2022-02-07T17:47:46Z) - Equivariant vector field network for many-body system modeling [65.22203086172019]
Equivariant Vector Field Network (EVFN) は、新しい同変層と関連するスカラー化およびベクトル化層に基づいて構築されている。
シミュレーションされたニュートン力学系の軌跡を全観測データと部分観測データで予測する手法について検討した。
論文 参考訳（メタデータ） (2021-10-26T14:26:25Z) - Fourier Neural Operator for Parametric Partial Differential Equations [57.90284928158383]
積分カーネルを直接フーリエ空間でパラメータ化することで、新しいニューラル演算子を定式化する。
バーガースの方程式、ダーシー流、ナビエ・ストークス方程式の実験を行う。
従来のPDEソルバに比べて最大3桁高速である。
論文 参考訳（メタデータ） (2020-10-18T00:34:21Z) - Large-scale Neural Solvers for Partial Differential Equations [48.7576911714538]
偏微分方程式 (PDE) を解くことは、多くのプロセスがPDEの観点でモデル化できるため、科学の多くの分野において不可欠である。
最近の数値解法では、基礎となる方程式を手動で離散化するだけでなく、分散コンピューティングのための高度で調整されたコードも必要である。
偏微分方程式, 物理インフォームドニューラルネットワーク(PINN)に対する連続メッシュフリーニューラルネットワークの適用性について検討する。
本稿では,解析解に関するGatedPINNの精度と,スペクトル解法などの最先端数値解法について論じる。
論文 参考訳（メタデータ） (2020-09-08T13:26:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。