論文の概要: Multi-scale Time-stepping of Partial Differential Equations with
Transformers
- arxiv url: http://arxiv.org/abs/2311.02225v1
- Date: Fri, 3 Nov 2023 20:26:43 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-07 18:43:16.715122
- Title: Multi-scale Time-stepping of Partial Differential Equations with
Transformers
- Title(参考訳): 変圧器を用いた部分微分方程式のマルチスケールタイムステッピング
- Authors: AmirPouya Hemmasian, Amir Barati Farimani
- Abstract要約: 偏微分方程式(PDE)のための高速サロゲートの開発
我々のモデルは、ナヴィエ・ストークス方程式の時間進化を予測する際に、同様のあるいはより良い結果が得られる。
- 参考スコア(独自算出の注目度): 8.430481660019451
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Developing fast surrogates for Partial Differential Equations (PDEs) will
accelerate design and optimization in almost all scientific and engineering
applications. Neural networks have been receiving ever-increasing attention and
demonstrated remarkable success in computational modeling of PDEs, however;
their prediction accuracy is not at the level of full deployment. In this work,
we utilize the transformer architecture, the backbone of numerous
state-of-the-art AI models, to learn the dynamics of physical systems as the
mixing of spatial patterns learned by a convolutional autoencoder. Moreover, we
incorporate the idea of multi-scale hierarchical time-stepping to increase the
prediction speed and decrease accumulated error over time. Our model achieves
similar or better results in predicting the time-evolution of Navier-Stokes
equations compared to the powerful Fourier Neural Operator (FNO) and two
transformer-based neural operators OFormer and Galerkin Transformer.
- Abstract(参考訳): 偏微分方程式(pdes)のための高速サロゲートの開発は、ほとんどすべての科学的および工学的応用において設計と最適化を加速する。
しかし、ニューラルネットワークはますます注目を集め、PDEの計算モデルにおいて顕著な成功を収めている。
本研究では、多くの最先端AIモデルのバックボーンであるトランスフォーマーアーキテクチャを用いて、畳み込みオートエンコーダによって学習された空間パターンの混合として物理系の力学を学習する。
さらに,マルチスケール階層型時間ステップの考え方を取り入れ,予測速度の向上と累積誤差の低減を図る。
本モデルは,強力なフーリエニューラル演算子 (fno) と2つのトランスフォーマーおよびガレルキントランスフォーマと比較して,navier-stokes方程式の時間変化を予測できる。
関連論文リスト
- Equivariant Graph Neural Operator for Modeling 3D Dynamics [153.9455825436751]
Equivariant Graph Neural Operator (EGNO) は,次のステップの予測に代えて,ダイナミックスを直接トラジェクトリとしてモデル化する,斬新で原理的な手法である。
EGNOは3次元力学の時間的進化を明示的に学習し、時間とともに関数として力学を定式化し、それを近似するためにニューラル演算子を学習する。
粒子シミュレーション、人間のモーションキャプチャー、分子動力学を含む複数の領域における総合的な実験は、既存の手法と比較して、EGNOの極めて優れた性能を示す。
論文 参考訳(メタデータ) (2024-01-19T21:50:32Z) - Rethinking materials simulations: Blending direct numerical simulations
with neural operators [1.6874375111244329]
そこで本研究では,数値解法とニューラル演算子をブレンドしてシミュレーションを高速化する手法を開発した。
物理蒸着中の微細構造変化シミュレーションにおけるこの枠組みの有効性を実証する。
論文 参考訳(メタデータ) (2023-12-08T23:44:54Z) - Neural Operators for Accelerating Scientific Simulations and Design [85.89660065887956]
Neural Operatorsとして知られるAIフレームワークは、継続的ドメインで定義された関数間のマッピングを学習するための原則的なフレームワークを提供する。
ニューラルオペレータは、計算流体力学、天気予報、物質モデリングなど、多くのアプリケーションで既存のシミュレータを拡張または置き換えることができる。
論文 参考訳(メタデータ) (2023-09-27T00:12:07Z) - Real-time Inference and Extrapolation via a Diffusion-inspired Temporal
Transformer Operator (DiTTO) [1.5728609542259502]
本稿では,時間依存偏微分方程式(PDE)を時間的離散化を伴わずに時間外挿で連続的に解く演算子学習法を提案する。
Diffusion-inspired Temporal Transformer Operator (DiTTO) と呼ばれる提案手法は,遅延拡散モデルとその条件付け機構に着想を得たものである。
我々は,地球上の温度を数年間推定し,気候問題に対する外挿能力を示すとともに,二重円錐周りの超音速流れをモデル化する。
論文 参考訳(メタデータ) (2023-07-18T08:45:54Z) - A predictive physics-aware hybrid reduced order model for reacting flows [65.73506571113623]
反応流問題の解法として,新しいハイブリッド型予測次数モデル (ROM) を提案する。
自由度は、数千の時間的点から、対応する時間的係数を持ついくつかのPODモードへと減少する。
時間係数を予測するために、2つの異なるディープラーニングアーキテクチャがテストされている。
論文 参考訳(メタデータ) (2023-01-24T08:39:20Z) - Towards Multi-spatiotemporal-scale Generalized PDE Modeling [4.924631198058705]
渦流および速度関数形式における流体力学問題に対する様々なFNOとU-Netのようなアプローチの比較を行う。
一つの代理モデルを用いて異なるPDEパラメータと時間スケールへの一般化の有望な結果を示す。
論文 参考訳(メタデータ) (2022-09-30T17:40:05Z) - On Fast Simulation of Dynamical System with Neural Vector Enhanced
Numerical Solver [59.13397937903832]
ニューラルベクトル(NeurVec)と呼ばれる深層学習に基づく補正手法を提案する。
NeurVecは、統合エラーを補償し、シミュレーションでより大きなタイムステップサイズを可能にする。
様々な複雑な力学系ベンチマークの実験により、NeurVecは顕著な一般化能力を示すことが示された。
論文 参考訳(メタデータ) (2022-08-07T09:02:18Z) - Learning to Accelerate Partial Differential Equations via Latent Global
Evolution [64.72624347511498]
The Latent Evolution of PDEs (LE-PDE) is a simple, fast and scalable method to accelerate the simulation and inverse optimization of PDEs。
我々は,このような潜在力学を効果的に学習し,長期的安定性を確保するために,新たな学習目標を導入する。
更新対象の寸法が最大128倍、速度が最大15倍向上し、競争精度が向上した。
論文 参考訳(メタデータ) (2022-06-15T17:31:24Z) - Active learning of deep surrogates for PDEs: Application to metasurface
design [30.731619528075214]
本稿では,光表面成分のニューラルネットワーク・サロゲートモデルにおいて,トレーニングポイント数を桁違いに削減する能動的学習アルゴリズムを提案する。
その結果,サロゲート評価は直接解よりも2桁以上高速であり,大規模工学最適化の高速化にどのように活用できるかを実証した。
論文 参考訳(メタデータ) (2020-08-24T17:14:13Z) - Liquid Time-constant Networks [117.57116214802504]
本稿では,時間連続リカレントニューラルネットワークモデルについて紹介する。
暗黙の非線形性によって学習システムの力学を宣言する代わりに、線形一階力学系のネットワークを構築する。
これらのニューラルネットワークは安定かつ有界な振る舞いを示し、ニューラル常微分方程式の族の中で優れた表現性をもたらす。
論文 参考訳(メタデータ) (2020-06-08T09:53:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。