論文の概要: Spectral-Refiner: Fine-Tuning of Accurate Spatiotemporal Neural Operator for Turbulent Flows
- arxiv url: http://arxiv.org/abs/2405.17211v1
- Date: Mon, 27 May 2024 14:33:06 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-28 15:03:23.932260
- Title: Spectral-Refiner: Fine-Tuning of Accurate Spatiotemporal Neural Operator for Turbulent Flows
- Title（参考訳）: スペクトルリファイナ:乱流の高精度時空間ニューラル演算子の微調整
- Authors: Shuhao Cao, Francesco Brarda, Ruipeng Li, Yuanzhe Xi,
- Abstract要約: 本稿では,ボヒナー空間間のマップを学習する新しい時間的ニューラル演算子(SFNO)と,これらの問題に対処する新しい学習フレームワークを提案する。
この新しいパラダイムは、従来の数値PDE理論と技法の知恵を利用して、一般的に採用されているエンドツーエンドのニューラル演算子のトレーニングと評価のパイプラインを洗練する。
2次元NSEのための一般的なベンチマークの数値実験は、エンドツーエンド評価や従来の数値PDEソルバと比較して計算効率と精度の両方が大幅に向上した。
- 参考スコア（独自算出の注目度）: 6.961408873053586
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent advancements in operator-type neural networks have shown promising results in approximating the solutions of spatiotemporal Partial Differential Equations (PDEs). However, these neural networks often entail considerable training expenses, and may not always achieve the desired accuracy required in many scientific and engineering disciplines. In this paper, we propose a new Spatiotemporal Fourier Neural Operator (SFNO) that learns maps between Bochner spaces, and a new learning framework to address these issues. This new paradigm leverages wisdom from traditional numerical PDE theory and techniques to refine the pipeline of commonly adopted end-to-end neural operator training and evaluations. Specifically, in the learning problems for the turbulent flow modeling by the Navier-Stokes Equations (NSE), the proposed architecture initiates the training with a few epochs for SFNO, concluding with the freezing of most model parameters. Then, the last linear spectral convolution layer is fine-tuned without the frequency truncation. The optimization uses a negative Sobolev norm for the first time as the loss in operator learning, defined through a reliable functional-type \emph{a posteriori} error estimator whose evaluation is almost exact thanks to the Parseval identity. This design allows the neural operators to effectively tackle low-frequency errors while the relief of the de-aliasing filter addresses high-frequency errors. Numerical experiments on commonly used benchmarks for the 2D NSE demonstrate significant improvements in both computational efficiency and accuracy, compared to end-to-end evaluation and traditional numerical PDE solvers.
- Abstract（参考訳）: 作用素型ニューラルネットワークの最近の進歩は、時空間微分方程式(PDE)の解を近似する有望な結果を示している。
しかしながら、これらのニューラルネットワークは、しばしばかなりのトレーニング費用を要し、多くの科学や工学の分野において要求される精度を常に達成するとは限らない。
本稿では,ボヒナー空間間の写像を学習する時空間フーリエニューラル演算子(SFNO)と,これらの問題に対処する新しい学習フレームワークを提案する。
この新しいパラダイムは、従来の数値PDE理論と技法の知恵を利用して、一般的に採用されているエンドツーエンドのニューラル演算子のトレーニングと評価のパイプラインを洗練する。
具体的には,Navier-Stokes Equations (NSE) による乱流モデリングの学習問題において,提案アーキテクチャは,ほとんどのモデルパラメータの凍結を結論として,SFNOのいくつかのエポックを用いてトレーニングを開始する。
そして、最後の線形スペクトル畳み込み層を周波数乱れなく微調整する。
この最適化は演算子学習の損失として初めて負のソボレフノルムを用いており、Parsevalの同一性によってほぼ正確に評価される信頼性の高い関数型 \emph{a reari} 誤差推定器によって定義される。
この設計により、ニューラルネットワークオペレータは低周波エラーに効果的に対処でき、デエイリアスフィルタのリリーフは高周波エラーに対処できる。
2次元NSEのための一般的なベンチマークの数値実験は、エンドツーエンド評価や従来の数値PDEソルバと比較して計算効率と精度の両方が大幅に向上した。
関連論文リスト
- From Fourier to Neural ODEs: Flow Matching for Modeling Complex Systems [20.006163951844357]
ニューラル常微分方程式(NODE)を学習するためのシミュレーション不要なフレームワークを提案する。
フーリエ解析を用いて、ノイズの多い観測データから時間的および潜在的高次空間勾配を推定する。
我々の手法は、トレーニング時間、ダイナミクス予測、堅牢性の観点から、最先端の手法よりも優れています。
論文 参考訳（メタデータ） (2024-05-19T13:15:23Z) - PICL: Physics Informed Contrastive Learning for Partial Differential Equations [7.136205674624813]
我々は,複数の支配方程式にまたがるニューラル演算子一般化を同時に改善する,新しいコントラスト事前学習フレームワークを開発する。
物理インフォームドシステムの進化と潜在空間モデル出力の組み合わせは、入力データに固定され、我々の距離関数で使用される。
物理インフォームドコントラストプレトレーニングにより,1次元および2次元熱,バーガーズ,線形対流方程式に対する固定フューチャーおよび自己回帰ロールアウトタスクにおけるフーリエニューラル演算子の精度が向上することがわかった。
論文 参考訳（メタデータ） (2024-01-29T17:32:22Z) - Guaranteed Approximation Bounds for Mixed-Precision Neural Operators [83.64404557466528]
我々は、ニューラル演算子学習が本質的に近似誤差を誘導する直感の上に構築する。
提案手法では,GPUメモリ使用量を最大50%削減し,スループットを58%向上する。
論文 参考訳（メタデータ） (2023-07-27T17:42:06Z) - On Using Deep Learning Proxies as Forward Models in Deep Learning
Problems [5.478764356647437]
近年の研究では、物理モデリングがニューラルネットワークで近似できることが示されている。
このような関数のニューラルネットワーク近似(NN-プロキシ)が誤った結果をもたらすことを実証する。
特に,粒子群最適化と遺伝的アルゴリズムの挙動について検討した。
論文 参考訳（メタデータ） (2023-01-16T04:54:12Z) - Incremental Spatial and Spectral Learning of Neural Operators for
Solving Large-Scale PDEs [86.35471039808023]
Incrmental Fourier Neural Operator (iFNO)を導入し、モデルが使用する周波数モードの数を徐々に増加させる。
iFNOは、各種データセット間の一般化性能を維持したり改善したりしながら、トレーニング時間を短縮する。
提案手法は,既存のフーリエニューラル演算子に比べて20%少ない周波数モードを用いて,10%低いテスト誤差を示すとともに,30%高速なトレーニングを実現する。
論文 参考訳（メタデータ） (2022-11-28T09:57:15Z) - Solving Seismic Wave Equations on Variable Velocity Models with Fourier
Neural Operator [3.2307366446033945]
本稿では,FNOに基づく解法を効率的に学習するための新しいフレームワークであるFourier Neural operator (PFNO)を提案する。
数値実験により、複雑な速度モデルによるFNOとPFNOの精度が示された。
PFNOは、従来の有限差分法と比較して、大規模なテストデータセットの計算効率が高いことを認めている。
論文 参考訳（メタデータ） (2022-09-25T22:25:57Z) - Neural Basis Functions for Accelerating Solutions to High Mach Euler
Equations [63.8376359764052]
ニューラルネットワークを用いた偏微分方程式(PDE)の解法を提案する。
ニューラルネットワークの集合を縮小順序 Proper Orthogonal Decomposition (POD) に回帰する。
これらのネットワークは、所定のPDEのパラメータを取り込み、PDEに還元順序近似を計算する分岐ネットワークと組み合わせて使用される。
論文 参考訳（メタデータ） (2022-08-02T18:27:13Z) - Training Feedback Spiking Neural Networks by Implicit Differentiation on
the Equilibrium State [66.2457134675891]
スパイキングニューラルネットワーク(英: Spiking Neural Network、SNN)は、ニューロモルフィックハードウェア上でエネルギー効率の高い実装を可能にする脳にインスパイアされたモデルである。
既存のほとんどの手法は、人工ニューラルネットワークのバックプロパゲーションフレームワークとフィードフォワードアーキテクチャを模倣している。
本稿では,フォワード計算の正逆性に依存しない新しいトレーニング手法を提案する。
論文 参考訳（メタデータ） (2021-09-29T07:46:54Z) - Learning Frequency Domain Approximation for Binary Neural Networks [68.79904499480025]
フーリエ周波数領域における符号関数の勾配を正弦関数の組み合わせを用いて推定し,BNNの訓練を行う。
いくつかのベンチマークデータセットとニューラルネットワークの実験により、この手法で学習したバイナリネットワークが最先端の精度を達成することが示されている。
論文 参考訳（メタデータ） (2021-03-01T08:25:26Z) - A Meta-Learning Approach to the Optimal Power Flow Problem Under
Topology Reconfigurations [69.73803123972297]
メタラーニング(MTL)アプローチを用いて訓練されたDNNベースのOPF予測器を提案する。
開発したOPF予測器はベンチマークIEEEバスシステムを用いてシミュレーションにより検証される。
論文 参考訳（メタデータ） (2020-12-21T17:39:51Z) - A Novel Neural Network Training Framework with Data Assimilation [2.948167339160823]
勾配計算を避けるため,データ同化に基づく勾配なし学習フレームワークを提案する。
その結果,提案手法は勾配法よりも優れた性能を示した。
論文 参考訳（メタデータ） (2020-10-06T11:12:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。