論文の概要: Spectral-Refiner: Accurate Fine-Tuning of Spatiotemporal Fourier Neural Operator for Turbulent Flows

• arxiv url: http://arxiv.org/abs/2405.17211v2
• Date: Wed, 26 Feb 2025 23:19:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-28 14:52:16.347757
• Title: Spectral-Refiner: Accurate Fine-Tuning of Spatiotemporal Fourier Neural Operator for Turbulent Flows
• Title（参考訳）: スペクトル精錬器:乱流時空間フーリエニューラル演算子の精密微調整
• Authors: Shuhao Cao, Francesco Brarda, Ruipeng Li, Yuanzhe Xi,
• Abstract要約: 最近の演算子型ニューラルネットワークは、部分微分方程式(PDE)の近似に有望な結果を示している。 これらのニューラルネットワークは、かなりのトレーニング費用を要し、科学や工学の分野において要求される精度を常に達成するとは限らない。
• 参考スコア（独自算出の注目度）: 6.961408873053586
• License:
• Abstract: Recent advancements in operator-type neural networks have shown promising results in approximating the solutions of spatiotemporal Partial Differential Equations (PDEs). However, these neural networks often entail considerable training expenses, and may not always achieve the desired accuracy required in many scientific and engineering disciplines. In this paper, we propose a new learning framework to address these issues. A new spatiotemporal adaptation is proposed to generalize any Fourier Neural Operator (FNO) variant to learn maps between Bochner spaces, which can perform an arbitrary-length temporal super-resolution for the first time. To better exploit this capacity, a new paradigm is proposed to refine the commonly adopted end-to-end neural operator training and evaluations with the help from the wisdom from traditional numerical PDE theory and techniques. Specifically, in the learning problems for the turbulent flow modeled by the Navier-Stokes Equations (NSE), the proposed paradigm trains an FNO only for a few epochs. Then, only the newly proposed spatiotemporal spectral convolution layer is fine-tuned without the frequency truncation. The spectral fine-tuning loss function uses a negative Sobolev norm for the first time in operator learning, defined through a reliable functional-type a posteriori error estimator whose evaluation is exact thanks to the Parseval identity. Moreover, unlike the difficult nonconvex optimization problems in the end-to-end training, this fine-tuning loss is convex. Numerical experiments on commonly used NSE benchmarks demonstrate significant improvements in both computational efficiency and accuracy, compared to end-to-end evaluation and traditional numerical PDE solvers under certain conditions. The source code is publicly available at https://github.com/scaomath/torch-cfd.
• Abstract（参考訳）: 作用素型ニューラルネットワークの最近の進歩は、時空間微分方程式(PDE)の解を近似する有望な結果を示している。 しかしながら、これらのニューラルネットワークは、しばしばかなりのトレーニング費用を要し、多くの科学や工学の分野において要求される精度を常に達成するとは限らない。 本稿では,これらの問題に対処するための新しい学習フレームワークを提案する。 ボヒナー空間間の写像を学習するために,任意のフーリエニューラル演算子(FNO)を一般化する新しい時空間適応法が提案されている。 この能力をより活用するために、従来の数値PDE理論と技法の知恵の助けを借りて、広く採用されているエンドツーエンドのニューラル演算子のトレーニングと評価を洗練するための新しいパラダイムが提案されている。 具体的には、NSE(Navier-Stokes Equations)によってモデル化された乱流の学習問題において、提案したパラダイムは、いくつかのエポックに対してのみFNOを訓練する。 そして、新たに提案された時空間スペクトル畳み込み層のみを周波数乱れなく微調整する。 スペクトル微調整損失関数は演算子学習において初めて負のソボレフノルムを用い、Parsevalの同一性により正確に評価された信頼性の高い関数型後部誤差推定器によって定義される。 さらに、エンドツーエンドトレーニングにおける難解な非凸最適化問題とは異なり、この微調整損失は凸である。 NSEベンチマークの数値実験では、ある条件下でのエンドツーエンド評価や従来の数値PDEソルバと比較して、計算効率と精度の両方が大幅に向上した。 ソースコードはhttps://github.com/scaomath/torch-cfd.comで公開されている。

関連論文リスト

• From Fourier to Neural ODEs: Flow Matching for Modeling Complex Systems [20.006163951844357]
  ニューラル常微分方程式(NODE)を学習するためのシミュレーション不要なフレームワークを提案する。 フーリエ解析を用いて、ノイズの多い観測データから時間的および潜在的高次空間勾配を推定する。 我々の手法は、トレーニング時間、ダイナミクス予測、堅牢性の観点から、最先端の手法よりも優れています。
  論文  参考訳（メタデータ） (2024-05-19T13:15:23Z)
• PICL: Physics Informed Contrastive Learning for Partial Differential Equations [7.136205674624813]
  我々は,複数の支配方程式にまたがるニューラル演算子一般化を同時に改善する,新しいコントラスト事前学習フレームワークを開発する。 物理インフォームドシステムの進化と潜在空間モデル出力の組み合わせは、入力データに固定され、我々の距離関数で使用される。 物理インフォームドコントラストプレトレーニングにより,1次元および2次元熱,バーガーズ,線形対流方程式に対する固定フューチャーおよび自己回帰ロールアウトタスクにおけるフーリエニューラル演算子の精度が向上することがわかった。
  論文  参考訳（メタデータ） (2024-01-29T17:32:22Z)
• Guaranteed Approximation Bounds for Mixed-Precision Neural Operators [83.64404557466528]
  我々は、ニューラル演算子学習が本質的に近似誤差を誘導する直感の上に構築する。 提案手法では,GPUメモリ使用量を最大50%削減し,スループットを58%向上する。
  論文  参考訳（メタデータ） (2023-07-27T17:42:06Z)
• On Using Deep Learning Proxies as Forward Models in Deep Learning Problems [5.478764356647437]
  近年の研究では、物理モデリングがニューラルネットワークで近似できることが示されている。 このような関数のニューラルネットワーク近似(NN-プロキシ)が誤った結果をもたらすことを実証する。 特に,粒子群最適化と遺伝的アルゴリズムの挙動について検討した。
  論文  参考訳（メタデータ） (2023-01-16T04:54:12Z)
• Incremental Spatial and Spectral Learning of Neural Operators for Solving Large-Scale PDEs [86.35471039808023]
  Incrmental Fourier Neural Operator (iFNO)を導入し、モデルが使用する周波数モードの数を徐々に増加させる。 iFNOは、各種データセット間の一般化性能を維持したり改善したりしながら、トレーニング時間を短縮する。 提案手法は,既存のフーリエニューラル演算子に比べて20%少ない周波数モードを用いて,10%低いテスト誤差を示すとともに,30%高速なトレーニングを実現する。
  論文  参考訳（メタデータ） (2022-11-28T09:57:15Z)
• Solving Seismic Wave Equations on Variable Velocity Models with Fourier Neural Operator [3.2307366446033945]
  本稿では,FNOに基づく解法を効率的に学習するための新しいフレームワークであるFourier Neural operator (PFNO)を提案する。 数値実験により、複雑な速度モデルによるFNOとPFNOの精度が示された。 PFNOは、従来の有限差分法と比較して、大規模なテストデータセットの計算効率が高いことを認めている。
  論文  参考訳（メタデータ） (2022-09-25T22:25:57Z)
• Neural Basis Functions for Accelerating Solutions to High Mach Euler Equations [63.8376359764052]
  ニューラルネットワークを用いた偏微分方程式(PDE)の解法を提案する。 ニューラルネットワークの集合を縮小順序 Proper Orthogonal Decomposition (POD) に回帰する。 これらのネットワークは、所定のPDEのパラメータを取り込み、PDEに還元順序近似を計算する分岐ネットワークと組み合わせて使用される。
  論文  参考訳（メタデータ） (2022-08-02T18:27:13Z)
• Training Feedback Spiking Neural Networks by Implicit Differentiation on the Equilibrium State [66.2457134675891]
  スパイキングニューラルネットワーク(英: Spiking Neural Network、SNN)は、ニューロモルフィックハードウェア上でエネルギー効率の高い実装を可能にする脳にインスパイアされたモデルである。 既存のほとんどの手法は、人工ニューラルネットワークのバックプロパゲーションフレームワークとフィードフォワードアーキテクチャを模倣している。 本稿では,フォワード計算の正逆性に依存しない新しいトレーニング手法を提案する。
  論文  参考訳（メタデータ） (2021-09-29T07:46:54Z)
• Learning Frequency Domain Approximation for Binary Neural Networks [68.79904499480025]
  フーリエ周波数領域における符号関数の勾配を正弦関数の組み合わせを用いて推定し,BNNの訓練を行う。 いくつかのベンチマークデータセットとニューラルネットワークの実験により、この手法で学習したバイナリネットワークが最先端の精度を達成することが示されている。
  論文  参考訳（メタデータ） (2021-03-01T08:25:26Z)
• A Meta-Learning Approach to the Optimal Power Flow Problem Under Topology Reconfigurations [69.73803123972297]
  メタラーニング(MTL)アプローチを用いて訓練されたDNNベースのOPF予測器を提案する。 開発したOPF予測器はベンチマークIEEEバスシステムを用いてシミュレーションにより検証される。
  論文  参考訳（メタデータ） (2020-12-21T17:39:51Z)
• A Novel Neural Network Training Framework with Data Assimilation [2.948167339160823]
  勾配計算を避けるため,データ同化に基づく勾配なし学習フレームワークを提案する。 その結果,提案手法は勾配法よりも優れた性能を示した。
  論文  参考訳（メタデータ） (2020-10-06T11:12:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。