論文の概要: Speeding up Fourier Neural Operators via Mixed Precision
- arxiv url: http://arxiv.org/abs/2307.15034v2
- Date: Thu, 31 Aug 2023 16:37:28 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-01 19:32:16.902918
- Title: Speeding up Fourier Neural Operators via Mixed Precision
- Title(参考訳): 混合精度によるフーリエニューラル演算子の高速化
- Authors: Colin White, Renbo Tu, Jean Kossaifi, Gennady Pekhimenko, Kamyar
Azizzadenesheli, Anima Anandkumar
- Abstract要約: フーリエニューラル作用素 (FNO) は偏微分方程式 (PDE) 解作用素の代理写像を学習する強力な手法である。
高解像度のデータポイントを必要とする多くの現実世界アプリケーションにとって、トレーニング時間とメモリ使用量は重大なボトルネックとなる。
本研究では,FNOの混合精度トレーニングの数値安定性について検討し,トレーニング時間とメモリ使用量を大幅に削減するトレーニングルーチンを考案した。
- 参考スコア(独自算出の注目度): 94.01161800203221
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The Fourier neural operator (FNO) is a powerful technique for learning
surrogate maps for partial differential equation (PDE) solution operators. For
many real-world applications, which often require high-resolution data points,
training time and memory usage are significant bottlenecks. While there are
mixed-precision training techniques for standard neural networks, those work
for real-valued datatypes on finite dimensions and therefore cannot be directly
applied to FNO, which crucially operates in the (complex-valued) Fourier domain
and in function spaces. On the other hand, since the Fourier transform is
already an approximation (due to discretization error), we do not need to
perform the operation at full precision. In this work, we (i) profile memory
and runtime for FNO with full and mixed-precision training, (ii) conduct a
study on the numerical stability of mixed-precision training of FNO, and (iii)
devise a training routine which substantially decreases training time and
memory usage (up to 34%), with little or no reduction in accuracy, on the
Navier-Stokes and Darcy flow equations. Combined with the recently proposed
tensorized FNO (Kossaifi et al., 2023), the resulting model has far better
performance while also being significantly faster than the original FNO.
- Abstract(参考訳): フーリエニューラル作用素 (FNO) は偏微分方程式 (PDE) 解作用素の代理写像を学習する強力な手法である。
高解像度のデータポイントを必要とする多くの現実世界アプリケーションにとって、トレーニング時間とメモリ使用量は重大なボトルネックとなる。
標準ニューラルネットワークには混合精度トレーニング技術があるが、有限次元の実数値データ型には適用できないため、(複素値)フーリエ領域や関数空間において重要な動作を行うfnoには直接適用できない。
一方、フーリエ変換はすでに近似(離散化誤差のため)であるため、完全精度で演算を行う必要はない。
この作品では、
(i)フルかつ混合精度のFNOのためのプロファイルメモリとランタイム。
(ii)fnoの混合精密訓練の数値的安定性についての研究、及び
(iii)navier-stokes方程式とdarcy流方程式のトレーニング時間とメモリ使用量を大幅に削減するトレーニングルーチン(最大34%)を考案する。
最近提案されたテンソル化FNO(Kossaifi et al., 2023)と組み合わせることで、このモデルの性能は向上し、オリジナルのFNOよりも大幅に向上した。
関連論文リスト
- Forecasting subcritical cylinder wakes with Fourier Neural Operators [58.68996255635669]
実験によって測定された速度場の時間的変化を予測するために,最先端の演算子学習手法を適用した。
その結果、FNOはレイノルズ数の範囲で実験速度場の進化を正確に予測できることがわかった。
論文 参考訳(メタデータ) (2023-01-19T20:04:36Z) - Fourier Continuation for Exact Derivative Computation in
Physics-Informed Neural Operators [53.087564562565774]
PINOは、偏微分方程式を学習するための有望な実験結果を示す機械学習アーキテクチャである。
非周期問題に対して、フーリエ継続(FC)を利用して正確な勾配法をPINOに適用するアーキテクチャを提案する。
論文 参考訳(メタデータ) (2022-11-29T06:37:54Z) - Incremental Spatial and Spectral Learning of Neural Operators for
Solving Large-Scale PDEs [86.35471039808023]
Incrmental Fourier Neural Operator (iFNO)を導入し、モデルが使用する周波数モードの数を徐々に増加させる。
iFNOは、各種データセット間の一般化性能を維持したり改善したりしながら、トレーニング時間を短縮する。
提案手法は,既存のフーリエニューラル演算子に比べて20%少ない周波数モードを用いて,10%低いテスト誤差を示すとともに,30%高速なトレーニングを実現する。
論文 参考訳(メタデータ) (2022-11-28T09:57:15Z) - Solving Seismic Wave Equations on Variable Velocity Models with Fourier
Neural Operator [3.2307366446033945]
本稿では,FNOに基づく解法を効率的に学習するための新しいフレームワークであるFourier Neural operator (PFNO)を提案する。
数値実験により、複雑な速度モデルによるFNOとPFNOの精度が示された。
PFNOは、従来の有限差分法と比較して、大規模なテストデータセットの計算効率が高いことを認めている。
論文 参考訳(メタデータ) (2022-09-25T22:25:57Z) - Accelerated Training of Physics Informed Neural Networks (PINNs) using
Meshless Discretizations [0.0]
物理インフォームドニューラルネットワーク(PINN)の高速化学習のための新しい手法を提案する。
DT-PINNでは、GPU上でfp64を使用すると、同等の精度でfp32バニラ-PINNよりもトレーニング時間が大幅に短縮されることを示す。
以上の結果から,fp64 DT-PINNは,fp32バニラ-PINNよりもコスト精度が高いことがわかった。
論文 参考訳(メタデータ) (2022-05-19T06:07:01Z) - Factorized Fourier Neural Operators [77.47313102926017]
Factorized Fourier Neural Operator (F-FNO) は偏微分方程式をシミュレートする学習法である。
我々は,数値解法よりも桁違いに高速に動作しながら,誤差率2%を維持していることを示す。
論文 参考訳(メタデータ) (2021-11-27T03:34:13Z) - U-FNO -- an enhanced Fourier neural operator based-deep learning model
for multiphase flow [43.572675744374415]
多相フロー問題を解くための拡張フーリエニューラル演算子U-FNOを提案する。
U-FNOアーキテクチャは従来のCNNとオリジナルFNOの両方の利点があり、より正確で効率的な性能を提供する。
訓練されたU-FNOは、従来の数値シミュレータと比較して1万倍の速度でガス飽和と圧力上昇を予測する。
論文 参考訳(メタデータ) (2021-09-03T17:52:25Z) - Fourier Neural Operator for Parametric Partial Differential Equations [57.90284928158383]
積分カーネルを直接フーリエ空間でパラメータ化することで、新しいニューラル演算子を定式化する。
バーガースの方程式、ダーシー流、ナビエ・ストークス方程式の実験を行う。
従来のPDEソルバに比べて最大3桁高速である。
論文 参考訳(メタデータ) (2020-10-18T00:34:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。