論文の概要: Incremental Spatial and Spectral Learning of Neural Operators for
Solving Large-Scale PDEs
- arxiv url: http://arxiv.org/abs/2211.15188v4
- Date: Tue, 5 Mar 2024 04:42:21 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-07 04:06:20.186399
- Title: Incremental Spatial and Spectral Learning of Neural Operators for
Solving Large-Scale PDEs
- Title(参考訳): 大規模PDE解法のためのニューラル演算子のインクリメンタル空間とスペクトル学習
- Authors: Robert Joseph George, Jiawei Zhao, Jean Kossaifi, Zongyi Li, Anima
Anandkumar
- Abstract要約: Incrmental Fourier Neural Operator (iFNO)を導入し、モデルが使用する周波数モードの数を徐々に増加させる。
iFNOは、各種データセット間の一般化性能を維持したり改善したりしながら、トレーニング時間を短縮する。
提案手法は,既存のフーリエニューラル演算子に比べて20%少ない周波数モードを用いて,10%低いテスト誤差を示すとともに,30%高速なトレーニングを実現する。
- 参考スコア(独自算出の注目度): 86.35471039808023
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Fourier Neural Operators (FNO) offer a principled approach to solving
challenging partial differential equations (PDE) such as turbulent flows. At
the core of FNO is a spectral layer that leverages a discretization-convergent
representation in the Fourier domain, and learns weights over a fixed set of
frequencies. However, training FNO presents two significant challenges,
particularly in large-scale, high-resolution applications: (i) Computing
Fourier transform on high-resolution inputs is computationally intensive but
necessary since fine-scale details are needed for solving many PDEs, such as
fluid flows, (ii) selecting the relevant set of frequencies in the spectral
layers is challenging, and too many modes can lead to overfitting, while too
few can lead to underfitting. To address these issues, we introduce the
Incremental Fourier Neural Operator (iFNO), which progressively increases both
the number of frequency modes used by the model as well as the resolution of
the training data. We empirically show that iFNO reduces total training time
while maintaining or improving generalization performance across various
datasets. Our method demonstrates a 10% lower testing error, using 20% fewer
frequency modes compared to the existing Fourier Neural Operator, while also
achieving a 30% faster training.
- Abstract(参考訳): Fourier Neural Operators (FNO) は乱流のような偏微分方程式(PDE)を解くための原理的なアプローチを提供する。
FNOの中核は、フーリエ領域における離散化収束表現を利用するスペクトル層であり、一定の周波数の集合について重みを学習する。
しかし、FNOの訓練には2つの重要な課題がある。
(i)高分解能入力に対するフーリエ変換は計算量が多いが,流体の流れなど多くのPDEを解くためには細部細部が必要である。
(II)スペクトル層における関連する周波数のセットの選択は困難であり、過度に多くのモードが過度に適合するが、過度に過度に不適合することがある。
これらの問題に対処するために、インクリメンタルフーリエニューラルオペレータ(iFNO)を導入し、モデルが使用する周波数モードの数とトレーニングデータの解像度の両方を徐々に増加させる。
iFNOは各種データセット間の一般化性能を維持したり改善したりしながら、トレーニング時間を短縮する。
提案手法は,既存のフーリエニューラル演算子に比べて周波数モードが20%少なく,30%高速トレーニングを実現するとともに,テスト誤差が10%低減することを示す。
関連論文リスト
- Local Convolution Enhanced Global Fourier Neural Operator For Multiscale
Dynamic Spaces Prediction [19.56790304454538]
改良されたフーリエ層とアテンション機構を統合した新しい階層型ニューラル演算子を提案する。
既存のPDEベンチマーク、特に高速係数の変動を特徴とする方程式において、優れた性能に達する。
論文 参考訳(メタデータ) (2023-11-21T11:04:13Z) - Speeding up Fourier Neural Operators via Mixed Precision [94.01161800203221]
フーリエニューラル作用素 (FNO) は偏微分方程式 (PDE) 解作用素の代理写像を学習する強力な手法である。
高解像度のデータポイントを必要とする多くの現実世界アプリケーションにとって、トレーニング時間とメモリ使用量は重大なボトルネックとなる。
本研究では,FNOの混合精度トレーニングの数値安定性について検討し,トレーニング時間とメモリ使用量を大幅に削減するトレーニングルーチンを考案した。
論文 参考訳(メタデータ) (2023-07-27T17:42:06Z) - Transform Once: Efficient Operator Learning in Frequency Domain [69.74509540521397]
本研究では、周波数領域の構造を利用して、空間や時間における長距離相関を効率的に学習するために設計されたディープニューラルネットワークについて検討する。
この研究は、単一変換による周波数領域学習のための青写真を導入している。
論文 参考訳(メタデータ) (2022-11-26T01:56:05Z) - Solving Seismic Wave Equations on Variable Velocity Models with Fourier
Neural Operator [3.2307366446033945]
本稿では,FNOに基づく解法を効率的に学習するための新しいフレームワークであるFourier Neural operator (PFNO)を提案する。
数値実験により、複雑な速度モデルによるFNOとPFNOの精度が示された。
PFNOは、従来の有限差分法と比較して、大規模なテストデータセットの計算効率が高いことを認めている。
論文 参考訳(メタデータ) (2022-09-25T22:25:57Z) - Momentum Diminishes the Effect of Spectral Bias in Physics-Informed
Neural Networks [72.09574528342732]
物理インフォームドニューラルネットワーク(PINN)アルゴリズムは、偏微分方程式(PDE)を含む幅広い問題を解く上で有望な結果を示している。
彼らはしばしば、スペクトルバイアスと呼ばれる現象のために、ターゲット関数が高周波の特徴を含むとき、望ましい解に収束しない。
本研究は, 運動量による勾配降下下で進化するPINNのトレーニングダイナミクスを, NTK(Neural Tangent kernel)を用いて研究するものである。
論文 参考訳(メタデータ) (2022-06-29T19:03:10Z) - Factorized Fourier Neural Operators [77.47313102926017]
Factorized Fourier Neural Operator (F-FNO) は偏微分方程式をシミュレートする学習法である。
我々は,数値解法よりも桁違いに高速に動作しながら,誤差率2%を維持していることを示す。
論文 参考訳(メタデータ) (2021-11-27T03:34:13Z) - Learning Frequency Domain Approximation for Binary Neural Networks [68.79904499480025]
フーリエ周波数領域における符号関数の勾配を正弦関数の組み合わせを用いて推定し,BNNの訓練を行う。
いくつかのベンチマークデータセットとニューラルネットワークの実験により、この手法で学習したバイナリネットワークが最先端の精度を達成することが示されている。
論文 参考訳(メタデータ) (2021-03-01T08:25:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。