論文の概要: Incremental Fourier Neural Operator
- arxiv url: http://arxiv.org/abs/2211.15188v1
- Date: Mon, 28 Nov 2022 09:57:15 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-29 19:42:50.328477
- Title: Incremental Fourier Neural Operator
- Title(参考訳): インクリメンタルフーリエニューラルオペレータ
- Authors: Jiawei Zhao, Robert Joseph George, Yifei Zhang, Zongyi Li, Anima
Anandkumar
- Abstract要約: 本稿では,インクリメンタルフーリエニューラル演算子 (IFNO) を提案する。
IFNOは、標準的なFNOと比較して計算コストを35%削減しつつ、より良い一般化(L2損失のテストで約15%削減)を達成する。
- 参考スコア(独自算出の注目度): 68.50317488520115
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Recently, neural networks have proven their impressive ability to solve
partial differential equations (PDEs). Among them, Fourier neural operator
(FNO) has shown success in learning solution operators for highly non-linear
problems such as turbulence flow. FNO is discretization-invariant, where it can
be trained on low-resolution data and generalizes to problems with
high-resolution. This property is related to the low-pass filters in FNO, where
only a limited number of frequency modes are selected to propagate information.
However, it is still a challenge to select an appropriate number of frequency
modes and training resolution for different PDEs. Too few frequency modes and
low-resolution data hurt generalization, while too many frequency modes and
high-resolution data are computationally expensive and lead to over-fitting. To
this end, we propose Incremental Fourier Neural Operator (IFNO), which augments
both the frequency modes and data resolution incrementally during training. We
show that IFNO achieves better generalization (around 15% reduction on testing
L2 loss) while reducing the computational cost by 35%, compared to the standard
FNO. In addition, we observe that IFNO follows the behavior of implicit
regularization in FNO, which explains its excellent generalization ability.
- Abstract(参考訳): 近年、ニューラルネットワークは偏微分方程式(pdes)を解く能力が証明されている。
中でもフーリエニューラル演算子(FNO)は乱流などの非線形問題に対する学習ソリューション演算子として成功している。
FNOは離散化不変であり、低解像度のデータをトレーニングし、高解像度の問題を一般化することができる。
この特性は、情報伝達のために限られた周波数モードのみを選択するFNOの低域フィルタと関連している。
しかし、異なるPDEに対して適切な回数の周波数モードとトレーニング解像度を選択することは依然として課題である。
周波数モードと低解像度データが多すぎると一般化を損なうが、多くの周波数モードと高解像度データは計算に高価であり、過度に適合する。
そこで本研究では,訓練中の周波数モードとデータ解像度を漸進的に拡張するインクリメンタルフーリエニューラル演算子(ifno)を提案する。
IFNOは,標準FNOに比べて計算コストを35%削減しつつ,より優れた一般化(L2損失テストの15%削減)を実現する。
さらに,IFNOはFNOにおける暗黙の正則化の挙動に従い,その優れた一般化能力を説明する。
関連論文リスト
- Local Convolution Enhanced Global Fourier Neural Operator For Multiscale
Dynamic Spaces Prediction [19.56790304454538]
改良されたフーリエ層とアテンション機構を統合した新しい階層型ニューラル演算子を提案する。
既存のPDEベンチマーク、特に高速係数の変動を特徴とする方程式において、優れた性能に達する。
論文 参考訳(メタデータ) (2023-11-21T11:04:13Z) - Speeding up Fourier Neural Operators via Mixed Precision [94.01161800203221]
フーリエニューラル作用素 (FNO) は偏微分方程式 (PDE) 解作用素の代理写像を学習する強力な手法である。
高解像度のデータポイントを必要とする多くの現実世界アプリケーションにとって、トレーニング時間とメモリ使用量は重大なボトルネックとなる。
本研究では,FNOの混合精度トレーニングの数値安定性について検討し,トレーニング時間とメモリ使用量を大幅に削減するトレーニングルーチンを考案した。
論文 参考訳(メタデータ) (2023-07-27T17:42:06Z) - Transform Once: Efficient Operator Learning in Frequency Domain [69.74509540521397]
本研究では、周波数領域の構造を利用して、空間や時間における長距離相関を効率的に学習するために設計されたディープニューラルネットワークについて検討する。
この研究は、単一変換による周波数領域学習のための青写真を導入している。
論文 参考訳(メタデータ) (2022-11-26T01:56:05Z) - Solving Seismic Wave Equations on Variable Velocity Models with Fourier
Neural Operator [3.2307366446033945]
本稿では,FNOに基づく解法を効率的に学習するための新しいフレームワークであるFourier Neural operator (PFNO)を提案する。
数値実験により、複雑な速度モデルによるFNOとPFNOの精度が示された。
PFNOは、従来の有限差分法と比較して、大規模なテストデータセットの計算効率が高いことを認めている。
論文 参考訳(メタデータ) (2022-09-25T22:25:57Z) - Momentum Diminishes the Effect of Spectral Bias in Physics-Informed
Neural Networks [72.09574528342732]
物理インフォームドニューラルネットワーク(PINN)アルゴリズムは、偏微分方程式(PDE)を含む幅広い問題を解く上で有望な結果を示している。
彼らはしばしば、スペクトルバイアスと呼ばれる現象のために、ターゲット関数が高周波の特徴を含むとき、望ましい解に収束しない。
本研究は, 運動量による勾配降下下で進化するPINNのトレーニングダイナミクスを, NTK(Neural Tangent kernel)を用いて研究するものである。
論文 参考訳(メタデータ) (2022-06-29T19:03:10Z) - Factorized Fourier Neural Operators [77.47313102926017]
Factorized Fourier Neural Operator (F-FNO) は偏微分方程式をシミュレートする学習法である。
我々は,数値解法よりも桁違いに高速に動作しながら,誤差率2%を維持していることを示す。
論文 参考訳(メタデータ) (2021-11-27T03:34:13Z) - Learning Frequency Domain Approximation for Binary Neural Networks [68.79904499480025]
フーリエ周波数領域における符号関数の勾配を正弦関数の組み合わせを用いて推定し,BNNの訓練を行う。
いくつかのベンチマークデータセットとニューラルネットワークの実験により、この手法で学習したバイナリネットワークが最先端の精度を達成することが示されている。
論文 参考訳(メタデータ) (2021-03-01T08:25:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。