論文の概要: Toward a Better Understanding of Fourier Neural Operators: Analysis and Improvement from a Spectral Perspective
- arxiv url: http://arxiv.org/abs/2404.07200v1
- Date: Wed, 10 Apr 2024 17:58:04 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-11 13:42:08.023436
- Title: Toward a Better Understanding of Fourier Neural Operators: Analysis and Improvement from a Spectral Perspective
- Title(参考訳): フーリエニューラル演算子のより良い理解に向けて:スペクトルから見た解析と改善
- Authors: Shaoxiang Qin, Fuyuan Lyu, Wenhui Peng, Dingyang Geng, Ju Wang, Naiping Gao, Xue Liu, Liangzhu Leon Wang,
- Abstract要約: 本稿では、スペクトル分析により、CNNに対するFNOの優位性を解明するための明らかな実証的証拠を提示する。
SpecBoostは、複数のFNOを用いて高周波情報をよりよくキャプチャするアンサンブル学習フレームワークである。
SpecBoostは様々なPDEアプリケーションにおいてFNOの予測精度を著しく向上し、最大71%の改善を実現している。
- 参考スコア(独自算出の注目度): 3.3878162183560665
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In solving partial differential equations (PDEs), Fourier Neural Operators (FNOs) have exhibited notable effectiveness compared to Convolutional Neural Networks (CNNs). This paper presents clear empirical evidence through spectral analysis to elucidate the superiority of FNO over CNNs: FNO is significantly more capable of learning low-frequencies. This empirical evidence also unveils FNO's distinct low-frequency bias, which limits FNO's effectiveness in learning high-frequency information from PDE data. To tackle this challenge, we introduce SpecBoost, an ensemble learning framework that employs multiple FNOs to better capture high-frequency information. Specifically, a secondary FNO is utilized to learn the overlooked high-frequency information from the prediction residual of the initial FNO. Experiments demonstrate that SpecBoost noticeably enhances FNO's prediction accuracy on diverse PDE applications, achieving an up to 71% improvement.
- Abstract(参考訳): 偏微分方程式(PDE)の解法において、フーリエニューラルネットワーク(FNO)は畳み込みニューラルネットワーク(CNN)と比較して顕著な効果を示した。
本稿では、スペクトル分析により、FNOのCNNに対する優位性を明らかにすることにより、FNOの低周波数学習能力が著しく向上することを示す。
この実証的な証拠はまた、FNOの顕著な低周波バイアスを明らかにしており、これはPDEデータから高周波情報を学ぶ際のFNOの有効性を制限している。
この課題に対処するために、複数のFNOを用いて高周波情報をよりよくキャプチャするアンサンブル学習フレームワークであるSpecBoostを紹介した。
具体的には、二次FNOを用いて、初期FNOの予測残差から見落としている高周波情報を学習する。
SpecBoostは様々なPDEアプリケーションにおいてFNOの予測精度を著しく向上し、最大71%の改善を実現している。
関連論文リスト
- Understanding and Mitigating Extrapolation Failures in Physics-Informed
Neural Networks [1.1510009152620668]
異なるタイプのPDEの代表的な集合上でのPINNの補間挙動について検討する。
その結果,外挿障害は解関数の高周波数によるものではなく,フーリエスペクトルの時間的支持の変化によるものであることがわかった。
論文 参考訳(メタデータ) (2023-06-15T20:08:42Z) - Investigations on convergence behaviour of Physics Informed Neural
Networks across spectral ranges and derivative orders [0.0]
ニューラルカーネル・タンジェント(NTK)理論からの重要な推論は、スペクトルバイアス(SB)の存在である。
SBは、完全に接続されたニューラルネットワーク(ANN)のターゲット関数の低周波成分であり、トレーニング中の高周波よりもかなり高速に学習される。
これは、非常に低い学習率パラメータを持つ平均平方誤差(MSE)損失関数に対して確立される。
正規化条件下では、PINNは強いスペクトルバイアスを示し、これは微分方程式の順序によって増加することが確証されている。
論文 参考訳(メタデータ) (2023-01-07T06:31:28Z) - Incremental Spatial and Spectral Learning of Neural Operators for
Solving Large-Scale PDEs [86.35471039808023]
Incrmental Fourier Neural Operator (iFNO)を導入し、モデルが使用する周波数モードの数を徐々に増加させる。
iFNOは、各種データセット間の一般化性能を維持したり改善したりしながら、トレーニング時間を短縮する。
提案手法は,既存のフーリエニューラル演算子に比べて20%少ない周波数モードを用いて,10%低いテスト誤差を示すとともに,30%高速なトレーニングを実現する。
論文 参考訳(メタデータ) (2022-11-28T09:57:15Z) - Momentum Diminishes the Effect of Spectral Bias in Physics-Informed
Neural Networks [72.09574528342732]
物理インフォームドニューラルネットワーク(PINN)アルゴリズムは、偏微分方程式(PDE)を含む幅広い問題を解く上で有望な結果を示している。
彼らはしばしば、スペクトルバイアスと呼ばれる現象のために、ターゲット関数が高周波の特徴を含むとき、望ましい解に収束しない。
本研究は, 運動量による勾配降下下で進化するPINNのトレーニングダイナミクスを, NTK(Neural Tangent kernel)を用いて研究するものである。
論文 参考訳(メタデータ) (2022-06-29T19:03:10Z) - Evaluating the Adversarial Robustness for Fourier Neural Operators [78.36413169647408]
フーリエ・ニューラル・オペレータ(FNO)は、ゼロショット超解像で乱流をシミュレートした最初の人物である。
我々はノルム有界データ入力摂動に基づくFNOの逆例を生成する。
以上の結果から,モデルの強靭性は摂動レベルの増加とともに急速に低下することが明らかとなった。
論文 参考訳(メタデータ) (2022-04-08T19:19:42Z) - The Spectral Bias of Polynomial Neural Networks [63.27903166253743]
PNN(Polynomial Neural Network)は、高頻度情報を重要視する画像生成と顔認識に特に有効であることが示されている。
これまでの研究では、ニューラルネットワークが低周波関数に対して$textitspectral bias$を示しており、トレーニング中に低周波成分のより高速な学習をもたらすことが示されている。
このような研究に触発されて、我々はPNNのTangent Kernel(NTK)のスペクトル分析を行う。
我々は、最近提案されたPNNのパラメトリゼーションである$Pi$-Netファミリがスピードアップすることを発見した。
論文 参考訳(メタデータ) (2022-02-27T23:12:43Z) - Overview frequency principle/spectral bias in deep learning [3.957124094805574]
深層ニューラルネットワーク(DNN)の学習行動の周波数原理(F-Principle)を示す。
F-原則は1次元の合成データで最初に実証され、続いて高次元の実際のデータセットで検証される。
この低周波バイアスは、低周波関数の学習におけるニューラルネットワークの強みと、高周波関数の学習におけるその欠如を明らかにする。
論文 参考訳(メタデータ) (2022-01-19T03:08:33Z) - Factorized Fourier Neural Operators [77.47313102926017]
Factorized Fourier Neural Operator (F-FNO) は偏微分方程式をシミュレートする学習法である。
我々は,数値解法よりも桁違いに高速に動作しながら,誤差率2%を維持していることを示す。
論文 参考訳(メタデータ) (2021-11-27T03:34:13Z) - Incorporating NODE with Pre-trained Neural Differential Operator for
Learning Dynamics [73.77459272878025]
ニューラル微分演算子(NDO)の事前学習による動的学習における教師付き信号の強化を提案する。
NDOは記号関数のクラスで事前訓練され、これらの関数の軌跡サンプルとそれらの導関数とのマッピングを学習する。
我々は,NDOの出力が,ライブラリの複雑さを適切に調整することで,基礎となる真理微分を適切に近似できることを理論的に保証する。
論文 参考訳(メタデータ) (2021-06-08T08:04:47Z) - Frequency Principle in Deep Learning Beyond Gradient-descent-based
Training [0.0]
最近、周波数パースペクティブは深層学習の理解を前進させる。
ディープニューラルネットワーク(DNN)が低周波数から高周波数のターゲット関数、すなわち周波数原理(F-Principle)に適合することが広く確認されている。
グラデーション・ディセント・トレーニングにおけるf原理の検討
グラデーションベースのトレーニングがF原則に必要な条件であるかどうかは不明である。
論文 参考訳(メタデータ) (2021-01-04T03:11:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。