論文の概要: Toward a Better Understanding of Fourier Neural Operators: Analysis and Improvement from a Spectral Perspective

• arxiv url: http://arxiv.org/abs/2404.07200v1
• Date: Wed, 10 Apr 2024 17:58:04 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-11 13:42:08.023436
• Title: Toward a Better Understanding of Fourier Neural Operators: Analysis and Improvement from a Spectral Perspective
• Title（参考訳）: フーリエニューラル演算子のより良い理解に向けて:スペクトルから見た解析と改善
• Authors: Shaoxiang Qin, Fuyuan Lyu, Wenhui Peng, Dingyang Geng, Ju Wang, Naiping Gao, Xue Liu, Liangzhu Leon Wang,
• Abstract要約: 本稿では、スペクトル分析により、CNNに対するFNOの優位性を解明するための明らかな実証的証拠を提示する。 SpecBoostは、複数のFNOを用いて高周波情報をよりよくキャプチャするアンサンブル学習フレームワークである。 SpecBoostは様々なPDEアプリケーションにおいてFNOの予測精度を著しく向上し、最大71%の改善を実現している。
• 参考スコア（独自算出の注目度）: 3.3878162183560665
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In solving partial differential equations (PDEs), Fourier Neural Operators (FNOs) have exhibited notable effectiveness compared to Convolutional Neural Networks (CNNs). This paper presents clear empirical evidence through spectral analysis to elucidate the superiority of FNO over CNNs: FNO is significantly more capable of learning low-frequencies. This empirical evidence also unveils FNO's distinct low-frequency bias, which limits FNO's effectiveness in learning high-frequency information from PDE data. To tackle this challenge, we introduce SpecBoost, an ensemble learning framework that employs multiple FNOs to better capture high-frequency information. Specifically, a secondary FNO is utilized to learn the overlooked high-frequency information from the prediction residual of the initial FNO. Experiments demonstrate that SpecBoost noticeably enhances FNO's prediction accuracy on diverse PDE applications, achieving an up to 71% improvement.
• Abstract（参考訳）: 偏微分方程式(PDE)の解法において、フーリエニューラルネットワーク(FNO)は畳み込みニューラルネットワーク(CNN)と比較して顕著な効果を示した。 本稿では、スペクトル分析により、FNOのCNNに対する優位性を明らかにすることにより、FNOの低周波数学習能力が著しく向上することを示す。 この実証的な証拠はまた、FNOの顕著な低周波バイアスを明らかにしており、これはPDEデータから高周波情報を学ぶ際のFNOの有効性を制限している。 この課題に対処するために、複数のFNOを用いて高周波情報をよりよくキャプチャするアンサンブル学習フレームワークであるSpecBoostを紹介した。 具体的には、二次FNOを用いて、初期FNOの予測残差から見落としている高周波情報を学習する。 SpecBoostは様々なPDEアプリケーションにおいてFNOの予測精度を著しく向上し、最大71%の改善を実現している。

関連論文リスト

• Neural Fourier Modelling: A Highly Compact Approach to Time-Series Analysis [9.969451740838418]
  時系列解析のためのコンパクトで強力なソリューションであるニューラルフーリエモデリング(NFM)を導入する。 NFM はフーリエ変換 (FT) の2つの重要な性質 (i) 有限長時系列をフーリエ領域の関数としてモデル化する能力 (ii) フーリエ領域内のデータ操作の能力 (ii) に基礎を置いている。 NFMは幅広いタスクで最先端のパフォーマンスを達成しており、テスト時にこれまで見つからなかったサンプリングレートを持つ時系列シナリオに挑戦する。
  論文  参考訳（メタデータ） (2024-10-07T02:39:55Z)
• Solving High Frequency and Multi-Scale PDEs with Gaussian Processes [18.190228010565367]
  PINNは、しばしば高周波およびマルチスケールのPDEを解決するのに苦労する。 我々はこの問題を解決するためにガウス過程(GP)フレームワークを利用する。 我々はKroneckerの製品特性と多線型代数を用いて計算効率とスケーラビリティを向上する。
  論文  参考訳（メタデータ） (2023-11-08T05:26:58Z)
• Understanding and Mitigating Extrapolation Failures in Physics-Informed Neural Networks [1.1510009152620668]
  異なるタイプのPDEの代表的な集合上でのPINNの補間挙動について検討する。 その結果,外挿障害は解関数の高周波数によるものではなく,フーリエスペクトルの時間的支持の変化によるものであることがわかった。
  論文  参考訳（メタデータ） (2023-06-15T20:08:42Z)
• Fourier Continuation for Exact Derivative Computation in Physics-Informed Neural Operators [53.087564562565774]
  PINOは、偏微分方程式を学習するための有望な実験結果を示す機械学習アーキテクチャである。 非周期問題に対して、フーリエ継続(FC)を利用して正確な勾配法をPINOに適用するアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2022-11-29T06:37:54Z)
• Incremental Spatial and Spectral Learning of Neural Operators for Solving Large-Scale PDEs [86.35471039808023]
  Incrmental Fourier Neural Operator (iFNO)を導入し、モデルが使用する周波数モードの数を徐々に増加させる。 iFNOは、各種データセット間の一般化性能を維持したり改善したりしながら、トレーニング時間を短縮する。 提案手法は,既存のフーリエニューラル演算子に比べて20%少ない周波数モードを用いて,10%低いテスト誤差を示すとともに,30%高速なトレーニングを実現する。
  論文  参考訳（メタデータ） (2022-11-28T09:57:15Z)
• Transform Once: Efficient Operator Learning in Frequency Domain [69.74509540521397]
  本研究では、周波数領域の構造を利用して、空間や時間における長距離相関を効率的に学習するために設計されたディープニューラルネットワークについて検討する。 この研究は、単一変換による周波数領域学習のための青写真を導入している。
  論文  参考訳（メタデータ） (2022-11-26T01:56:05Z)
• Momentum Diminishes the Effect of Spectral Bias in Physics-Informed Neural Networks [72.09574528342732]
  物理インフォームドニューラルネットワーク(PINN)アルゴリズムは、偏微分方程式(PDE)を含む幅広い問題を解く上で有望な結果を示している。 彼らはしばしば、スペクトルバイアスと呼ばれる現象のために、ターゲット関数が高周波の特徴を含むとき、望ましい解に収束しない。 本研究は, 運動量による勾配降下下で進化するPINNのトレーニングダイナミクスを, NTK(Neural Tangent kernel)を用いて研究するものである。
  論文  参考訳（メタデータ） (2022-06-29T19:03:10Z)
• Factorized Fourier Neural Operators [77.47313102926017]
  Factorized Fourier Neural Operator (F-FNO) は偏微分方程式をシミュレートする学習法である。 我々は,数値解法よりも桁違いに高速に動作しながら,誤差率2%を維持していることを示す。
  論文  参考訳（メタデータ） (2021-11-27T03:34:13Z)
• Learning Frequency Domain Approximation for Binary Neural Networks [68.79904499480025]
  フーリエ周波数領域における符号関数の勾配を正弦関数の組み合わせを用いて推定し,BNNの訓練を行う。 いくつかのベンチマークデータセットとニューラルネットワークの実験により、この手法で学習したバイナリネットワークが最先端の精度を達成することが示されている。
  論文  参考訳（メタデータ） (2021-03-01T08:25:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。