論文の概要: Toward a Better Understanding of Fourier Neural Operators from a Spectral Perspective

• arxiv url: http://arxiv.org/abs/2404.07200v2
• Date: Wed, 09 Oct 2024 04:43:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-10 14:27:22.480435
• Title: Toward a Better Understanding of Fourier Neural Operators from a Spectral Perspective
• Title（参考訳）: スペクトルから見たフーリエニューラル演算子のより良い理解に向けて
• Authors: Shaoxiang Qin, Fuyuan Lyu, Wenhui Peng, Dingyang Geng, Ju Wang, Xing Tang, Sylvie Leroyer, Naiping Gao, Xue Liu, Liangzhu Leon Wang,
• Abstract要約: SpecB-FNOは、様々なPDEアプリケーションで予測精度を向上し、平均50%の改善を実現している。 本稿では,FNOのスペクトル解析による大規模カーネルの難易度に関する実証的な知見を提供する。
• 参考スコア（独自算出の注目度）: 4.315136713224842
• License:
• Abstract: In solving partial differential equations (PDEs), Fourier Neural Operators (FNOs) have exhibited notable effectiveness. However, FNO is observed to be ineffective with large Fourier kernels that parameterize more frequencies. Current solutions rely on setting small kernels, restricting FNO's ability to capture complex PDE data in real-world applications. This paper offers empirical insights into FNO's difficulty with large kernels through spectral analysis: FNO exhibits a unique Fourier parameterization bias, excelling at learning dominant frequencies in target data while struggling with non-dominant frequencies. To mitigate such a bias, we propose SpecB-FNO to enhance the capture of non-dominant frequencies by adopting additional residual modules to learn from the previous ones' prediction residuals iteratively. By effectively utilizing large Fourier kernels, SpecB-FNO achieves better prediction accuracy on diverse PDE applications, with an average improvement of 50%.
• Abstract（参考訳）: 偏微分方程式(PDE)の解法において、フーリエニューラル演算子(FNO)は顕著な効果を示した。 しかし、FNOはより多くの周波数をパラメータ化する大きなフーリエ核では効果がない。 現在のソリューションは小さなカーネルの設定に依存しており、FNOが現実世界のアプリケーションで複雑なPDEデータをキャプチャする能力を制限している。 本稿では、FNOのスペクトル分析による大規模カーネルの難易度に関する実証的な知見を提供する: FNOは、非支配的な周波数で苦労しながら、ターゲットデータにおける支配的な周波数を学習するのに優れた、ユニークなフーリエパラメータ化バイアスを示す。 このようなバイアスを軽減するため,従来の予測残差を反復的に学習するために追加の残差モジュールを採用することにより,非支配周波数の捕捉を強化するSpecB-FNOを提案する。 大規模なフーリエカーネルを効果的に活用することにより、SpecB-FNOは様々なPDEアプリケーション上で予測精度を向上し、平均50%の改善を実現している。

関連論文リスト

• Neural Fourier Modelling: A Highly Compact Approach to Time-Series Analysis [9.969451740838418]
  時系列解析のためのコンパクトで強力なソリューションであるニューラルフーリエモデリング(NFM)を導入する。 NFM はフーリエ変換 (FT) の2つの重要な性質 (i) 有限長時系列をフーリエ領域の関数としてモデル化する能力 (ii) フーリエ領域内のデータ操作の能力 (ii) に基礎を置いている。 NFMは幅広いタスクで最先端のパフォーマンスを達成しており、テスト時にこれまで見つからなかったサンプリングレートを持つ時系列シナリオに挑戦する。
  論文  参考訳（メタデータ） (2024-10-07T02:39:55Z)
• Solving High Frequency and Multi-Scale PDEs with Gaussian Processes [18.190228010565367]
  PINNは、しばしば高周波およびマルチスケールのPDEを解決するのに苦労する。 我々はこの問題を解決するためにガウス過程(GP)フレームワークを利用する。 我々はKroneckerの製品特性と多線型代数を用いて計算効率とスケーラビリティを向上する。
  論文  参考訳（メタデータ） (2023-11-08T05:26:58Z)
• Understanding and Mitigating Extrapolation Failures in Physics-Informed Neural Networks [1.1510009152620668]
  異なるタイプのPDEの代表的な集合上でのPINNの補間挙動について検討する。 その結果,外挿障害は解関数の高周波数によるものではなく,フーリエスペクトルの時間的支持の変化によるものであることがわかった。
  論文  参考訳（メタデータ） (2023-06-15T20:08:42Z)
• Fourier Continuation for Exact Derivative Computation in Physics-Informed Neural Operators [53.087564562565774]
  PINOは、偏微分方程式を学習するための有望な実験結果を示す機械学習アーキテクチャである。 非周期問題に対して、フーリエ継続(FC)を利用して正確な勾配法をPINOに適用するアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2022-11-29T06:37:54Z)
• Incremental Spatial and Spectral Learning of Neural Operators for Solving Large-Scale PDEs [86.35471039808023]
  Incrmental Fourier Neural Operator (iFNO)を導入し、モデルが使用する周波数モードの数を徐々に増加させる。 iFNOは、各種データセット間の一般化性能を維持したり改善したりしながら、トレーニング時間を短縮する。 提案手法は,既存のフーリエニューラル演算子に比べて20%少ない周波数モードを用いて,10%低いテスト誤差を示すとともに,30%高速なトレーニングを実現する。
  論文  参考訳（メタデータ） (2022-11-28T09:57:15Z)
• Transform Once: Efficient Operator Learning in Frequency Domain [69.74509540521397]
  本研究では、周波数領域の構造を利用して、空間や時間における長距離相関を効率的に学習するために設計されたディープニューラルネットワークについて検討する。 この研究は、単一変換による周波数領域学習のための青写真を導入している。
  論文  参考訳（メタデータ） (2022-11-26T01:56:05Z)
• Momentum Diminishes the Effect of Spectral Bias in Physics-Informed Neural Networks [72.09574528342732]
  物理インフォームドニューラルネットワーク(PINN)アルゴリズムは、偏微分方程式(PDE)を含む幅広い問題を解く上で有望な結果を示している。 彼らはしばしば、スペクトルバイアスと呼ばれる現象のために、ターゲット関数が高周波の特徴を含むとき、望ましい解に収束しない。 本研究は, 運動量による勾配降下下で進化するPINNのトレーニングダイナミクスを, NTK(Neural Tangent kernel)を用いて研究するものである。
  論文  参考訳（メタデータ） (2022-06-29T19:03:10Z)
• Factorized Fourier Neural Operators [77.47313102926017]
  Factorized Fourier Neural Operator (F-FNO) は偏微分方程式をシミュレートする学習法である。 我々は,数値解法よりも桁違いに高速に動作しながら,誤差率2%を維持していることを示す。
  論文  参考訳（メタデータ） (2021-11-27T03:34:13Z)
• Learning Frequency Domain Approximation for Binary Neural Networks [68.79904499480025]
  フーリエ周波数領域における符号関数の勾配を正弦関数の組み合わせを用いて推定し,BNNの訓練を行う。 いくつかのベンチマークデータセットとニューラルネットワークの実験により、この手法で学習したバイナリネットワークが最先端の精度を達成することが示されている。
  論文  参考訳（メタデータ） (2021-03-01T08:25:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。