論文の概要: Incremental Spatial and Spectral Learning of Neural Operators for Solving Large-Scale PDEs

• arxiv url: http://arxiv.org/abs/2211.15188v4
• Date: Tue, 5 Mar 2024 04:42:21 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-07 04:06:20.186399
• Title: Incremental Spatial and Spectral Learning of Neural Operators for Solving Large-Scale PDEs
• Title（参考訳）: 大規模PDE解法のためのニューラル演算子のインクリメンタル空間とスペクトル学習
• Authors: Robert Joseph George, Jiawei Zhao, Jean Kossaifi, Zongyi Li, Anima Anandkumar
• Abstract要約: Incrmental Fourier Neural Operator (iFNO)を導入し、モデルが使用する周波数モードの数を徐々に増加させる。 iFNOは、各種データセット間の一般化性能を維持したり改善したりしながら、トレーニング時間を短縮する。 提案手法は,既存のフーリエニューラル演算子に比べて20%少ない周波数モードを用いて,10%低いテスト誤差を示すとともに,30%高速なトレーニングを実現する。
• 参考スコア（独自算出の注目度）: 86.35471039808023
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Fourier Neural Operators (FNO) offer a principled approach to solving challenging partial differential equations (PDE) such as turbulent flows. At the core of FNO is a spectral layer that leverages a discretization-convergent representation in the Fourier domain, and learns weights over a fixed set of frequencies. However, training FNO presents two significant challenges, particularly in large-scale, high-resolution applications: (i) Computing Fourier transform on high-resolution inputs is computationally intensive but necessary since fine-scale details are needed for solving many PDEs, such as fluid flows, (ii) selecting the relevant set of frequencies in the spectral layers is challenging, and too many modes can lead to overfitting, while too few can lead to underfitting. To address these issues, we introduce the Incremental Fourier Neural Operator (iFNO), which progressively increases both the number of frequency modes used by the model as well as the resolution of the training data. We empirically show that iFNO reduces total training time while maintaining or improving generalization performance across various datasets. Our method demonstrates a 10% lower testing error, using 20% fewer frequency modes compared to the existing Fourier Neural Operator, while also achieving a 30% faster training.
• Abstract（参考訳）: Fourier Neural Operators (FNO) は乱流のような偏微分方程式(PDE)を解くための原理的なアプローチを提供する。 FNOの中核は、フーリエ領域における離散化収束表現を利用するスペクトル層であり、一定の周波数の集合について重みを学習する。 しかし、FNOの訓練には2つの重要な課題がある。 (i)高分解能入力に対するフーリエ変換は計算量が多いが,流体の流れなど多くのPDEを解くためには細部細部が必要である。 (II)スペクトル層における関連する周波数のセットの選択は困難であり、過度に多くのモードが過度に適合するが、過度に過度に不適合することがある。 これらの問題に対処するために、インクリメンタルフーリエニューラルオペレータ(iFNO)を導入し、モデルが使用する周波数モードの数とトレーニングデータの解像度の両方を徐々に増加させる。 iFNOは各種データセット間の一般化性能を維持したり改善したりしながら、トレーニング時間を短縮する。 提案手法は,既存のフーリエニューラル演算子に比べて周波数モードが20%少なく,30%高速トレーニングを実現するとともに,テスト誤差が10%低減することを示す。

関連論文リスト

• DiffFNO: Diffusion Fourier Neural Operator [8.895165270489167]
  重み付きフーリエニューラル演算子(WFNO)により強化された任意のスケール超解像のための新しい拡散フレームワークDiffFNOを紹介する。 DiffFNOは、PSNRの2～4dBのマージンで、様々なスケーリング要因にまたがる既存の手法よりも優れた、最先端のSOTA(State-of-the-art)結果が得られることを示す。 提案手法は,高精度かつ計算効率の両面において,超解像の新たな標準を定めている。
  論文  参考訳（メタデータ） (2024-11-15T03:14:11Z)
• Toward a Better Understanding of Fourier Neural Operators from a Spectral Perspective [4.315136713224842]
  SpecB-FNOは、様々なPDEアプリケーションで予測精度を向上し、平均50%の改善を実現している。 本稿では,FNOのスペクトル解析による大規模カーネルの難易度に関する実証的な知見を提供する。
  論文  参考訳（メタデータ） (2024-04-10T17:58:04Z)
• Multi-Grid Tensorized Fourier Neural Operator for High-Resolution PDEs [93.82811501035569]
  本稿では,メモリ要求を低減し,より一般化したデータ効率・並列化可能な演算子学習手法を提案する。 MG-TFNOは、実世界の実世界の現象の局所的構造と大域的構造を活用することで、大規模な分解能にスケールする。 乱流ナビエ・ストークス方程式において150倍以上の圧縮で誤差の半分以下を達成できる優れた性能を示す。
  論文  参考訳（メタデータ） (2023-09-29T20:18:52Z)
• Transform Once: Efficient Operator Learning in Frequency Domain [69.74509540521397]
  本研究では、周波数領域の構造を利用して、空間や時間における長距離相関を効率的に学習するために設計されたディープニューラルネットワークについて検討する。 この研究は、単一変換による周波数領域学習のための青写真を導入している。
  論文  参考訳（メタデータ） (2022-11-26T01:56:05Z)
• Blending Neural Operators and Relaxation Methods in PDE Numerical Solvers [3.2712166248850685]
  HINTSは偏微分方程式のハイブリッド、反復、数値、移乗可能な解法である。 DeepONetのスペクトルバイアスを利用して固有モードのスペクトル間の収束挙動のバランスをとる。 離散化、計算領域、境界条件に関して柔軟である。
  論文  参考訳（メタデータ） (2022-08-28T19:07:54Z)
• Momentum Diminishes the Effect of Spectral Bias in Physics-Informed Neural Networks [72.09574528342732]
  物理インフォームドニューラルネットワーク(PINN)アルゴリズムは、偏微分方程式(PDE)を含む幅広い問題を解く上で有望な結果を示している。 彼らはしばしば、スペクトルバイアスと呼ばれる現象のために、ターゲット関数が高周波の特徴を含むとき、望ましい解に収束しない。 本研究は, 運動量による勾配降下下で進化するPINNのトレーニングダイナミクスを, NTK(Neural Tangent kernel)を用いて研究するものである。
  論文  参考訳（メタデータ） (2022-06-29T19:03:10Z)
• Factorized Fourier Neural Operators [77.47313102926017]
  Factorized Fourier Neural Operator (F-FNO) は偏微分方程式をシミュレートする学習法である。 我々は,数値解法よりも桁違いに高速に動作しながら,誤差率2%を維持していることを示す。
  論文  参考訳（メタデータ） (2021-11-27T03:34:13Z)
• Learning Frequency Domain Approximation for Binary Neural Networks [68.79904499480025]
  フーリエ周波数領域における符号関数の勾配を正弦関数の組み合わせを用いて推定し,BNNの訓練を行う。 いくつかのベンチマークデータセットとニューラルネットワークの実験により、この手法で学習したバイナリネットワークが最先端の精度を達成することが示されている。
  論文  参考訳（メタデータ） (2021-03-01T08:25:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。