論文の概要: Incremental Fourier Neural Operator

• arxiv url: http://arxiv.org/abs/2211.15188v1
• Date: Mon, 28 Nov 2022 09:57:15 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-29 19:42:50.328477
• Title: Incremental Fourier Neural Operator
• Title（参考訳）: インクリメンタルフーリエニューラルオペレータ
• Authors: Jiawei Zhao, Robert Joseph George, Yifei Zhang, Zongyi Li, Anima Anandkumar
• Abstract要約: 本稿では,インクリメンタルフーリエニューラル演算子 (IFNO) を提案する。 IFNOは、標準的なFNOと比較して計算コストを35%削減しつつ、より良い一般化(L2損失のテストで約15%削減)を達成する。
• 参考スコア（独自算出の注目度）: 68.50317488520115
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recently, neural networks have proven their impressive ability to solve partial differential equations (PDEs). Among them, Fourier neural operator (FNO) has shown success in learning solution operators for highly non-linear problems such as turbulence flow. FNO is discretization-invariant, where it can be trained on low-resolution data and generalizes to problems with high-resolution. This property is related to the low-pass filters in FNO, where only a limited number of frequency modes are selected to propagate information. However, it is still a challenge to select an appropriate number of frequency modes and training resolution for different PDEs. Too few frequency modes and low-resolution data hurt generalization, while too many frequency modes and high-resolution data are computationally expensive and lead to over-fitting. To this end, we propose Incremental Fourier Neural Operator (IFNO), which augments both the frequency modes and data resolution incrementally during training. We show that IFNO achieves better generalization (around 15% reduction on testing L2 loss) while reducing the computational cost by 35%, compared to the standard FNO. In addition, we observe that IFNO follows the behavior of implicit regularization in FNO, which explains its excellent generalization ability.
• Abstract（参考訳）: 近年、ニューラルネットワークは偏微分方程式(pdes)を解く能力が証明されている。 中でもフーリエニューラル演算子(FNO)は乱流などの非線形問題に対する学習ソリューション演算子として成功している。 FNOは離散化不変であり、低解像度のデータをトレーニングし、高解像度の問題を一般化することができる。 この特性は、情報伝達のために限られた周波数モードのみを選択するFNOの低域フィルタと関連している。 しかし、異なるPDEに対して適切な回数の周波数モードとトレーニング解像度を選択することは依然として課題である。 周波数モードと低解像度データが多すぎると一般化を損なうが、多くの周波数モードと高解像度データは計算に高価であり、過度に適合する。 そこで本研究では,訓練中の周波数モードとデータ解像度を漸進的に拡張するインクリメンタルフーリエニューラル演算子(ifno)を提案する。 IFNOは,標準FNOに比べて計算コストを35%削減しつつ,より優れた一般化(L2損失テストの15%削減)を実現する。 さらに,IFNOはFNOにおける暗黙の正則化の挙動に従い,その優れた一般化能力を説明する。

関連論文リスト

• DiffFNO: Diffusion Fourier Neural Operator [8.895165270489167]
  重み付きフーリエニューラル演算子(WFNO)により強化された任意のスケール超解像のための新しい拡散フレームワークDiffFNOを紹介する。 DiffFNOは、PSNRの2～4dBのマージンで、様々なスケーリング要因にまたがる既存の手法よりも優れた、最先端のSOTA(State-of-the-art)結果が得られることを示す。 提案手法は,高精度かつ計算効率の両面において,超解像の新たな標準を定めている。
  論文  参考訳（メタデータ） (2024-11-15T03:14:11Z)
• Toward a Better Understanding of Fourier Neural Operators from a Spectral Perspective [4.315136713224842]
  SpecB-FNOは、様々なPDEアプリケーションで予測精度を向上し、平均50%の改善を実現している。 本稿では,FNOのスペクトル解析による大規模カーネルの難易度に関する実証的な知見を提供する。
  論文  参考訳（メタデータ） (2024-04-10T17:58:04Z)
• Multi-Grid Tensorized Fourier Neural Operator for High-Resolution PDEs [93.82811501035569]
  本稿では,メモリ要求を低減し,より一般化したデータ効率・並列化可能な演算子学習手法を提案する。 MG-TFNOは、実世界の実世界の現象の局所的構造と大域的構造を活用することで、大規模な分解能にスケールする。 乱流ナビエ・ストークス方程式において150倍以上の圧縮で誤差の半分以下を達成できる優れた性能を示す。
  論文  参考訳（メタデータ） (2023-09-29T20:18:52Z)
• Transform Once: Efficient Operator Learning in Frequency Domain [69.74509540521397]
  本研究では、周波数領域の構造を利用して、空間や時間における長距離相関を効率的に学習するために設計されたディープニューラルネットワークについて検討する。 この研究は、単一変換による周波数領域学習のための青写真を導入している。
  論文  参考訳（メタデータ） (2022-11-26T01:56:05Z)
• Blending Neural Operators and Relaxation Methods in PDE Numerical Solvers [3.2712166248850685]
  HINTSは偏微分方程式のハイブリッド、反復、数値、移乗可能な解法である。 DeepONetのスペクトルバイアスを利用して固有モードのスペクトル間の収束挙動のバランスをとる。 離散化、計算領域、境界条件に関して柔軟である。
  論文  参考訳（メタデータ） (2022-08-28T19:07:54Z)
• Momentum Diminishes the Effect of Spectral Bias in Physics-Informed Neural Networks [72.09574528342732]
  物理インフォームドニューラルネットワーク(PINN)アルゴリズムは、偏微分方程式(PDE)を含む幅広い問題を解く上で有望な結果を示している。 彼らはしばしば、スペクトルバイアスと呼ばれる現象のために、ターゲット関数が高周波の特徴を含むとき、望ましい解に収束しない。 本研究は, 運動量による勾配降下下で進化するPINNのトレーニングダイナミクスを, NTK(Neural Tangent kernel)を用いて研究するものである。
  論文  参考訳（メタデータ） (2022-06-29T19:03:10Z)
• Factorized Fourier Neural Operators [77.47313102926017]
  Factorized Fourier Neural Operator (F-FNO) は偏微分方程式をシミュレートする学習法である。 我々は,数値解法よりも桁違いに高速に動作しながら,誤差率2%を維持していることを示す。
  論文  参考訳（メタデータ） (2021-11-27T03:34:13Z)
• Learning Frequency Domain Approximation for Binary Neural Networks [68.79904499480025]
  フーリエ周波数領域における符号関数の勾配を正弦関数の組み合わせを用いて推定し,BNNの訓練を行う。 いくつかのベンチマークデータセットとニューラルネットワークの実験により、この手法で学習したバイナリネットワークが最先端の精度を達成することが示されている。
  論文  参考訳（メタデータ） (2021-03-01T08:25:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。