論文の概要: LOGLO-FNO: Efficient Learning of Local and Global Features in Fourier Neural Operators

• arxiv url: http://arxiv.org/abs/2504.04260v1
• Date: Sat, 05 Apr 2025 19:35:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-08 14:15:25.878850
• Title: LOGLO-FNO: Efficient Learning of Local and Global Features in Fourier Neural Operators
• Title（参考訳）: LOGLO-FNO:フーリエニューラル演算子における局所的・大域的特徴の効率的な学習
• Authors: Marimuthu Kalimuthu, David Holzmüller, Mathias Niepert,
• Abstract要約: 高周波情報は機械学習における重要な課題である。 ディープニューラルネットワークは、低周波成分の学習に対するいわゆるスペクトルバイアスを示す。 放射結合スペクトル誤差に基づく新しい周波数感受性損失項を提案する。
• 参考スコア（独自算出の注目度）: 20.77877474840923
• License:
• Abstract: Modeling high-frequency information is a critical challenge in scientific machine learning. For instance, fully turbulent flow simulations of Navier-Stokes equations at Reynolds numbers 3500 and above can generate high-frequency signals due to swirling fluid motions caused by eddies and vortices. Faithfully modeling such signals using neural networks depends on accurately reconstructing moderate to high frequencies. However, it has been well known that deep neural nets exhibit the so-called spectral bias toward learning low-frequency components. Meanwhile, Fourier Neural Operators (FNOs) have emerged as a popular class of data-driven models in recent years for solving Partial Differential Equations (PDEs) and for surrogate modeling in general. Although impressive results have been achieved on several PDE benchmark problems, FNOs often perform poorly in learning non-dominant frequencies characterized by local features. This limitation stems from the spectral bias inherent in neural networks and the explicit exclusion of high-frequency modes in FNOs and their variants. Therefore, to mitigate these issues and improve FNO's spectral learning capabilities to represent a broad range of frequency components, we propose two key architectural enhancements: (i) a parallel branch performing local spectral convolutions (ii) a high-frequency propagation module. Moreover, we propose a novel frequency-sensitive loss term based on radially binned spectral errors. This introduction of a parallel branch for local convolutions reduces number of trainable parameters by up to 50% while achieving the accuracy of baseline FNO that relies solely on global convolutions. Experiments on three challenging PDE problems in fluid mechanics and biological pattern formation, and the qualitative and spectral analysis of predictions show the effectiveness of our method over the state-of-the-art neural operator baselines.
• Abstract（参考訳）: 高周波情報のモデリングは、科学機械学習において重要な課題である。 例えば、レイノルズ数3500以上のナヴィエ・ストークス方程式の完全な乱流シミュレーションは、渦と渦による旋回流体運動によって高周波信号を生成することができる。 このような信号をニューラルネットワークを用いて忠実にモデル化することは、適度から高い周波数で正確に再構成することに依存する。 しかし、ディープニューラルネットワークが低周波成分の学習に対していわゆるスペクトルバイアスを示すことはよく知られている。 一方、フーリエ・ニューラル・オペレーター(FNO)は、偏微分方程式(PDE)の解法や代理モデル全般において、近年、一般的なデータ駆動モデルとして出現している。 いくつかのPDEベンチマーク問題で顕著な結果が得られたが、FNOは局所的な特徴を特徴とする非支配周波数の学習において、しばしば性能が良くない。 この制限は、ニューラルネットワークに固有のスペクトルバイアスと、FNOとその変種における高周波モードの明示的な排除に由来する。 したがって、これらの問題を緩和し、FNOのスペクトル学習能力を改善して幅広い周波数成分を表現するために、2つの重要なアーキテクチャ拡張を提案する。 一 局所スペクトル畳み込みを行う平行分枝 (ii)高周波伝搬モジュール。 さらに,放射結合スペクトル誤差に基づく新しい周波数感度損失項を提案する。 この局所的畳み込みのための並列分岐の導入は、グローバルな畳み込みのみに依存するベースラインFNOの精度を達成しつつ、トレーニング可能なパラメータの最大50%を減少させる。 流体力学および生体パターン形成における3つのPDE問題,および予測の質的およびスペクトル分析実験は,最先端のニューラル演算子ベースラインに対する本手法の有効性を示した。

関連論文リスト

• On the study of frequency control and spectral bias in Wavelet-Based Kolmogorov Arnold networks: A path to physics-informed KANs [0.35998666903987897]
  スペクトルバイアス(英: Spectral bias)とは、ニューラルネットワークが初期のトレーニング段階で関数の低周波成分の学習を優先する傾向である。 我々はウェーブレット・コルモゴロフ・アーノルド・ネットワーク(Wav-KAN)のニューラルタンジェント・カーネル(NTK)の固有値を分析し、高周波成分に収束する能力を高める。
  論文  参考訳（メタデータ） (2025-02-01T02:35:12Z)
• Spectral-Refiner: Accurate Fine-Tuning of Spatiotemporal Fourier Neural Operator for Turbulent Flows [6.961408873053586]
  最近の演算子型ニューラルネットワークは、部分微分方程式(PDE)の近似に有望な結果を示している。 これらのニューラルネットワークは、かなりのトレーニング費用を要し、科学や工学の分野において要求される精度を常に達成するとは限らない。
  論文  参考訳（メタデータ） (2024-05-27T14:33:06Z)
• Frequency-Aware Deepfake Detection: Improving Generalizability through Frequency Space Learning [81.98675881423131]
  この研究は、目に見えないディープフェイク画像を効果的に識別できるユニバーサルディープフェイク検出器を開発するという課題に対処する。 既存の周波数ベースのパラダイムは、偽造検出のためにGANパイプラインのアップサンプリング中に導入された周波数レベルのアーティファクトに依存している。 本稿では、周波数領域学習を中心にしたFreqNetと呼ばれる新しい周波数認識手法を導入し、ディープフェイク検出器の一般化性を高めることを目的とする。
  論文  参考訳（メタデータ） (2024-03-12T01:28:00Z)
• A Scalable Walsh-Hadamard Regularizer to Overcome the Low-degree Spectral Bias of Neural Networks [79.28094304325116]
  任意の関数を学習するニューラルネットワークの能力にもかかわらず、勾配降下によって訓練されたモデルは、しばしばより単純な関数に対するバイアスを示す。 我々は、この低度周波数に対するスペクトルバイアスが、現実のデータセットにおけるニューラルネットワークの一般化を実際にいかに損なうかを示す。 本稿では,ニューラルネットワークによる高次周波数学習を支援する,スケーラブルな機能正規化手法を提案する。
  論文  参考訳（メタデータ） (2023-05-16T20:06:01Z)
• Incremental Spatial and Spectral Learning of Neural Operators for Solving Large-Scale PDEs [86.35471039808023]
  Incrmental Fourier Neural Operator (iFNO)を導入し、モデルが使用する周波数モードの数を徐々に増加させる。 iFNOは、各種データセット間の一般化性能を維持したり改善したりしながら、トレーニング時間を短縮する。 提案手法は,既存のフーリエニューラル演算子に比べて20%少ない周波数モードを用いて,10%低いテスト誤差を示すとともに,30%高速なトレーニングを実現する。
  論文  参考訳（メタデータ） (2022-11-28T09:57:15Z)
• Transform Once: Efficient Operator Learning in Frequency Domain [69.74509540521397]
  本研究では、周波数領域の構造を利用して、空間や時間における長距離相関を効率的に学習するために設計されたディープニューラルネットワークについて検討する。 この研究は、単一変換による周波数領域学習のための青写真を導入している。
  論文  参考訳（メタデータ） (2022-11-26T01:56:05Z)
• Solving Seismic Wave Equations on Variable Velocity Models with Fourier Neural Operator [3.2307366446033945]
  本稿では,FNOに基づく解法を効率的に学習するための新しいフレームワークであるFourier Neural operator (PFNO)を提案する。 数値実験により、複雑な速度モデルによるFNOとPFNOの精度が示された。 PFNOは、従来の有限差分法と比較して、大規模なテストデータセットの計算効率が高いことを認めている。
  論文  参考訳（メタデータ） (2022-09-25T22:25:57Z)
• Momentum Diminishes the Effect of Spectral Bias in Physics-Informed Neural Networks [72.09574528342732]
  物理インフォームドニューラルネットワーク(PINN)アルゴリズムは、偏微分方程式(PDE)を含む幅広い問題を解く上で有望な結果を示している。 彼らはしばしば、スペクトルバイアスと呼ばれる現象のために、ターゲット関数が高周波の特徴を含むとき、望ましい解に収束しない。 本研究は, 運動量による勾配降下下で進化するPINNのトレーニングダイナミクスを, NTK(Neural Tangent kernel)を用いて研究するものである。
  論文  参考訳（メタデータ） (2022-06-29T19:03:10Z)
• The Spectral Bias of Polynomial Neural Networks [63.27903166253743]
  PNN(Polynomial Neural Network)は、高頻度情報を重要視する画像生成と顔認識に特に有効であることが示されている。 これまでの研究では、ニューラルネットワークが低周波関数に対して$textitspectral bias$を示しており、トレーニング中に低周波成分のより高速な学習をもたらすことが示されている。 このような研究に触発されて、我々はPNNのTangent Kernel(NTK)のスペクトル分析を行う。 我々は、最近提案されたPNNのパラメトリゼーションである$Pi$-Netファミリがスピードアップすることを発見した。
  論文  参考訳（メタデータ） (2022-02-27T23:12:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。