論文の概要: FreqMoE: Dynamic Frequency Enhancement for Neural PDE Solvers

• arxiv url: http://arxiv.org/abs/2505.06858v2
• Date: Wed, 21 May 2025 04:53:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-22 15:42:58.606452
• Title: FreqMoE: Dynamic Frequency Enhancement for Neural PDE Solvers
• Title（参考訳）: FreqMoE: ニューラルPDE解の動的周波数強調
• Authors: Tianyu Chen, Haoyi Zhou, Ying Li, Hao Wang, Zhenzhe Zhang, Tianchen Zhu, Shanghang Zhang, Jianxin Li,
• Abstract要約: 本稿では,低周波成分に対する高周波信号の依存性を利用した,効率的かつプログレッシブなトレーニングフレームワークFreqMoEを提案する。 正規格子PDEと不規則格子PDEの両方の実験により、FreqMoEは16.6%の精度向上を達成した。
• 参考スコア（独自算出の注目度）: 33.5401363681771
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Fourier Neural Operators (FNO) have emerged as promising solutions for efficiently solving partial differential equations (PDEs) by learning infinite-dimensional function mappings through frequency domain transformations. However, the sparsity of high-frequency signals limits computational efficiency for high-dimensional inputs, and fixed-pattern truncation often causes high-frequency signal loss, reducing performance in scenarios such as high-resolution inputs or long-term predictions. To address these challenges, we propose FreqMoE, an efficient and progressive training framework that exploits the dependency of high-frequency signals on low-frequency components. The model first learns low-frequency weights and then applies a sparse upward-cycling strategy to construct a mixture of experts (MoE) in the frequency domain, effectively extending the learned weights to high-frequency regions. Experiments on both regular and irregular grid PDEs demonstrate that FreqMoE achieves up to 16.6% accuracy improvement while using merely 2.1% parameters (47.32x reduction) compared to dense FNO. Furthermore, the approach demonstrates remarkable stability in long-term predictions and generalizes seamlessly to various FNO variants and grid structures, establishing a new ``Low frequency Pretraining, High frequency Fine-tuning'' paradigm for solving PDEs.
• Abstract（参考訳）: フーリエ・ニューラル・オペレータ(FNO)は、周波数領域変換を通して無限次元関数写像を学習することで偏微分方程式(PDE)を効率的に解くための有望な解として登場した。 しかし、高周波信号の間隔は高次元入力の計算効率を制限し、固定パターンのトランケーションはしばしば高周波信号損失を引き起こし、高分解能入力や長期予測のようなシナリオの性能を低下させる。 これらの課題に対処するために、低周波成分に対する高周波信号の依存性を利用する効率的でプログレッシブなトレーニングフレームワークであるFreqMoEを提案する。 モデルはまず低周波重みを学習し、その後、疎い上向きのサイクル戦略を適用して、周波数領域における専門家(MoE)の混合を構築し、学習した重みを高周波領域に効果的に拡張する。 正規格子PDEと不規則格子PDEの両方の実験では、FreqMoEはFNOに比べてわずか2.1%(47.32倍)の精度で16.6%の精度向上を達成した。 さらに、この手法は長期予測における顕著な安定性を示し、様々なFNO変種やグリッド構造にシームレスに一般化し、PDEを解くための新しい「低周波事前学習、高周波微調整」パラダイムを確立する。

関連論文リスト

• Least-Squares-Embedded Optimization for Accelerated Convergence of PINNs in Acoustic Wavefield Simulations [2.8948274245812327]
  PINNは偏微分方程式の解法において有望であることを示した。 ヘルムホルツ方程式に基づく散乱音場シミュレーションでは,ハイブリッド最適化の枠組みを導出する。 このフレームワークは、最小二乗(LS)ソルバをGD損失関数に直接埋め込むことで、トレーニング収束を加速する。
  論文  参考訳（メタデータ） (2025-04-23T09:32:14Z)
• LOGLO-FNO: Efficient Learning of Local and Global Features in Fourier Neural Operators [20.77877474840923]
  高周波情報は機械学習における重要な課題である。 ディープニューラルネットワークは、低周波成分の学習に対するいわゆるスペクトルバイアスを示す。 放射結合スペクトル誤差に基づく新しい周波数感受性損失項を提案する。
  論文  参考訳（メタデータ） (2025-04-05T19:35:04Z)
• Multi-frequency wavefield solutions for variable velocity models using meta-learning enhanced low-rank physics-informed neural network [3.069335774032178]
  物理インフォームドニューラルネットワーク(PINN)は、複雑な速度モデルにおける多周波波場をモデル化する上で大きな課題に直面している。 本稿では,低ランクパラメータ化とメタラーニング,周波数埋め込みを組み合わせた新しいフレームワークMeta-LRPINNを提案する。 数値実験により,Meta-LRPINNはベースライン法に比べて高速に収束し,精度が高いことがわかった。
  論文  参考訳（メタデータ） (2025-02-02T20:12:39Z)
• Incremental Spatial and Spectral Learning of Neural Operators for Solving Large-Scale PDEs [86.35471039808023]
  Incrmental Fourier Neural Operator (iFNO)を導入し、モデルが使用する周波数モードの数を徐々に増加させる。 iFNOは、各種データセット間の一般化性能を維持したり改善したりしながら、トレーニング時間を短縮する。 提案手法は,既存のフーリエニューラル演算子に比べて20%少ない周波数モードを用いて,10%低いテスト誤差を示すとともに,30%高速なトレーニングを実現する。
  論文  参考訳（メタデータ） (2022-11-28T09:57:15Z)
• Transform Once: Efficient Operator Learning in Frequency Domain [69.74509540521397]
  本研究では、周波数領域の構造を利用して、空間や時間における長距離相関を効率的に学習するために設計されたディープニューラルネットワークについて検討する。 この研究は、単一変換による周波数領域学習のための青写真を導入している。
  論文  参考訳（メタデータ） (2022-11-26T01:56:05Z)
• Solving Seismic Wave Equations on Variable Velocity Models with Fourier Neural Operator [3.2307366446033945]
  本稿では,FNOに基づく解法を効率的に学習するための新しいフレームワークであるFourier Neural operator (PFNO)を提案する。 数値実験により、複雑な速度モデルによるFNOとPFNOの精度が示された。 PFNOは、従来の有限差分法と比較して、大規模なテストデータセットの計算効率が高いことを認めている。
  論文  参考訳（メタデータ） (2022-09-25T22:25:57Z)
• Learning Frequency Domain Approximation for Binary Neural Networks [68.79904499480025]
  フーリエ周波数領域における符号関数の勾配を正弦関数の組み合わせを用いて推定し,BNNの訓練を行う。 いくつかのベンチマークデータセットとニューラルネットワークの実験により、この手法で学習したバイナリネットワークが最先端の精度を達成することが示されている。
  論文  参考訳（メタデータ） (2021-03-01T08:25:26Z)
• Hessian-Free High-Resolution Nesterov Acceleration for Sampling [55.498092486970364]
  最適化のためのNesterovのAccelerated Gradient(NAG)は、有限のステップサイズを使用する場合の連続時間制限(ノイズなしの運動的ランゲヴィン)よりも優れたパフォーマンスを持つ。 本研究は, この現象のサンプリング法について検討し, 離散化により加速勾配に基づくMCMC法が得られる拡散過程を提案する。
  論文  参考訳（メタデータ） (2020-06-16T15:07:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。