論文の概要: Mitigating Spectral Bias in Neural Operators via High-Frequency Scaling for Physical Systems

• arxiv url: http://arxiv.org/abs/2503.13695v1
• Date: Mon, 17 Mar 2025 20:08:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-19 14:14:22.743341
• Title: Mitigating Spectral Bias in Neural Operators via High-Frequency Scaling for Physical Systems
• Title（参考訳）: 物理系の高周波スケーリングによるニューラル演算子のスペクトルバイアスの緩和
• Authors: Siavash Khodakarami, Vivek Oommen, Aniruddha Bora, George Em Karniadakis,
• Abstract要約: 本稿では、畳み込み型ニューラル演算子におけるスペクトルバイアスを軽減するために、高周波スケーリング(HFS)と呼ばれる新しい手法を提案する。 単相および二相流問題におけるスペクトルバイアスを緩和することにより予測精度を向上する。
• 参考スコア（独自算出の注目度）: 1.6874375111244329
• License:
• Abstract: Neural operators have emerged as powerful surrogates for modeling complex physical problems. However, they suffer from spectral bias making them oblivious to high-frequency modes, which are present in multiscale physical systems. Therefore, they tend to produce over-smoothed solutions, which is particularly problematic in modeling turbulence and for systems with intricate patterns and sharp gradients such as multi-phase flow systems. In this work, we introduce a new approach named high-frequency scaling (HFS) to mitigate spectral bias in convolutional-based neural operators. By integrating HFS with proper variants of UNet neural operators, we demonstrate a higher prediction accuracy by mitigating spectral bias in single and two-phase flow problems. Unlike Fourier-based techniques, HFS is directly applied to the latent space, thus eliminating the computational cost associated with the Fourier transform. Additionally, we investigate alternative spectral bias mitigation through diffusion models conditioned on neural operators. While the diffusion model integrated with the standard neural operator may still suffer from significant errors, these errors are substantially reduced when the diffusion model is integrated with a HFS-enhanced neural operator.
• Abstract（参考訳）: ニューラルネットワークは複雑な物理問題をモデル化するための強力な代理として登場した。 しかし、スペクトルバイアスに悩まされ、マルチスケール物理系に存在している高周波モードに難渋する。 したがって、乱流のモデリングや複雑なパターンと多相流系のような鋭い勾配を持つシステムでは特に問題となる過度に平滑な解を生成する傾向にある。 本研究では、畳み込み型ニューラル演算子におけるスペクトルバイアスを軽減するために、高周波スケーリング(HFS)と呼ばれる新しいアプローチを導入する。 UNetニューラル演算子の適切な変種とHFSを統合することにより、単相および二相流問題におけるスペクトルバイアスを緩和することにより、より高い予測精度を示す。 フーリエベースの手法とは異なり、HFSは遅延空間に直接適用され、フーリエ変換に関連する計算コストを削減できる。 さらに、ニューラル演算子に条件付き拡散モデルによる代替スペクトルバイアス緩和について検討する。 標準的なニューラル演算子と統合された拡散モデルは依然として重大な誤差に悩まされるかもしれないが、拡散モデルがHFS強化ニューラル演算子と統合されると、これらの誤差は大幅に減少する。

関連論文リスト

• Integrating Neural Operators with Diffusion Models Improves Spectral Representation in Turbulence Modeling [3.9134883314626876]
  我々は、乱流の代理モデリングにおいて、ニューラル演算子のスペクトル制限に対処するために、拡散モデルとニューラル演算子を統合する。 我々のアプローチは、多様なデータセット上で異なるニューラル演算子に対して検証されている。 この研究は、生成モデルとニューラル演算子を組み合わせるための新しいパラダイムを確立し、乱流系の代理モデリングを前進させる。
  論文  参考訳（メタデータ） (2024-09-13T02:07:20Z)
• Diffusion models as probabilistic neural operators for recovering unobserved states of dynamical systems [49.2319247825857]
  拡散に基づく生成モデルは、ニューラル演算子に好適な多くの特性を示す。 本稿では,複数のタスクに適応可能な単一モデルを,トレーニング中のタスク間で交互に学習することを提案する。
  論文  参考訳（メタデータ） (2024-05-11T21:23:55Z)
• Neural Operators Learn the Local Physics of Magnetohydrodynamics [6.618373975988337]
  磁気流体力学(MHD)は、プラズマと導電性流体の力学を記述する上で重要な役割を果たしている。 最近の進歩は、従来の数値解析のための代理モデルとしてフーリエニューラル演算子(FNO)のようなニューラル演算子を導入している。 本研究では, 理想的なMHDの数値フラックスを近似するために, 修正されたフラックスフーリエニューラル演算子モデルについて検討する。
  論文  参考訳（メタデータ） (2024-04-24T17:48:38Z)
• Enhancing Solutions for Complex PDEs: Introducing Complementary Convolution and Equivariant Attention in Fourier Neural Operators [17.91230192726962]
  複雑なPDEを解くために,畳み込み-残留層と注意機構を備えた新しい階層型フーリエニューラル演算子を提案する。 提案手法はこれらのPDEベンチマークにおいて,特に高速な係数変動を特徴とする方程式に対して,優れた性能を実現する。
  論文  参考訳（メタデータ） (2023-11-21T11:04:13Z)
• GibbsDDRM: A Partially Collapsed Gibbs Sampler for Solving Blind Inverse Problems with Denoising Diffusion Restoration [64.8770356696056]
  本稿では,DDRM(Denoising Diffusion Restoration Models)の拡張であるGibbsDDRMを提案する。 提案手法は問題に依存しないため,様々な逆問題に対して事前学習した拡散モデルを適用することができる。
  論文  参考訳（メタデータ） (2023-01-30T06:27:48Z)
• Incremental Spatial and Spectral Learning of Neural Operators for Solving Large-Scale PDEs [86.35471039808023]
  Incrmental Fourier Neural Operator (iFNO)を導入し、モデルが使用する周波数モードの数を徐々に増加させる。 iFNOは、各種データセット間の一般化性能を維持したり改善したりしながら、トレーニング時間を短縮する。 提案手法は,既存のフーリエニューラル演算子に比べて20%少ない周波数モードを用いて,10%低いテスト誤差を示すとともに,30%高速なトレーニングを実現する。
  論文  参考訳（メタデータ） (2022-11-28T09:57:15Z)
• Mitigating spectral bias for the multiscale operator learning [14.404769413313371]
  本稿では階層的行列アプローチに着想を得た階層的注意神経演算子(HANO)を提案する。 HANOは、スケール適応的な相互作用範囲とレベル階層上の自己アテンションを備えており、制御可能な線形コストでネストされた特徴計算を可能にする。 我々の数値実験により,HANOは多スケール問題に対して最先端(SOTA)法より優れていることが示された。
  論文  参考訳（メタデータ） (2022-10-19T21:09:29Z)
• Momentum Diminishes the Effect of Spectral Bias in Physics-Informed Neural Networks [72.09574528342732]
  物理インフォームドニューラルネットワーク(PINN)アルゴリズムは、偏微分方程式(PDE)を含む幅広い問題を解く上で有望な結果を示している。 彼らはしばしば、スペクトルバイアスと呼ばれる現象のために、ターゲット関数が高周波の特徴を含むとき、望ましい解に収束しない。 本研究は, 運動量による勾配降下下で進化するPINNのトレーニングダイナミクスを, NTK(Neural Tangent kernel)を用いて研究するものである。
  論文  参考訳（メタデータ） (2022-06-29T19:03:10Z)
• Factorized Fourier Neural Operators [77.47313102926017]
  Factorized Fourier Neural Operator (F-FNO) は偏微分方程式をシミュレートする学習法である。 我々は,数値解法よりも桁違いに高速に動作しながら,誤差率2%を維持していることを示す。
  論文  参考訳（メタデータ） (2021-11-27T03:34:13Z)
• Kernel and Rich Regimes in Overparametrized Models [69.40899443842443]
  過度にパラメータ化された多層ネットワーク上の勾配勾配は、RKHSノルムではないリッチな暗黙バイアスを誘発できることを示す。 また、より複雑な行列分解モデルと多層非線形ネットワークに対して、この遷移を実証的に示す。
  論文  参考訳（メタデータ） (2020-02-20T15:43:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。