論文の概要: Mitigating spectral bias for the multiscale operator learning

• arxiv url: http://arxiv.org/abs/2210.10890v3
• Date: Sun, 9 Jun 2024 17:13:08 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-12 06:08:09.404226
• Title: Mitigating spectral bias for the multiscale operator learning
• Title（参考訳）: マルチスケール演算子学習におけるスペクトルバイアスの緩和
• Authors: Xinliang Liu, Bo Xu, Shuhao Cao, Lei Zhang,
• Abstract要約: 本稿では階層的行列アプローチに着想を得た階層的注意神経演算子(HANO)を提案する。 HANOは、スケール適応的な相互作用範囲とレベル階層上の自己アテンションを備えており、制御可能な線形コストでネストされた特徴計算を可能にする。 我々の数値実験により,HANOは多スケール問題に対して最先端(SOTA)法より優れていることが示された。
• 参考スコア（独自算出の注目度）: 14.404769413313371
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Neural operators have emerged as a powerful tool for learning the mapping between infinite-dimensional parameter and solution spaces of partial differential equations (PDEs). In this work, we focus on multiscale PDEs that have important applications such as reservoir modeling and turbulence prediction. We demonstrate that for such PDEs, the spectral bias towards low-frequency components presents a significant challenge for existing neural operators. To address this challenge, we propose a hierarchical attention neural operator (HANO) inspired by the hierarchical matrix approach. HANO features a scale-adaptive interaction range and self-attentions over a hierarchy of levels, enabling nested feature computation with controllable linear cost and encoding/decoding of multiscale solution space. We also incorporate an empirical $H^1$ loss function to enhance the learning of high-frequency components. Our numerical experiments demonstrate that HANO outperforms state-of-the-art (SOTA) methods for representative multiscale problems.
• Abstract（参考訳）: ニューラル作用素は、無限次元パラメータと偏微分方程式(PDE)の解空間の間の写像を学習するための強力なツールとして登場した。 本研究では,貯水池モデルや乱流予測などの重要な応用を有する大規模PDEに着目した。 このようなPDEに対して、低周波成分に対するスペクトルバイアスは、既存のニューラル演算子にとって重要な課題であることを示す。 この課題に対処するために、階層行列アプローチに着想を得た階層的注意神経演算子(HANO)を提案する。 HANOは、階層の階層上でのスケール適応的な相互作用範囲と自己アテンションを備えており、制御可能な線形コストによるネストされた特徴計算と、マルチスケールのソリューション空間のエンコーディング/デコードを可能にする。 また、高周波成分の学習を促進するために、実証的な$H^1$損失関数も組み込んだ。 我々の数値実験により,HANOは多スケール問題に対して最先端(SOTA)法より優れていることが示された。

関連論文リスト

• DimOL: Dimensional Awareness as A New 'Dimension' in Operator Learning [63.5925701087252]
  本稿では,DimOL(Dimension-aware Operator Learning)を紹介し,次元解析から洞察を得る。 DimOLを実装するために,FNOおよびTransformerベースのPDEソルバにシームレスに統合可能なProdLayerを提案する。 経験的に、DimOLモデルはPDEデータセット内で最大48%のパフォーマンス向上を達成する。
  論文  参考訳（メタデータ） (2024-10-08T10:48:50Z)
• Hierarchical Neural Operator Transformer with Learnable Frequency-aware Loss Prior for Arbitrary-scale Super-resolution [13.298472586395276]
  科学データの解像度を高めるために,任意のスケールの超解像(SR)法を提案する。 異なるドメインからの多様なデータセットについて広範な実験を行う。
  論文  参考訳（メタデータ） (2024-05-20T17:39:29Z)
• Pretraining Codomain Attention Neural Operators for Solving Multiphysics PDEs [85.40198664108624]
  PDEを用いた多物理問題の解法として,コドメイン注意ニューラル演算子(CoDA-NO)を提案する。 CoDA-NOはコドメインやチャネル空間に沿った機能をトークン化し、複数のPDEシステムの自己教師付き学習や事前訓練を可能にする。 CoDA-NOは、データ制限のある複雑な下流タスクにおいて、既存のメソッドを36%以上上回ります。
  論文  参考訳（メタデータ） (2024-03-19T08:56:20Z)
• Multi-Grid Tensorized Fourier Neural Operator for High-Resolution PDEs [93.82811501035569]
  本稿では,メモリ要求を低減し,より一般化したデータ効率・並列化可能な演算子学習手法を提案する。 MG-TFNOは、実世界の実世界の現象の局所的構造と大域的構造を活用することで、大規模な分解能にスケールする。 乱流ナビエ・ストークス方程式において150倍以上の圧縮で誤差の半分以下を達成できる優れた性能を示す。
  論文  参考訳（メタデータ） (2023-09-29T20:18:52Z)
• Solving High-Dimensional PDEs with Latent Spectral Models [74.1011309005488]
  我々は,高次元PDEの効率的かつ高精度な解法に向けて,Latent Spectral Models (LSM) を提案する。 数値解析において古典スペクトル法に着想を得て,潜時空間におけるPDEを解くために,ニューラルスペクトルブロックを設計する。 LSMは、一貫した最先端を実現し、7つのベンチマークで平均11.5%の相対的な利益を得る。
  論文  参考訳（メタデータ） (2023-01-30T04:58:40Z)
• Blending Neural Operators and Relaxation Methods in PDE Numerical Solvers [3.2712166248850685]
  HINTSは偏微分方程式のハイブリッド、反復、数値、移乗可能な解法である。 DeepONetのスペクトルバイアスを利用して固有モードのスペクトル間の収束挙動のバランスをとる。 離散化、計算領域、境界条件に関して柔軟である。
  論文  参考訳（メタデータ） (2022-08-28T19:07:54Z)
• Momentum Diminishes the Effect of Spectral Bias in Physics-Informed Neural Networks [72.09574528342732]
  物理インフォームドニューラルネットワーク(PINN)アルゴリズムは、偏微分方程式(PDE)を含む幅広い問題を解く上で有望な結果を示している。 彼らはしばしば、スペクトルバイアスと呼ばれる現象のために、ターゲット関数が高周波の特徴を含むとき、望ましい解に収束しない。 本研究は, 運動量による勾配降下下で進化するPINNのトレーニングダイナミクスを, NTK(Neural Tangent kernel)を用いて研究するものである。
  論文  参考訳（メタデータ） (2022-06-29T19:03:10Z)
• Interfacing Finite Elements with Deep Neural Operators for Fast Multiscale Modeling of Mechanics Problems [4.280301926296439]
  本研究では,機械学習を用いたマルチスケールモデリングのアイデアを探求し,高コストソルバの効率的なサロゲートとしてニューラル演算子DeepONetを用いる。 DeepONetは、きめ細かい解法から取得したデータを使って、基礎とおそらく未知のスケールのダイナミクスを学習してオフラインでトレーニングされている。 精度とスピードアップを評価するための様々なベンチマークを提示し、特に時間依存問題に対する結合アルゴリズムを開発する。
  論文  参考訳（メタデータ） (2022-02-25T20:46:08Z)
• Multipole Graph Neural Operator for Parametric Partial Differential Equations [57.90284928158383]
  物理系をシミュレーションするためのディープラーニングベースの手法を使用する際の大きな課題の1つは、物理ベースのデータの定式化である。 線形複雑度のみを用いて、あらゆる範囲の相互作用をキャプチャする、新しいマルチレベルグラフニューラルネットワークフレームワークを提案する。 実験により, 離散化不変解演算子をPDEに学習し, 線形時間で評価できることを確認した。
  論文  参考訳（メタデータ） (2020-06-16T21:56:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。