論文の概要: Mitigating spectral bias for the multiscale operator learning
- arxiv url: http://arxiv.org/abs/2210.10890v3
- Date: Sun, 9 Jun 2024 17:13:08 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-12 06:08:09.404226
- Title: Mitigating spectral bias for the multiscale operator learning
- Title(参考訳): マルチスケール演算子学習におけるスペクトルバイアスの緩和
- Authors: Xinliang Liu, Bo Xu, Shuhao Cao, Lei Zhang,
- Abstract要約: 本稿では階層的行列アプローチに着想を得た階層的注意神経演算子(HANO)を提案する。
HANOは、スケール適応的な相互作用範囲とレベル階層上の自己アテンションを備えており、制御可能な線形コストでネストされた特徴計算を可能にする。
我々の数値実験により,HANOは多スケール問題に対して最先端(SOTA)法より優れていることが示された。
- 参考スコア(独自算出の注目度): 14.404769413313371
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Neural operators have emerged as a powerful tool for learning the mapping between infinite-dimensional parameter and solution spaces of partial differential equations (PDEs). In this work, we focus on multiscale PDEs that have important applications such as reservoir modeling and turbulence prediction. We demonstrate that for such PDEs, the spectral bias towards low-frequency components presents a significant challenge for existing neural operators. To address this challenge, we propose a hierarchical attention neural operator (HANO) inspired by the hierarchical matrix approach. HANO features a scale-adaptive interaction range and self-attentions over a hierarchy of levels, enabling nested feature computation with controllable linear cost and encoding/decoding of multiscale solution space. We also incorporate an empirical $H^1$ loss function to enhance the learning of high-frequency components. Our numerical experiments demonstrate that HANO outperforms state-of-the-art (SOTA) methods for representative multiscale problems.
- Abstract(参考訳): ニューラル作用素は、無限次元パラメータと偏微分方程式(PDE)の解空間の間の写像を学習するための強力なツールとして登場した。
本研究では,貯水池モデルや乱流予測などの重要な応用を有する大規模PDEに着目した。
このようなPDEに対して、低周波成分に対するスペクトルバイアスは、既存のニューラル演算子にとって重要な課題であることを示す。
この課題に対処するために、階層行列アプローチに着想を得た階層的注意神経演算子(HANO)を提案する。
HANOは、階層の階層上でのスケール適応的な相互作用範囲と自己アテンションを備えており、制御可能な線形コストによるネストされた特徴計算と、マルチスケールのソリューション空間のエンコーディング/デコードを可能にする。
また、高周波成分の学習を促進するために、実証的な$H^1$損失関数も組み込んだ。
我々の数値実験により,HANOは多スケール問題に対して最先端(SOTA)法より優れていることが示された。
関連論文リスト
- Hierarchical Neural Operator Transformer with Learnable Frequency-aware Loss Prior for Arbitrary-scale Super-resolution [13.298472586395276]
科学データの解像度を高めるために,任意のスケールの超解像(SR)法を提案する。
異なるドメインからの多様なデータセットについて広範な実験を行う。
論文 参考訳(メタデータ) (2024-05-20T17:39:29Z) - Local Convolution Enhanced Global Fourier Neural Operator For Multiscale
Dynamic Spaces Prediction [19.56790304454538]
改良されたフーリエ層とアテンション機構を統合した新しい階層型ニューラル演算子を提案する。
既存のPDEベンチマーク、特に高速係数の変動を特徴とする方程式において、優れた性能に達する。
論文 参考訳(メタデータ) (2023-11-21T11:04:13Z) - Multi-Grid Tensorized Fourier Neural Operator for High-Resolution PDEs [93.82811501035569]
本稿では,メモリ要求を低減し,より一般化したデータ効率・並列化可能な演算子学習手法を提案する。
MG-TFNOは、実世界の実世界の現象の局所的構造と大域的構造を活用することで、大規模な分解能にスケールする。
乱流ナビエ・ストークス方程式において150倍以上の圧縮で誤差の半分以下を達成できる優れた性能を示す。
論文 参考訳(メタデータ) (2023-09-29T20:18:52Z) - Learning in latent spaces improves the predictive accuracy of deep
neural operators [0.0]
L-DeepONetは標準のDeepONetの拡張であり、高次元PDE入力の潜在表現と適切なオートエンコーダで識別される出力関数を利用する。
L-DeepONetは時間依存PDEの精度と計算効率の両面で標準手法よりも優れていることを示す。
論文 参考訳(メタデータ) (2023-04-15T17:13:09Z) - On Robust Numerical Solver for ODE via Self-Attention Mechanism [82.95493796476767]
我々は,内在性雑音障害を緩和し,AIによって強化された数値解法を,データサイズを小さくする訓練について検討する。
まず,教師付き学習における雑音を制御するための自己認識機構の能力を解析し,さらに微分方程式の数値解に付加的な自己認識機構を導入し,簡便かつ有効な数値解法であるAttrを提案する。
論文 参考訳(メタデータ) (2023-02-05T01:39:21Z) - Solving High-Dimensional PDEs with Latent Spectral Models [74.1011309005488]
我々は,高次元PDEの効率的かつ高精度な解法に向けて,Latent Spectral Models (LSM) を提案する。
数値解析において古典スペクトル法に着想を得て,潜時空間におけるPDEを解くために,ニューラルスペクトルブロックを設計する。
LSMは、一貫した最先端を実現し、7つのベンチマークで平均11.5%の相対的な利益を得る。
論文 参考訳(メタデータ) (2023-01-30T04:58:40Z) - Momentum Diminishes the Effect of Spectral Bias in Physics-Informed
Neural Networks [72.09574528342732]
物理インフォームドニューラルネットワーク(PINN)アルゴリズムは、偏微分方程式(PDE)を含む幅広い問題を解く上で有望な結果を示している。
彼らはしばしば、スペクトルバイアスと呼ばれる現象のために、ターゲット関数が高周波の特徴を含むとき、望ましい解に収束しない。
本研究は, 運動量による勾配降下下で進化するPINNのトレーニングダイナミクスを, NTK(Neural Tangent kernel)を用いて研究するものである。
論文 参考訳(メタデータ) (2022-06-29T19:03:10Z) - Neural Operator with Regularity Structure for Modeling Dynamics Driven
by SPDEs [70.51212431290611]
偏微分方程式 (SPDE) は、大気科学や物理学を含む多くの分野において、力学をモデル化するための重要なツールである。
本研究では,SPDEによって駆動されるダイナミクスをモデル化するための特徴ベクトルを組み込んだニューラル演算子(NORS)を提案する。
動的Phi41モデルと2d Navier-Stokes方程式を含む様々なSPDE実験を行った。
論文 参考訳(メタデータ) (2022-04-13T08:53:41Z) - Interfacing Finite Elements with Deep Neural Operators for Fast
Multiscale Modeling of Mechanics Problems [4.280301926296439]
本研究では,機械学習を用いたマルチスケールモデリングのアイデアを探求し,高コストソルバの効率的なサロゲートとしてニューラル演算子DeepONetを用いる。
DeepONetは、きめ細かい解法から取得したデータを使って、基礎とおそらく未知のスケールのダイナミクスを学習してオフラインでトレーニングされている。
精度とスピードアップを評価するための様々なベンチマークを提示し、特に時間依存問題に対する結合アルゴリズムを開発する。
論文 参考訳(メタデータ) (2022-02-25T20:46:08Z) - Multipole Graph Neural Operator for Parametric Partial Differential
Equations [57.90284928158383]
物理系をシミュレーションするためのディープラーニングベースの手法を使用する際の大きな課題の1つは、物理ベースのデータの定式化である。
線形複雑度のみを用いて、あらゆる範囲の相互作用をキャプチャする、新しいマルチレベルグラフニューラルネットワークフレームワークを提案する。
実験により, 離散化不変解演算子をPDEに学習し, 線形時間で評価できることを確認した。
論文 参考訳(メタデータ) (2020-06-16T21:56:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。