論文の概要: Mitigating spectral bias for the multiscale operator learning with
hierarchical attention
- arxiv url: http://arxiv.org/abs/2210.10890v2
- Date: Fri, 28 Jul 2023 03:41:18 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-31 16:41:47.611910
- Title: Mitigating spectral bias for the multiscale operator learning with
hierarchical attention
- Title(参考訳): 階層的注意を伴うマルチスケール演算子学習におけるスペクトルバイアスの緩和
- Authors: Xinliang Liu, Bo Xu and Lei Zhang
- Abstract要約: 本稿では階層的行列アプローチに着想を得た階層的注意神経演算子(HANO)を提案する。
HANOは、スケール適応的な相互作用範囲とレベル階層上の自己アテンションを備えており、制御可能な線形コストでネストされた特徴計算を可能にする。
我々の数値実験により,HANOは多スケール問題に対して最先端(SOTA)法より優れていることが示された。
- 参考スコア(独自算出の注目度): 12.773463936019786
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Neural operators have emerged as a powerful tool for learning the mapping
between infinite-dimensional parameter and solution spaces of partial
differential equations (PDEs). In this work, we focus on multiscale PDEs that
have important applications such as reservoir modeling and turbulence
prediction. We demonstrate that for such PDEs, the spectral bias towards
low-frequency components presents a significant challenge for existing neural
operators. To address this challenge, we propose a hierarchical attention
neural operator (HANO) inspired by the hierarchical matrix approach. HANO
features a scale-adaptive interaction range and self-attentions over a
hierarchy of levels, enabling nested feature computation with controllable
linear cost and encoding/decoding of multiscale solution space. We also
incorporate an empirical $H^1$ loss function to enhance the learning of
high-frequency components. Our numerical experiments demonstrate that HANO
outperforms state-of-the-art (SOTA) methods for representative multiscale
problems.
- Abstract(参考訳): ニューラル作用素は、無限次元パラメータと偏微分方程式(PDE)の解空間のマッピングを学ぶための強力なツールとして登場した。
本研究では,貯水池モデルや乱流予測などの重要な応用を有する大規模PDEに着目した。
このようなPDEに対して、低周波成分に対するスペクトルバイアスは、既存のニューラル演算子にとって重要な課題であることを示す。
この課題に対処するために,階層行列アプローチに触発された階層的注意型ニューラルネットワーク(hano)を提案する。
HANOは、階層の階層上でのスケール適応的な相互作用範囲と自己アテンションを備え、制御可能な線形コストによるネストされた特徴計算と、マルチスケールのソリューション空間のエンコーディング/デコードを可能にする。
また,高周波成分の学習を促進するために,経験的な$h^1$損失関数を組み込んだ。
我々の数値実験により,HANOは多スケール問題に対して最先端(SOTA)法より優れていることが示された。
関連論文リスト
- Local Convolution Enhanced Global Fourier Neural Operator For Multiscale
Dynamic Spaces Prediction [19.56790304454538]
改良されたフーリエ層とアテンション機構を統合した新しい階層型ニューラル演算子を提案する。
既存のPDEベンチマーク、特に高速係数の変動を特徴とする方程式において、優れた性能に達する。
論文 参考訳(メタデータ) (2023-11-21T11:04:13Z) - Multi-Grid Tensorized Fourier Neural Operator for High-Resolution PDEs [93.82811501035569]
本稿では,メモリ要求を低減し,より一般化したデータ効率・並列化可能な演算子学習手法を提案する。
MG-TFNOは、実世界の実世界の現象の局所的構造と大域的構造を活用することで、大規模な分解能にスケールする。
乱流ナビエ・ストークス方程式において150倍以上の圧縮で誤差の半分以下を達成できる優れた性能を示す。
論文 参考訳(メタデータ) (2023-09-29T20:18:52Z) - Learning in latent spaces improves the predictive accuracy of deep
neural operators [0.0]
L-DeepONetは標準のDeepONetの拡張であり、高次元PDE入力の潜在表現と適切なオートエンコーダで識別される出力関数を利用する。
L-DeepONetは時間依存PDEの精度と計算効率の両面で標準手法よりも優れていることを示す。
論文 参考訳(メタデータ) (2023-04-15T17:13:09Z) - On Robust Numerical Solver for ODE via Self-Attention Mechanism [82.95493796476767]
我々は,内在性雑音障害を緩和し,AIによって強化された数値解法を,データサイズを小さくする訓練について検討する。
まず,教師付き学習における雑音を制御するための自己認識機構の能力を解析し,さらに微分方程式の数値解に付加的な自己認識機構を導入し,簡便かつ有効な数値解法であるAttrを提案する。
論文 参考訳(メタデータ) (2023-02-05T01:39:21Z) - Solving High-Dimensional PDEs with Latent Spectral Models [74.1011309005488]
我々は,高次元PDEの効率的かつ高精度な解法に向けて,Latent Spectral Models (LSM) を提案する。
数値解析において古典スペクトル法に着想を得て,潜時空間におけるPDEを解くために,ニューラルスペクトルブロックを設計する。
LSMは、一貫した最先端を実現し、7つのベンチマークで平均11.5%の相対的な利益を得る。
論文 参考訳(メタデータ) (2023-01-30T04:58:40Z) - Momentum Diminishes the Effect of Spectral Bias in Physics-Informed
Neural Networks [72.09574528342732]
物理インフォームドニューラルネットワーク(PINN)アルゴリズムは、偏微分方程式(PDE)を含む幅広い問題を解く上で有望な結果を示している。
彼らはしばしば、スペクトルバイアスと呼ばれる現象のために、ターゲット関数が高周波の特徴を含むとき、望ましい解に収束しない。
本研究は, 運動量による勾配降下下で進化するPINNのトレーニングダイナミクスを, NTK(Neural Tangent kernel)を用いて研究するものである。
論文 参考訳(メタデータ) (2022-06-29T19:03:10Z) - LordNet: Learning to Solve Parametric Partial Differential Equations
without Simulated Data [63.55861160124684]
本稿では,離散化されたPDEによって構築された平均2乗残差(MSR)損失から,ニューラルネットワークが直接物理を学習する一般データ自由パラダイムを提案する。
具体的には,低ランク分解ネットワーク(LordNet)を提案する。
Poisson方程式とNavier-Stokes方程式を解く実験は、MSR損失による物理的制約がニューラルネットワークの精度と能力を向上させることを実証している。
論文 参考訳(メタデータ) (2022-06-19T14:41:08Z) - Interfacing Finite Elements with Deep Neural Operators for Fast
Multiscale Modeling of Mechanics Problems [4.280301926296439]
本研究では,機械学習を用いたマルチスケールモデリングのアイデアを探求し,高コストソルバの効率的なサロゲートとしてニューラル演算子DeepONetを用いる。
DeepONetは、きめ細かい解法から取得したデータを使って、基礎とおそらく未知のスケールのダイナミクスを学習してオフラインでトレーニングされている。
精度とスピードアップを評価するための様々なベンチマークを提示し、特に時間依存問題に対する結合アルゴリズムを開発する。
論文 参考訳(メタデータ) (2022-02-25T20:46:08Z) - On the eigenvector bias of Fourier feature networks: From regression to
solving multi-scale PDEs with physics-informed neural networks [0.0]
ニューラルネットワーク(PINN)は、目標関数を近似する場合には、高周波またはマルチスケールの特徴を示す。
マルチスケールなランダムな観測機能を備えた新しいアーキテクチャを構築し、そのような座標埋め込み層が堅牢で正確なPINNモデルにどのように結びつくかを正当化します。
論文 参考訳(メタデータ) (2020-12-18T04:19:30Z) - Multipole Graph Neural Operator for Parametric Partial Differential
Equations [57.90284928158383]
物理系をシミュレーションするためのディープラーニングベースの手法を使用する際の大きな課題の1つは、物理ベースのデータの定式化である。
線形複雑度のみを用いて、あらゆる範囲の相互作用をキャプチャする、新しいマルチレベルグラフニューラルネットワークフレームワークを提案する。
実験により, 離散化不変解演算子をPDEに学習し, 線形時間で評価できることを確認した。
論文 参考訳(メタデータ) (2020-06-16T21:56:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。