論文の概要: Learning Neural PDE Solvers with Parameter-Guided Channel Attention
- arxiv url: http://arxiv.org/abs/2304.14118v2
- Date: Fri, 21 Jul 2023 11:36:40 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-24 15:59:56.160102
- Title: Learning Neural PDE Solvers with Parameter-Guided Channel Attention
- Title(参考訳): パラメータ誘導チャネルアテンションを用いたニューラルPDE解の学習
- Authors: Makoto Takamoto, Francesco Alesiani, and Mathias Niepert
- Abstract要約: 天気予報、分子動力学、逆設計といった応用領域では、MLベースの代理モデルがますます使われている。
本稿では,ニューラルサロゲートモデルのためのチャネル注意埋め込み(CAPE)コンポーネントと,シンプルで効果的なカリキュラム学習戦略を提案する。
CAPEモジュールは、未知のPDEパラメータに適応できるように、ニューラルPDEソルバと組み合わせることができる。
- 参考スコア(独自算出の注目度): 17.004380150146268
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Scientific Machine Learning (SciML) is concerned with the development of
learned emulators of physical systems governed by partial differential
equations (PDE). In application domains such as weather forecasting, molecular
dynamics, and inverse design, ML-based surrogate models are increasingly used
to augment or replace inefficient and often non-differentiable numerical
simulation algorithms. While a number of ML-based methods for approximating the
solutions of PDEs have been proposed in recent years, they typically do not
adapt to the parameters of the PDEs, making it difficult to generalize to PDE
parameters not seen during training. We propose a Channel Attention mechanism
guided by PDE Parameter Embeddings (CAPE) component for neural surrogate models
and a simple yet effective curriculum learning strategy. The CAPE module can be
combined with neural PDE solvers allowing them to adapt to unseen PDE
parameters. The curriculum learning strategy provides a seamless transition
between teacher-forcing and fully auto-regressive training. We compare CAPE in
conjunction with the curriculum learning strategy using a popular PDE benchmark
and obtain consistent and significant improvements over the baseline models.
The experiments also show several advantages of CAPE, such as its increased
ability to generalize to unseen PDE parameters without large increases
inference time and parameter count.
- Abstract(参考訳): 科学機械学習(SciML)は、偏微分方程式(PDE)によって制御される物理系の学習エミュレータの開発に関係している。
天気予知、分子動力学、逆設計といったアプリケーション領域では、MLベースのサロゲートモデルは非効率でしばしば微分不可能な数値シミュレーションアルゴリズムの強化や置き換えにますます利用されている。
PDEの解を近似するMLベースの方法が近年提案されているが、一般的にはPDEのパラメータに適応せず、トレーニング中に見られないPDEパラメータに一般化することが困難である。
本稿では,ニューラルサロゲートモデルのためのPDEパラメータ埋め込み(CAPE)コンポーネントでガイドされるチャネルアテンション機構と,シンプルで効果的なカリキュラム学習戦略を提案する。
CAPEモジュールは、未知のPDEパラメータに適応できるように、ニューラルPDEソルバと組み合わせることができる。
カリキュラム学習戦略は、教師強制と完全自己回帰トレーニングのシームレスな移行を提供する。
一般的なPDEベンチマークを用いたカリキュラム学習戦略と組み合わせてCAPEを比較し,ベースラインモデルよりも一貫した,重要な改善点を得た。
実験では、推論時間やパラメータ数を大きく増加させることなく、PDEパラメータに一般化する能力の増大など、CAPEのいくつかの利点も示している。
関連論文リスト
- Data-Efficient Operator Learning via Unsupervised Pretraining and
In-Context Learning [48.51023783276896]
PDE演算子学習のための教師なし事前学習とコンテキスト学習を設計する。
提案手法は,データ効率が高く,より一般化可能であり,従来の視覚予測モデルよりも優れる。
論文 参考訳(メタデータ) (2024-02-24T06:27:33Z) - Boosting Inference Efficiency: Unleashing the Power of Parameter-Shared
Pre-trained Language Models [109.06052781040916]
本稿ではパラメータ共有言語モデルの推論効率を向上させる手法を提案する。
また、完全あるいは部分的に共有されたモデルにつながる単純な事前学習手法を提案する。
その結果,本手法が自己回帰的および自己符号化的PLMに与える影響が示された。
論文 参考訳(メタデータ) (2023-10-19T15:13:58Z) - Self-Supervised Learning with Lie Symmetries for Partial Differential
Equations [25.584036829191902]
我々は、自己教師付き学習(SSL)のための共同埋め込み手法を実装することにより、PDEの汎用表現を学習する。
我々の表現は、PDEの係数の回帰などの不変タスクに対するベースラインアプローチよりも優れており、また、ニューラルソルバのタイムステッピング性能も向上している。
提案手法がPDEの汎用基盤モデルの開発に有効であることを期待する。
論文 参考訳(メタデータ) (2023-07-11T16:52:22Z) - Solving High-Dimensional PDEs with Latent Spectral Models [74.1011309005488]
我々は,高次元PDEの効率的かつ高精度な解法に向けて,Latent Spectral Models (LSM) を提案する。
数値解析において古典スペクトル法に着想を得て,潜時空間におけるPDEを解くために,ニューラルスペクトルブロックを設計する。
LSMは、一貫した最先端を実現し、7つのベンチマークで平均11.5%の相対的な利益を得る。
論文 参考訳(メタデータ) (2023-01-30T04:58:40Z) - PIXEL: Physics-Informed Cell Representations for Fast and Accurate PDE
Solvers [4.1173475271436155]
物理インフォームドセル表現(PIXEL)と呼ばれる新しいデータ駆動型PDEの解法を提案する。
PIXELは古典的な数値法と学習に基づくアプローチをエレガントに組み合わせている。
PIXELは高速収束速度と高精度を実現する。
論文 参考訳(メタデータ) (2022-07-26T10:46:56Z) - Learning to Accelerate Partial Differential Equations via Latent Global
Evolution [64.72624347511498]
The Latent Evolution of PDEs (LE-PDE) is a simple, fast and scalable method to accelerate the simulation and inverse optimization of PDEs。
我々は,このような潜在力学を効果的に学習し,長期的安定性を確保するために,新たな学習目標を導入する。
更新対象の寸法が最大128倍、速度が最大15倍向上し、競争精度が向上した。
論文 参考訳(メタデータ) (2022-06-15T17:31:24Z) - Lie Point Symmetry Data Augmentation for Neural PDE Solvers [69.72427135610106]
本稿では,ニューラルPDEソルバサンプルの複雑性を改善することにより,この問題を部分的に緩和する手法を提案する。
PDEの文脈では、データ変換の完全なリストを定量的に導き出せることが分かりました。
神経性PDEソルバサンプルの複雑さを桁違いに改善するために、どのように容易に展開できるかを示す。
論文 参考訳(メタデータ) (2022-02-15T18:43:17Z) - A composable autoencoder-based iterative algorithm for accelerating
numerical simulations [0.0]
CoAE-MLSimは教師なし、低次元の局所的手法であり、商用PDEソルバで使われる重要なアイデアから動機づけられている。
計算速度、精度、スケーラビリティ、様々なPDE条件に対する一般化を実証するために、様々な複雑なエンジニアリングケースでテストされている。
論文 参考訳(メタデータ) (2021-10-07T20:22:37Z) - Adversarial Multi-task Learning Enhanced Physics-informed Neural
Networks for Solving Partial Differential Equations [9.823102211212582]
本稿では,多タスク学習手法,不確実性強調損失,勾配手術を学習pdeソリューションの文脈で活用する新しいアプローチを提案する。
実験では,提案手法が有効であることが判明し,従来手法と比較して未発見のデータポイントの誤差を低減できた。
論文 参考訳(メタデータ) (2021-04-29T13:17:46Z) - Neural-PDE: A RNN based neural network for solving time dependent PDEs [6.560798708375526]
偏微分方程式 (Partial differential equation, PDE) は、科学や工学における多くの問題を研究する上で重要な役割を果たしている。
本稿では,時間依存型PDEシステムのルールを自動的に学習する,Neural-PDEと呼ばれるシーケンス深層学習フレームワークを提案する。
我々の実験では、ニューラルPDEは20時間以内のトレーニングで効率よく力学を抽出し、正確な予測を行うことができる。
論文 参考訳(メタデータ) (2020-09-08T15:46:00Z) - Large-scale Neural Solvers for Partial Differential Equations [48.7576911714538]
偏微分方程式 (PDE) を解くことは、多くのプロセスがPDEの観点でモデル化できるため、科学の多くの分野において不可欠である。
最近の数値解法では、基礎となる方程式を手動で離散化するだけでなく、分散コンピューティングのための高度で調整されたコードも必要である。
偏微分方程式, 物理インフォームドニューラルネットワーク(PINN)に対する連続メッシュフリーニューラルネットワークの適用性について検討する。
本稿では,解析解に関するGatedPINNの精度と,スペクトル解法などの最先端数値解法について論じる。
論文 参考訳(メタデータ) (2020-09-08T13:26:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。