論文の概要: Learning Neural PDE Solvers with Parameter-Guided Channel Attention
- arxiv url: http://arxiv.org/abs/2304.14118v2
- Date: Fri, 21 Jul 2023 11:36:40 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-24 15:59:56.160102
- Title: Learning Neural PDE Solvers with Parameter-Guided Channel Attention
- Title（参考訳）: パラメータ誘導チャネルアテンションを用いたニューラルPDE解の学習
- Authors: Makoto Takamoto, Francesco Alesiani, and Mathias Niepert
- Abstract要約: 天気予報、分子動力学、逆設計といった応用領域では、MLベースの代理モデルがますます使われている。
本稿では,ニューラルサロゲートモデルのためのチャネル注意埋め込み(CAPE)コンポーネントと,シンプルで効果的なカリキュラム学習戦略を提案する。
CAPEモジュールは、未知のPDEパラメータに適応できるように、ニューラルPDEソルバと組み合わせることができる。
- 参考スコア（独自算出の注目度）: 17.004380150146268
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Scientific Machine Learning (SciML) is concerned with the development of
learned emulators of physical systems governed by partial differential
equations (PDE). In application domains such as weather forecasting, molecular
dynamics, and inverse design, ML-based surrogate models are increasingly used
to augment or replace inefficient and often non-differentiable numerical
simulation algorithms. While a number of ML-based methods for approximating the
solutions of PDEs have been proposed in recent years, they typically do not
adapt to the parameters of the PDEs, making it difficult to generalize to PDE
parameters not seen during training. We propose a Channel Attention mechanism
guided by PDE Parameter Embeddings (CAPE) component for neural surrogate models
and a simple yet effective curriculum learning strategy. The CAPE module can be
combined with neural PDE solvers allowing them to adapt to unseen PDE
parameters. The curriculum learning strategy provides a seamless transition
between teacher-forcing and fully auto-regressive training. We compare CAPE in
conjunction with the curriculum learning strategy using a popular PDE benchmark
and obtain consistent and significant improvements over the baseline models.
The experiments also show several advantages of CAPE, such as its increased
ability to generalize to unseen PDE parameters without large increases
inference time and parameter count.
- Abstract（参考訳）: 科学機械学習(SciML)は、偏微分方程式(PDE)によって制御される物理系の学習エミュレータの開発に関係している。
天気予知、分子動力学、逆設計といったアプリケーション領域では、MLベースのサロゲートモデルは非効率でしばしば微分不可能な数値シミュレーションアルゴリズムの強化や置き換えにますます利用されている。
PDEの解を近似するMLベースの方法が近年提案されているが、一般的にはPDEのパラメータに適応せず、トレーニング中に見られないPDEパラメータに一般化することが困難である。
本稿では,ニューラルサロゲートモデルのためのPDEパラメータ埋め込み(CAPE)コンポーネントでガイドされるチャネルアテンション機構と,シンプルで効果的なカリキュラム学習戦略を提案する。
CAPEモジュールは、未知のPDEパラメータに適応できるように、ニューラルPDEソルバと組み合わせることができる。
カリキュラム学習戦略は、教師強制と完全自己回帰トレーニングのシームレスな移行を提供する。
一般的なPDEベンチマークを用いたカリキュラム学習戦略と組み合わせてCAPEを比較し,ベースラインモデルよりも一貫した,重要な改善点を得た。
実験では、推論時間やパラメータ数を大きく増加させることなく、PDEパラメータに一般化する能力の増大など、CAPEのいくつかの利点も示している。
関連論文リスト
- LE-PDE++: Mamba for accelerating PDEs Simulations [4.7505178698234625]
PDEの潜在進化法は、古典的および深層学習に基づくPDEソルバの計算強度に対処するように設計されている。
本手法は, LE-PDEと比較して推定速度を2倍にし, パラメータ効率を同じレベルに維持する。
論文 参考訳（メタデータ） (2024-11-04T09:04:11Z) - GEPS: Boosting Generalization in Parametric PDE Neural Solvers through Adaptive Conditioning [14.939978372699084]
データ駆動型アプローチは、異なるPDEパラメータを持つ非常に多種多様な軌跡を組み込むことでパラメトリックPDEを学ぶ。
GEPSはPdeソルバのGEneralizationを促進するための単純な適応機構である。
完全データ駆動型と物理対応型ニューラルソルバの両方に対するアプローチの汎用性を実証する。
論文 参考訳（メタデータ） (2024-10-31T12:51:40Z) - Partial-differential-algebraic equations of nonlinear dynamics by Physics-Informed Neural-Network: (I) Operator splitting and framework assessment [51.3422222472898]
偏微分代数方程式の解法として, 新規な物理情報ネットワーク(PINN)の構築法が提案されている。
これらの新しい手法には PDE 形式があり、これは未知の従属変数が少ない低レベル形式からより従属変数を持つ高レベル形式へと進化している。
論文 参考訳（メタデータ） (2024-07-13T22:48:17Z) - Unisolver: PDE-Conditional Transformers Are Universal PDE Solvers [55.0876373185983]
広範にPDEを解くことができるUniversal PDEソルバ(Unisolver)を提案する。
私たちの重要な発見は、PDEソリューションが基本的に一連のPDEコンポーネントの制御下にあることです。
Unisolverは3つの挑戦的な大規模ベンチマークにおいて、一貫した最先端の結果を達成する。
論文 参考訳（メタデータ） (2024-05-27T15:34:35Z) - Boosting Inference Efficiency: Unleashing the Power of Parameter-Shared
Pre-trained Language Models [109.06052781040916]
本稿ではパラメータ共有言語モデルの推論効率を向上させる手法を提案する。
また、完全あるいは部分的に共有されたモデルにつながる単純な事前学習手法を提案する。
その結果,本手法が自己回帰的および自己符号化的PLMに与える影響が示された。
論文 参考訳（メタデータ） (2023-10-19T15:13:58Z) - Self-Supervised Learning with Lie Symmetries for Partial Differential
Equations [25.584036829191902]
我々は、自己教師付き学習(SSL)のための共同埋め込み手法を実装することにより、PDEの汎用表現を学習する。
我々の表現は、PDEの係数の回帰などの不変タスクに対するベースラインアプローチよりも優れており、また、ニューラルソルバのタイムステッピング性能も向上している。
提案手法がPDEの汎用基盤モデルの開発に有効であることを期待する。
論文 参考訳（メタデータ） (2023-07-11T16:52:22Z) - Solving High-Dimensional PDEs with Latent Spectral Models [74.1011309005488]
我々は,高次元PDEの効率的かつ高精度な解法に向けて,Latent Spectral Models (LSM) を提案する。
数値解析において古典スペクトル法に着想を得て,潜時空間におけるPDEを解くために,ニューラルスペクトルブロックを設計する。
LSMは、一貫した最先端を実現し、7つのベンチマークで平均11.5%の相対的な利益を得る。
論文 参考訳（メタデータ） (2023-01-30T04:58:40Z) - Lie Point Symmetry Data Augmentation for Neural PDE Solvers [69.72427135610106]
本稿では,ニューラルPDEソルバサンプルの複雑性を改善することにより,この問題を部分的に緩和する手法を提案する。
PDEの文脈では、データ変換の完全なリストを定量的に導き出せることが分かりました。
神経性PDEソルバサンプルの複雑さを桁違いに改善するために、どのように容易に展開できるかを示す。
論文 参考訳（メタデータ） (2022-02-15T18:43:17Z) - Adversarial Multi-task Learning Enhanced Physics-informed Neural
Networks for Solving Partial Differential Equations [9.823102211212582]
本稿では,多タスク学習手法,不確実性強調損失,勾配手術を学習pdeソリューションの文脈で活用する新しいアプローチを提案する。
実験では,提案手法が有効であることが判明し,従来手法と比較して未発見のデータポイントの誤差を低減できた。
論文 参考訳（メタデータ） (2021-04-29T13:17:46Z) - Neural-PDE: A RNN based neural network for solving time dependent PDEs [6.560798708375526]
偏微分方程式 (Partial differential equation, PDE) は、科学や工学における多くの問題を研究する上で重要な役割を果たしている。
本稿では,時間依存型PDEシステムのルールを自動的に学習する,Neural-PDEと呼ばれるシーケンス深層学習フレームワークを提案する。
我々の実験では、ニューラルPDEは20時間以内のトレーニングで効率よく力学を抽出し、正確な予測を行うことができる。
論文 参考訳（メタデータ） (2020-09-08T15:46:00Z) - Large-scale Neural Solvers for Partial Differential Equations [48.7576911714538]
偏微分方程式 (PDE) を解くことは、多くのプロセスがPDEの観点でモデル化できるため、科学の多くの分野において不可欠である。
最近の数値解法では、基礎となる方程式を手動で離散化するだけでなく、分散コンピューティングのための高度で調整されたコードも必要である。
偏微分方程式, 物理インフォームドニューラルネットワーク(PINN)に対する連続メッシュフリーニューラルネットワークの適用性について検討する。
本稿では,解析解に関するGatedPINNの精度と,スペクトル解法などの最先端数値解法について論じる。
論文 参考訳（メタデータ） (2020-09-08T13:26:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。