論文の概要: Masked Autoencoders are PDE Learners
- arxiv url: http://arxiv.org/abs/2403.17728v1
- Date: Tue, 26 Mar 2024 14:17:01 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-27 15:08:05.672106
- Title: Masked Autoencoders are PDE Learners
- Title(参考訳): マスクオートエンコーダはPDE学習者である
- Authors: Anthony Zhou, Amir Barati Farimani,
- Abstract要約: 我々は偏微分方程式(PDE)に対するマスク付き事前学習に適応する
仮面事前学習は、未知の方程式上のニューラルソルバの係数回帰とタイムステッピング性能を向上させることができる。
マスク付きプレトレーニングは、大規模でラベルなし、異質なデータセットにまたがる統一的な方法として現れることを願っている。
- 参考スコア(独自算出の注目度): 7.136205674624813
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Neural solvers for partial differential equations (PDEs) have great potential, yet their practicality is currently limited by their generalizability. PDEs evolve over broad scales and exhibit diverse behaviors; predicting these phenomena will require learning representations across a wide variety of inputs, which may encompass different coefficients, geometries, or equations. As a step towards generalizable PDE modeling, we adapt masked pretraining for PDEs. Through self-supervised learning across PDEs, masked autoencoders can learn useful latent representations for downstream tasks. In particular, masked pretraining can improve coefficient regression and timestepping performance of neural solvers on unseen equations. We hope that masked pretraining can emerge as a unifying method across large, unlabeled, and heterogeneous datasets to learn latent physics at scale.
- Abstract(参考訳): 偏微分方程式(PDE)に対するニューラルソルバは大きなポテンシャルを持つが、その実用性は一般化性によって制限されている。
PDEは幅広いスケールで進化し、多様な振る舞いを示す。これらの現象を予測するには、異なる係数、測地、方程式を含む様々な入力の学習表現が必要となる。
一般化可能なPDEモデリングへのステップとして、PDEのためのマスク付き事前学習を適用する。
PDEを横断する自己教師型学習により、マスク付きオートエンコーダは下流タスクに有用な潜在表現を学習することができる。
特に、マスク付き事前学習は、未知の方程式上のニューラルソルバの係数回帰とタイムステッピング性能を向上させることができる。
マスク付きプレトレーニングは、大規模でラベルなし、異質なデータセットにまたがる統一的な方法として現れて、大規模に潜在物理学を学ぶことを願っている。
関連論文リスト
- Pretraining Codomain Attention Neural Operators for Solving Multiphysics PDEs [85.40198664108624]
PDEを用いた多物理問題の解法として,コドメイン注意ニューラル演算子(CoDA-NO)を提案する。
CoDA-NOはコドメインやチャネル空間に沿った機能をトークン化し、複数のPDEシステムの自己教師付き学習や事前訓練を可能にする。
我々は,CoDA-NOの可能性を,複数システム上で多物理PDEを学習するためのバックボーンとして評価する。
論文 参考訳(メタデータ) (2024-03-19T08:56:20Z) - DPOT: Auto-Regressive Denoising Operator Transformer for Large-Scale PDE Pre-Training [87.90342423839876]
我々は,PDEデータに対するより安定的で効率的な事前学習を可能にする,自己回帰型事前学習戦略を提案する。
我々は,100k以上の軌道を持つ10以上のPDEデータセットに対して,最大0.5BパラメータでPDEファンデーションモデルをトレーニングする。
論文 参考訳(メタデータ) (2024-03-06T08:38:34Z) - Self-Supervised Learning with Lie Symmetries for Partial Differential
Equations [25.584036829191902]
我々は、自己教師付き学習(SSL)のための共同埋め込み手法を実装することにより、PDEの汎用表現を学習する。
我々の表現は、PDEの係数の回帰などの不変タスクに対するベースラインアプローチよりも優れており、また、ニューラルソルバのタイムステッピング性能も向上している。
提案手法がPDEの汎用基盤モデルの開発に有効であることを期待する。
論文 参考訳(メタデータ) (2023-07-11T16:52:22Z) - Training Deep Surrogate Models with Large Scale Online Learning [48.7576911714538]
ディープラーニングアルゴリズムは、PDEの高速解を得るための有効な代替手段として登場した。
モデルは通常、ソルバによって生成された合成データに基づいてトレーニングされ、ディスクに格納され、トレーニングのために読み返される。
ディープサロゲートモデルのためのオープンソースのオンライントレーニングフレームワークを提案する。
論文 参考訳(メタデータ) (2023-06-28T12:02:27Z) - Learning Neural PDE Solvers with Parameter-Guided Channel Attention [17.004380150146268]
天気予報、分子動力学、逆設計といった応用領域では、MLベースの代理モデルがますます使われている。
本稿では,ニューラルサロゲートモデルのためのチャネル注意埋め込み(CAPE)コンポーネントと,シンプルで効果的なカリキュラム学習戦略を提案する。
CAPEモジュールは、未知のPDEパラメータに適応できるように、ニューラルPDEソルバと組み合わせることができる。
論文 参考訳(メタデータ) (2023-04-27T12:05:34Z) - iPINNs: Incremental learning for Physics-informed neural networks [66.4795381419701]
物理インフォームドニューラルネットワーク(PINN)は、最近偏微分方程式(PDE)を解く強力なツールとなっている。
本稿では,新しいタスクのパラメータを追加せずに連続的に複数のタスクを学習できるインクリメンタルPINNを提案する。
提案手法は,PDEごとに個別のサブネットワークを作成し,従来のサブネットワークと重なり合うようにすることで,最も単純なPDEから複数のPDEを学習する。
論文 参考訳(メタデータ) (2023-04-10T20:19:20Z) - Elliptic PDE learning is provably data-efficient [7.097838977449412]
PDE学習は物理と機械学習を組み合わせて未知の物理システムを実験データから復元する。
我々の研究は、PDE学習に必要な入出力トレーニングペアの数に関する理論的保証を提供する。
具体的には、ランダム化された数値線形代数とPDE理論を利用して、入力出力データから3次元楕円型PDEの解演算子を復元する証明可能なデータ効率のアルゴリズムを導出する。
論文 参考訳(メタデータ) (2023-02-24T20:51:23Z) - Solving High-Dimensional PDEs with Latent Spectral Models [74.1011309005488]
我々は,高次元PDEの効率的かつ高精度な解法に向けて,Latent Spectral Models (LSM) を提案する。
数値解析において古典スペクトル法に着想を得て,潜時空間におけるPDEを解くために,ニューラルスペクトルブロックを設計する。
LSMは、一貫した最先端を実現し、7つのベンチマークで平均11.5%の相対的な利益を得る。
論文 参考訳(メタデータ) (2023-01-30T04:58:40Z) - KoopmanLab: machine learning for solving complex physics equations [7.815723299913228]
解析解や閉形式を使わずにPDEを学習するための、クープマンニューラルオペレータファミリーの効率的なモジュールであるクープマンLabを提案する。
我々のモジュールは、メッシュに依存しないニューラルネットワークベースのPDEソルバの一種であるクープマンニューラル演算子(KNO)の複数の変種から構成されている。
KNO のコンパクトな変種はモデルサイズが小さい PDE を正確に解くことができるが、KNO の大きな変種は高度に複雑な力学系を予測する上でより競争力がある。
論文 参考訳(メタデータ) (2023-01-03T13:58:39Z) - Neural-PDE: A RNN based neural network for solving time dependent PDEs [6.560798708375526]
偏微分方程式 (Partial differential equation, PDE) は、科学や工学における多くの問題を研究する上で重要な役割を果たしている。
本稿では,時間依存型PDEシステムのルールを自動的に学習する,Neural-PDEと呼ばれるシーケンス深層学習フレームワークを提案する。
我々の実験では、ニューラルPDEは20時間以内のトレーニングで効率よく力学を抽出し、正確な予測を行うことができる。
論文 参考訳(メタデータ) (2020-09-08T15:46:00Z) - Large-scale Neural Solvers for Partial Differential Equations [48.7576911714538]
偏微分方程式 (PDE) を解くことは、多くのプロセスがPDEの観点でモデル化できるため、科学の多くの分野において不可欠である。
最近の数値解法では、基礎となる方程式を手動で離散化するだけでなく、分散コンピューティングのための高度で調整されたコードも必要である。
偏微分方程式, 物理インフォームドニューラルネットワーク(PINN)に対する連続メッシュフリーニューラルネットワークの適用性について検討する。
本稿では,解析解に関するGatedPINNの精度と,スペクトル解法などの最先端数値解法について論じる。
論文 参考訳(メタデータ) (2020-09-08T13:26:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。