論文の概要: Masked Autoencoders are PDE Learners

• arxiv url: http://arxiv.org/abs/2403.17728v2
• Date: Wed, 29 May 2024 16:14:23 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-30 23:01:49.016810
• Title: Masked Autoencoders are PDE Learners
• Title（参考訳）: マスクオートエンコーダはPDE学習者である
• Authors: Anthony Zhou, Amir Barati Farimani,
• Abstract要約: Masked Pretrainingは、不均一な物理学を統合して潜在表現を学習し、潜在PDE算術を実行する。 学習された潜在表現のニューラルソルバは、様々な係数、離散化、境界条件を越えて、タイムステッピングと超分解能のパフォーマンスを向上させることができる。
• 参考スコア（独自算出の注目度）: 7.136205674624813
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Neural solvers for partial differential equations (PDEs) have great potential to generate fast and accurate physics solutions, yet their practicality is currently limited by their generalizability. PDEs evolve over broad scales and exhibit diverse behaviors; predicting these phenomena will require learning representations across a wide variety of inputs which may encompass different coefficients, boundary conditions, resolutions, or even equations. As a step towards generalizable PDE modeling, we adapt masked pretraining for physics problems. Through self-supervised learning across PDEs, masked autoencoders can consolidate heterogeneous physics to learn meaningful latent representations and perform latent PDE arithmetic in this space. Furthermore, we demonstrate that masked pretraining can improve PDE coefficient regression and the classification of PDE features. Lastly, conditioning neural solvers on learned latent representations can improve time-stepping and super-resolution performance across a variety of coefficients, discretizations, or boundary conditions, as well as on unseen PDEs. We hope that masked pretraining can emerge as a unifying method across large, unlabeled, and heterogeneous datasets to learn latent physics at scale.
• Abstract（参考訳）: 偏微分方程式(PDE)に対するニューラルソルバは、高速で正確な物理解を生成する大きな可能性を持っているが、その実用性は、その一般化性によって制限されている。 PDEは幅広いスケールで進化し、様々な振る舞いを示す。これらの現象を予測するには、様々な係数、境界条件、解像度、方程式を含む様々な入力の学習表現が必要となる。 一般化可能なPDEモデリングへのステップとして,物理問題に対するマスク付き事前学習を適用する。 PDEを横断する自己教師型学習によって、マスク付きオートエンコーダは異種物理学を統合し、意味のある潜在表現を学習し、この空間で潜在PDE算術を実行することができる。 さらに,マスク付きプレトレーニングによりPDE係数の回帰とPDE特徴の分類が向上することが実証された。 最後に、学習した潜在表現にニューラルソルバを条件付けすることで、様々な係数、離散化、境界条件、および目に見えないPDEにおけるタイムステッピングと超分解能のパフォーマンスを向上させることができる。 マスク付きプレトレーニングは、大規模でラベルなし、異質なデータセットにまたがる統一的な方法として現れて、大規模に潜在物理学を学ぶことを願っている。

関連論文リスト

• DimOL: Dimensional Awareness as A New 'Dimension' in Operator Learning [63.5925701087252]
  本稿では,DimOL(Dimension-aware Operator Learning)を紹介し,次元解析から洞察を得る。 DimOLを実装するために,FNOおよびTransformerベースのPDEソルバにシームレスに統合可能なProdLayerを提案する。 経験的に、DimOLモデルはPDEデータセット内で最大48%のパフォーマンス向上を達成する。
  論文  参考訳（メタデータ） (2024-10-08T10:48:50Z)
• Text2PDE: Latent Diffusion Models for Accessible Physics Simulation [7.16525545814044]
  物理シミュレーションに潜時拡散モデルを適用する方法をいくつか紹介する。 提案手法は、現在のニューラルPDEソルバと、精度と効率の両面で競合することを示す。 スケーラブルで正確で使用可能な物理シミュレータを導入することで、ニューラルPDEソルバを実用化に近づけたいと思っています。
  論文  参考訳（メタデータ） (2024-10-02T01:09:47Z)
• Unisolver: PDE-Conditional Transformers Are Universal PDE Solvers [55.0876373185983]
  広範にPDEを解くことができるUniversal PDEソルバ(Unisolver)を提案する。 私たちの重要な発見は、PDEソリューションが基本的に一連のPDEコンポーネントの制御下にあることです。 Unisolverは3つの挑戦的な大規模ベンチマークにおいて、一貫した最先端の結果を達成する。
  論文  参考訳（メタデータ） (2024-05-27T15:34:35Z)
• Pretraining Codomain Attention Neural Operators for Solving Multiphysics PDEs [85.40198664108624]
  PDEを用いた多物理問題の解法として,コドメイン注意ニューラル演算子(CoDA-NO)を提案する。 CoDA-NOはコドメインやチャネル空間に沿った機能をトークン化し、複数のPDEシステムの自己教師付き学習や事前訓練を可能にする。 CoDA-NOは、データ制限のある複雑な下流タスクにおいて、既存のメソッドを36%以上上回ります。
  論文  参考訳（メタデータ） (2024-03-19T08:56:20Z)
• Deep Equilibrium Based Neural Operators for Steady-State PDEs [100.88355782126098]
  定常PDEに対する重み付けニューラルネットワークアーキテクチャの利点について検討する。 定常PDEの解を直接解くFNOアーキテクチャの深い平衡変種であるFNO-DEQを提案する。
  論文  参考訳（メタデータ） (2023-11-30T22:34:57Z)
• Reduced-order modeling for parameterized PDEs via implicit neural representations [4.135710717238787]
  我々は、パラメータ化偏微分方程式(PDE)を効率的に解くために、新しいデータ駆動型低次モデリング手法を提案する。 提案フレームワークは、PDEを符号化し、パラメトリゼーションニューラルネットワーク(PNODE)を用いて、複数のPDEパラメータを特徴とする潜時ダイナミクスを学習する。 我々は,提案手法を大規模なレイノルズ数で評価し,O(103)の高速化と,基底真理値に対する1%の誤差を得る。
  論文  参考訳（メタデータ） (2023-11-28T01:35:06Z)
• Solving High-Dimensional PDEs with Latent Spectral Models [74.1011309005488]
  我々は,高次元PDEの効率的かつ高精度な解法に向けて,Latent Spectral Models (LSM) を提案する。 数値解析において古典スペクトル法に着想を得て,潜時空間におけるPDEを解くために,ニューラルスペクトルブロックを設計する。 LSMは、一貫した最先端を実現し、7つのベンチマークで平均11.5%の相対的な利益を得る。
  論文  参考訳（メタデータ） (2023-01-30T04:58:40Z)
• KoopmanLab: machine learning for solving complex physics equations [7.815723299913228]
  解析解や閉形式を使わずにPDEを学習するための、クープマンニューラルオペレータファミリーの効率的なモジュールであるクープマンLabを提案する。 我々のモジュールは、メッシュに依存しないニューラルネットワークベースのPDEソルバの一種であるクープマンニューラル演算子(KNO)の複数の変種から構成されている。 KNO のコンパクトな変種はモデルサイズが小さい PDE を正確に解くことができるが、KNO の大きな変種は高度に複雑な力学系を予測する上でより競争力がある。
  論文  参考訳（メタデータ） (2023-01-03T13:58:39Z)
• Learning to Accelerate Partial Differential Equations via Latent Global Evolution [64.72624347511498]
  The Latent Evolution of PDEs (LE-PDE) is a simple, fast and scalable method to accelerate the simulation and inverse optimization of PDEs。 我々は,このような潜在力学を効果的に学習し,長期的安定性を確保するために,新たな学習目標を導入する。 更新対象の寸法が最大128倍、速度が最大15倍向上し、競争精度が向上した。
  論文  参考訳（メタデータ） (2022-06-15T17:31:24Z)
• Neural-PDE: A RNN based neural network for solving time dependent PDEs [6.560798708375526]
  偏微分方程式 (Partial differential equation, PDE) は、科学や工学における多くの問題を研究する上で重要な役割を果たしている。 本稿では,時間依存型PDEシステムのルールを自動的に学習する,Neural-PDEと呼ばれるシーケンス深層学習フレームワークを提案する。 我々の実験では、ニューラルPDEは20時間以内のトレーニングで効率よく力学を抽出し、正確な予測を行うことができる。
  論文  参考訳（メタデータ） (2020-09-08T15:46:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。