論文の概要: Poseidon: Efficient Foundation Models for PDEs

• arxiv url: http://arxiv.org/abs/2405.19101v1
• Date: Wed, 29 May 2024 14:06:51 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-30 17:00:54.871570
• Title: Poseidon: Efficient Foundation Models for PDEs
• Title（参考訳）: Poseidon: PDEの効率的なファンデーションモデル
• Authors: Maximilian Herde, Bogdan Raonić, Tobias Rohner, Roger Käppeli, Roberto Molinaro, Emmanuel de Bézenac, Siddhartha Mishra,
• Abstract要約: PoseidonはPDEのソリューション演算子を学ぶための基礎モデルである。 流体力学の制御方程式のデータセット上で事前訓練される。 その後、ダウンストリームタスクに挑戦する15のスイートで評価される。
• 参考スコア（独自算出の注目度）: 13.439921390410001
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: We introduce Poseidon, a foundation model for learning the solution operators of PDEs. It is based on a multiscale operator transformer, with time-conditioned layer norms that enable continuous-in-time evaluations. A novel training strategy leveraging the semi-group property of time-dependent PDEs to allow for significant scaling-up of the training data is also proposed. Poseidon is pretrained on a diverse, large scale dataset for the governing equations of fluid dynamics. It is then evaluated on a suite of 15 challenging downstream tasks that include a wide variety of PDE types and operators. We show that Poseidon exhibits excellent performance across the board by outperforming baselines significantly, both in terms of sample efficiency and accuracy. Poseidon also generalizes very well to new physics that is not seen during pretraining. Moreover, Poseidon scales with respect to model and data size, both for pretraining and for downstream tasks. Taken together, our results showcase the surprising ability of Poseidon to learn effective representations from a very small set of PDEs during pretraining in order to generalize well to unseen and unrelated PDEs downstream, demonstrating its potential as an effective, general purpose PDE foundation model. Finally, the Poseidon model as well as underlying pretraining and downstream datasets are open sourced, with code being available at https://github.com/camlab-ethz/poseidon and pretrained models and datasets at https://huggingface.co/camlab-ethz.
• Abstract（参考訳）: 本稿では,PDEの解演算子を学習するための基礎モデルであるPoseidonを紹介する。 マルチスケールの演算子変換器をベースとし、連続時間評価を可能にする時間条件のレイヤノルムを持つ。 また、時間依存型PDEの半群特性を活用してトレーニングデータの大幅なスケールアップを可能にする新たなトレーニング戦略を提案する。 ポセイドンは流体力学の定式化のための多種多様な大規模データセットで事前訓練されている。 その後、様々なPDEタイプや演算子を含む、ダウンストリームタスクに挑戦する15のスイートで評価される。 ポセイドンは, 試料効率と精度の両面において, ベースラインを著しく上回り, 優れた性能を示した。 ポセイドンはまた、事前訓練中に見られない新しい物理学に非常によく一般化する。 さらに、Poseidonは、事前トレーニングと下流タスクの両方のために、モデルとデータサイズに関してスケールする。 以上の結果から,本研究で得られたポセイドンは,事前学習中にごく少数のPDEから効果的表現を学習し,不明瞭で無関係なPDEを下流に一般化し,効果的で汎用的なPDE基盤モデルとしての可能性を示した。 コードはhttps://github.com/camlab-ethz/poseidonで、事前トレーニングされたモデルとデータセットはhttps://huggingface.co/camlab-ethzで入手できる。

関連論文リスト

• Pretraining a Neural Operator in Lower Dimensions [7.136205674624813]
  本研究では,データ収集が最安値である低次元PDE(PreLowD)上でのプレトレーニング型ニューラルPDEソルバを提案する。 我々は,この事前学習戦略の有効性を,高次元のPDEで評価した。
  論文  参考訳（メタデータ） (2024-07-24T20:06:12Z)
• Self-supervised Pretraining for Partial Differential Equations [0.0]
  本稿では、トランスフォーマーに基づくニューラルネットワークアーキテクチャの最近の進歩を活用し、ニューラルPDEソルバを構築するための新しいアプローチについて述べる。 我々のモデルは、ネットワークを再トレーニングすることなく、PDEパラメータの異なる値に対するソリューションを提供することができる。
  論文  参考訳（メタデータ） (2024-07-03T16:39:32Z)
• PDE Control Gym: A Benchmark for Data-Driven Boundary Control of Partial Differential Equations [3.0248879829045388]
  PDEのバウンダリ制御のための学習環境を初めて提示する。 本稿では,この一連のベンチマーク問題を解決するためのモデルフリー強化学習アルゴリズムについて紹介する。
  論文  参考訳（メタデータ） (2024-05-18T22:01:55Z)
• DPOT: Auto-Regressive Denoising Operator Transformer for Large-Scale PDE Pre-Training [87.90342423839876]
  我々は,PDEデータに対するより安定的で効率的な事前学習を可能にする,自己回帰型事前学習戦略を提案する。 我々は,100k以上の軌道を持つ10以上のPDEデータセットに対して,最大0.5BパラメータでPDEファンデーションモデルをトレーニングする。
  論文  参考訳（メタデータ） (2024-03-06T08:38:34Z)
• Training Deep Surrogate Models with Large Scale Online Learning [48.7576911714538]
  ディープラーニングアルゴリズムは、PDEの高速解を得るための有効な代替手段として登場した。 モデルは通常、ソルバによって生成された合成データに基づいてトレーニングされ、ディスクに格納され、トレーニングのために読み返される。 ディープサロゲートモデルのためのオープンソースのオンライントレーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-06-28T12:02:27Z)
• Conditioned Human Trajectory Prediction using Iterative Attention Blocks [70.36888514074022]
  本研究では,都市環境における歩行者位置予測を目的とした,簡易かつ効果的な歩行者軌道予測モデルを提案する。 我々のモデルは、複数のアテンションブロックとトランスフォーマーを反復的に実行できるニューラルネットワークアーキテクチャである。 ソーシャルマスク, 動的モデル, ソーシャルプーリング層, 複雑なグラフのような構造を明示的に導入することなく, SoTAモデルと同等の結果が得られることを示す。
  論文  参考訳（メタデータ） (2022-06-29T07:49:48Z)
• Knowledge Distillation as Efficient Pre-training: Faster Convergence, Higher Data-efficiency, and Better Transferability [53.27240222619834]
  効率的な事前学習としての知識蒸留は、学習した特徴表現を学習済みモデルから将来の下流タスクのための新しい学生モデルに効率的に転送することを目的としている。 提案手法は,3つの下流タスクにおける教師付き事前学習タスクと,10倍少ないデータと5倍少ない事前学習時間を必要とする9つの下流データセットとを比較検討する。
  論文  参考訳（メタデータ） (2022-03-10T06:23:41Z)
• DSEE: Dually Sparsity-embedded Efficient Tuning of Pre-trained Language Models [152.29364079385635]
  事前訓練されたモデルが大きくなればなるほど、微調整のプロセスは時間がかかり、計算コストがかかる可能性がある。 本稿では,重み更新と最終モデルの重み付けに先立って,疎度を活用することで,資源・パラメータ効率の微調整を行うフレームワークを提案する。 提案するフレームワークは,Dually Sparsity-Embeded Efficient Tuning (DSEE)と呼ばれ,パラメータ効率のよい微調整とリソース効率の推論という2つの重要な目標を達成することを目的としている。
  論文  参考訳（メタデータ） (2021-10-30T03:29:47Z)
• Learning the solution operator of parametric partial differential equations with physics-informed DeepOnets [0.0]
  ディープ作用素ネットワーク(DeepONets)は、無限次元バナッハ空間間の非線形作用素を近似する実証能力によって注目されている。 DeepOnetモデルの出力をバイアスする効果的な正規化メカニズムを導入し、物理整合性を確保する新しいモデルクラスを提案する。 我々は,このシンプルかつ極めて効果的な拡張が,DeepOnetsの予測精度を大幅に向上するだけでなく,大規模なトレーニングデータセットの必要性を大幅に低減できることを示した。
  論文  参考訳（メタデータ） (2021-03-19T18:15:42Z)
• Model Reuse with Reduced Kernel Mean Embedding Specification [70.044322798187]
  現在のアプリケーションで有用なモデルを見つけるための2段階のフレームワークを提案する。 アップロードフェーズでは、モデルがプールにアップロードされている場合、モデルの仕様としてカーネル平均埋め込み(RKME)を縮小する。 デプロイフェーズでは、RKME仕様の値に基づいて、現在のタスクと事前訓練されたモデルの関連性を測定する。
  論文  参考訳（メタデータ） (2020-01-20T15:15:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。