論文の概要: DPOT: Auto-Regressive Denoising Operator Transformer for Large-Scale PDE
Pre-Training
- arxiv url: http://arxiv.org/abs/2403.03542v3
- Date: Fri, 8 Mar 2024 03:24:00 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-11 10:53:10.003116
- Title: DPOT: Auto-Regressive Denoising Operator Transformer for Large-Scale PDE
Pre-Training
- Title(参考訳): DPOT:大規模PDE事前訓練のための自動回帰デノイング演算子変換器
- Authors: Zhongkai Hao, Chang Su, Songming Liu, Julius Berner, Chengyang Ying,
Hang Su, Anima Anandkumar, Jian Song, Jun Zhu
- Abstract要約: 我々は,PDEデータに対するより安定的で効率的な事前学習を可能にする,自己回帰型事前学習戦略を提案する。
我々は,100k以上の軌道を持つ10以上のPDEデータセットに対して,最大0.5BパラメータでPDEファンデーションモデルをトレーニングする。
- 参考スコア(独自算出の注目度): 90.82825098156299
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Pre-training has been investigated to improve the efficiency and performance
of training neural operators in data-scarce settings. However, it is largely in
its infancy due to the inherent complexity and diversity, such as long
trajectories, multiple scales and varying dimensions of partial differential
equations (PDEs) data. In this paper, we present a new auto-regressive
denoising pre-training strategy, which allows for more stable and efficient
pre-training on PDE data and generalizes to various downstream tasks. Moreover,
by designing a flexible and scalable model architecture based on Fourier
attention, we can easily scale up the model for large-scale pre-training. We
train our PDE foundation model with up to 0.5B parameters on 10+ PDE datasets
with more than 100k trajectories. Extensive experiments show that we achieve
SOTA on these benchmarks and validate the strong generalizability of our model
to significantly enhance performance on diverse downstream PDE tasks like 3D
data. Code is available at \url{https://github.com/thu-ml/DPOT}.
- Abstract(参考訳): データ・スカース・セッティングにおけるニューラル演算子の訓練効率と性能を向上させるために,事前学習を行った。
しかし、それは主に、長い軌跡、多重スケール、偏微分方程式(PDE)データの様々な次元など、固有の複雑さと多様性のため、その初期段階にある。
本稿では,pdeデータに対して,より安定かつ効率的な事前学習を可能にし,様々な下流タスクに一般化する,新しい自己回帰脱調プリトレーニング戦略を提案する。
さらに,フーリエ注意に基づくフレキシブルでスケーラブルなモデルアーキテクチャを設計することにより,大規模事前トレーニングのためのモデルスケールアップが容易になる。
我々は,100k以上の軌道を持つ10以上のPDEデータセットに対して,最大0.5BパラメータでPDEファンデーションモデルをトレーニングする。
大規模な実験により、これらのベンチマークでSOTAを達成し、3Dデータのような様々な下流PDEタスクの性能を大幅に向上させるため、モデルの強力な一般化可能性を検証する。
コードは \url{https://github.com/thu-ml/DPOT} で入手できる。
関連論文リスト
- Data-Efficient Operator Learning via Unsupervised Pretraining and
In-Context Learning [48.51023783276896]
PDE演算子学習のための教師なし事前学習とコンテキスト学習を設計する。
提案手法は,データ効率が高く,より一般化可能であり,従来の視覚予測モデルよりも優れる。
論文 参考訳(メタデータ) (2024-02-24T06:27:33Z) - Learning Space-Time Continuous Neural PDEs from Partially Observed
States [13.01244901400942]
格子独立モデル学習偏微分方程式(PDE)を雑音および不規則格子上の部分的な観測から導入する。
本稿では、効率的な確率的フレームワークとデータ効率とグリッド独立性を改善するための新しい設計エンコーダを備えた時空間連続型ニューラルネットワークPDEモデルを提案する。
論文 参考訳(メタデータ) (2023-07-09T06:53:59Z) - Training Deep Surrogate Models with Large Scale Online Learning [48.7576911714538]
ディープラーニングアルゴリズムは、PDEの高速解を得るための有効な代替手段として登場した。
モデルは通常、ソルバによって生成された合成データに基づいてトレーニングされ、ディスクに格納され、トレーニングのために読み返される。
ディープサロゲートモデルのためのオープンソースのオンライントレーニングフレームワークを提案する。
論文 参考訳(メタデータ) (2023-06-28T12:02:27Z) - Robust Learning with Progressive Data Expansion Against Spurious
Correlation [65.83104529677234]
本研究では,2層非線形畳み込みニューラルネットワークの学習過程について検討した。
分析の結果,不均衡なデータ群と学習容易なスプリアス特徴が学習過程におけるスプリアス特徴の優位性に繋がる可能性が示唆された。
本稿では,PDEと呼ばれる新たなトレーニングアルゴリズムを提案する。
論文 参考訳(メタデータ) (2023-06-08T05:44:06Z) - FlexMoE: Scaling Large-scale Sparse Pre-trained Model Training via
Dynamic Device Placement [19.639936387834677]
Mixture-of-Experts (MoEs) は、様々なダウンストリームタスクにおいて、優れた事前トレーニングのスケーラビリティを示している。
MoEはデータライフサイクルにおける新たなデータ分析パラダイムになりつつある。
本稿では,動的データフローによる非効率性に対して系統的かつ透過的に対処する新しいDNNトレーニングフレームワークFlexMoEを提案する。
論文 参考訳(メタデータ) (2023-04-08T07:34:26Z) - Learning PDE Solution Operator for Continuous Modeling of Time-Series [1.39661494747879]
この研究は、動的モデリング能力を改善する偏微分方程式(PDE)に基づくフレームワークを提案する。
時間的離散化の反復的操作や特定のグリッドを必要とせずに連続的に処理できるニューラル演算子を提案する。
我々のフレームワークは、現実世界のアプリケーションに容易に適用可能な、ニューラルネットワークの継続的な表現のための新しい方法を開く。
論文 参考訳(メタデータ) (2023-02-02T03:47:52Z) - Knowledge Distillation as Efficient Pre-training: Faster Convergence,
Higher Data-efficiency, and Better Transferability [53.27240222619834]
効率的な事前学習としての知識蒸留は、学習した特徴表現を学習済みモデルから将来の下流タスクのための新しい学生モデルに効率的に転送することを目的としている。
提案手法は,3つの下流タスクにおける教師付き事前学習タスクと,10倍少ないデータと5倍少ない事前学習時間を必要とする9つの下流データセットとを比較検討する。
論文 参考訳(メタデータ) (2022-03-10T06:23:41Z) - Extrapolation for Large-batch Training in Deep Learning [72.61259487233214]
我々は、バリエーションのホストが、我々が提案する統一されたフレームワークでカバー可能であることを示す。
本稿では,この手法の収束性を証明し,ResNet,LSTM,Transformer上での経験的性能を厳格に評価する。
論文 参考訳(メタデータ) (2020-06-10T08:22:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。