論文の概要: DPOT: Auto-Regressive Denoising Operator Transformer for Large-Scale PDE Pre-Training

• arxiv url: http://arxiv.org/abs/2403.03542v4
• Date: Tue, 7 May 2024 01:57:00 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-08 19:13:23.621278
• Title: DPOT: Auto-Regressive Denoising Operator Transformer for Large-Scale PDE Pre-Training
• Title（参考訳）: DPOT:大規模PDE事前訓練のための自動回帰デノイング演算子変換器
• Authors: Zhongkai Hao, Chang Su, Songming Liu, Julius Berner, Chengyang Ying, Hang Su, Anima Anandkumar, Jian Song, Jun Zhu,
• Abstract要約: 我々は,PDEデータに対するより安定的で効率的な事前学習を可能にする,自己回帰型事前学習戦略を提案する。 我々は,100k以上の軌道を持つ10以上のPDEデータセットに対して,最大0.5BパラメータでPDEファンデーションモデルをトレーニングする。
• 参考スコア（独自算出の注目度）: 87.90342423839876
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Pre-training has been investigated to improve the efficiency and performance of training neural operators in data-scarce settings. However, it is largely in its infancy due to the inherent complexity and diversity, such as long trajectories, multiple scales and varying dimensions of partial differential equations (PDEs) data. In this paper, we present a new auto-regressive denoising pre-training strategy, which allows for more stable and efficient pre-training on PDE data and generalizes to various downstream tasks. Moreover, by designing a flexible and scalable model architecture based on Fourier attention, we can easily scale up the model for large-scale pre-training. We train our PDE foundation model with up to 0.5B parameters on 10+ PDE datasets with more than 100k trajectories. Extensive experiments show that we achieve SOTA on these benchmarks and validate the strong generalizability of our model to significantly enhance performance on diverse downstream PDE tasks like 3D data. Code is available at \url{https://github.com/thu-ml/DPOT}.
• Abstract（参考訳）: データ・スカース・セッティングにおけるニューラル演算子の訓練効率と性能を向上させるため,事前学習が検討されている。 しかし、それは主に、長い軌跡、多重スケール、偏微分方程式(PDE)データの様々な次元など、固有の複雑さと多様性のため、その初期段階にある。 本稿では、PDEデータに対するより安定的で効率的な事前学習を可能にし、様々なダウンストリームタスクに一般化できる、新しい自己回帰型事前学習戦略を提案する。 さらに、Fourierの注意に基づくフレキシブルでスケーラブルなモデルアーキテクチャを設計することにより、大規模事前学習のためのモデルを簡単にスケールアップできる。 我々は,100k以上の軌道を持つ10以上のPDEデータセットに対して,最大0.5BパラメータでPDEファンデーションモデルをトレーニングする。 大規模な実験により、これらのベンチマークでSOTAを達成し、3Dデータのような様々な下流PDEタスクの性能を大幅に向上させるため、モデルの強力な一般化可能性を検証することができる。 コードは \url{https://github.com/thu-ml/DPOT} で入手できる。

関連論文リスト

• Latent Neural Operator Pretraining for Solving Time-Dependent PDEs [5.8039987932401225]
  本稿では,LNO(Latent Neural Operator Pretraining)をベースとしたLNOP(Latent Neural Operator Pretraining)フレームワークを提案する。 提案するLNOPフレームワークは, 4つの問題に対して解の誤差を31.7%削減し, 微調整後の57.1%まで改善することができる。 これらの結果から,本手法は非制約のニューラル演算子に比べて解の精度,転送能力,データ効率の面で競争力が高いことがわかった。
  論文  参考訳（メタデータ） (2024-10-26T06:57:22Z)
• Pretraining a Neural Operator in Lower Dimensions [7.136205674624813]
  我々は,データ収集が最安値である低次元PDE(PreLowD)上で,ニューラルPDEソルバを事前訓練することを目指している。 我々は,この事前学習戦略の有効性を,高次元のPDEで評価した。 私たちの仕事は、この事前訓練戦略を最大限に活用するために、微調整構成の効果に光を当てています。
  論文  参考訳（メタデータ） (2024-07-24T20:06:12Z)
• Self-supervised Pretraining for Partial Differential Equations [0.0]
  本稿では、トランスフォーマーに基づくニューラルネットワークアーキテクチャの最近の進歩を活用し、ニューラルPDEソルバを構築するための新しいアプローチについて述べる。 我々のモデルは、ネットワークを再トレーニングすることなく、PDEパラメータの異なる値に対するソリューションを提供することができる。
  論文  参考訳（メタデータ） (2024-07-03T16:39:32Z)
• Data-Efficient Operator Learning via Unsupervised Pretraining and In-Context Learning [45.78096783448304]
  本研究では,PDE演算子学習のための教師なし事前学習を設計する。 シミュレーションソリューションを使わずにラベルなしのPDEデータをマイニングし、物理に着想を得た再構成ベースのプロキシタスクでニューラルネットワークを事前訓練する。 提案手法は,データ効率が高く,より一般化可能であり,従来の視覚予測モデルよりも優れる。
  論文  参考訳（メタデータ） (2024-02-24T06:27:33Z)
• Training Deep Surrogate Models with Large Scale Online Learning [48.7576911714538]
  ディープラーニングアルゴリズムは、PDEの高速解を得るための有効な代替手段として登場した。 モデルは通常、ソルバによって生成された合成データに基づいてトレーニングされ、ディスクに格納され、トレーニングのために読み返される。 ディープサロゲートモデルのためのオープンソースのオンライントレーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-06-28T12:02:27Z)
• Robust Learning with Progressive Data Expansion Against Spurious Correlation [65.83104529677234]
  本研究では,2層非線形畳み込みニューラルネットワークの学習過程について検討した。 分析の結果,不均衡なデータ群と学習容易なスプリアス特徴が学習過程におけるスプリアス特徴の優位性に繋がる可能性が示唆された。 本稿では,PDEと呼ばれる新たなトレーニングアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-06-08T05:44:06Z)
• Knowledge Distillation as Efficient Pre-training: Faster Convergence, Higher Data-efficiency, and Better Transferability [53.27240222619834]
  効率的な事前学習としての知識蒸留は、学習した特徴表現を学習済みモデルから将来の下流タスクのための新しい学生モデルに効率的に転送することを目的としている。 提案手法は,3つの下流タスクにおける教師付き事前学習タスクと,10倍少ないデータと5倍少ない事前学習時間を必要とする9つの下流データセットとを比較検討する。
  論文  参考訳（メタデータ） (2022-03-10T06:23:41Z)
• Extrapolation for Large-batch Training in Deep Learning [72.61259487233214]
  我々は、バリエーションのホストが、我々が提案する統一されたフレームワークでカバー可能であることを示す。 本稿では,この手法の収束性を証明し,ResNet,LSTM,Transformer上での経験的性能を厳格に評価する。
  論文  参考訳（メタデータ） (2020-06-10T08:22:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。