論文の概要: UPS: Efficiently Building Foundation Models for PDE Solving via Cross-Modal Adaptation

• arxiv url: http://arxiv.org/abs/2403.07187v2
• Date: Fri, 24 May 2024 03:44:20 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-27 20:46:55.354285
• Title: UPS: Efficiently Building Foundation Models for PDE Solving via Cross-Modal Adaptation
• Title（参考訳）: UPS: クロスモーダル適応によるPDE問題解決のための効率的な基礎モデルの構築
• Authors: Junhong Shen, Tanya Marwah, Ameet Talwalkar,
• Abstract要約: UPSは異なるPDEを共有表現空間に埋め込み、F変換アーキテクチャを用いてそれらを処理する。 クロスモーダルUPSは、PDEBenchから1Dと2DのPDEファミリを幅広く利用し、データ転送の4倍、計算の26倍の精度で既存の統一モデルより優れている。
• 参考スコア（独自算出の注目度）: 25.063470461409686
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present Unified PDE Solvers (UPS), a data- and compute-efficient approach to developing unified neural operators for diverse families of spatiotemporal PDEs from various domains, dimensions, and resolutions. UPS embeds different PDEs into a shared representation space and processes them using a FNO-transformer architecture. Rather than training the network from scratch, which is data-demanding and computationally expensive, we warm-start the transformer from pretrained LLMs and perform explicit alignment to reduce the modality gap while improving data and compute efficiency. The cross-modal UPS achieves state-of-the-art results on a wide range of 1D and 2D PDE families from PDEBench, outperforming existing unified models using 4 times less data and 26 times less compute. Meanwhile, it is capable of few-shot transfer to unseen PDE families and coefficients.
• Abstract（参考訳）: 我々は、様々な領域、次元、解像度の時空間PDEの多種多様なファミリーのための統一ニューラル演算子を開発するための、データおよび計算効率のよいアプローチであるUnified PDE Solvers(UPS)を提案する。 UPSは異なるPDEを共有表現空間に埋め込み、それらをFNO変換アーキテクチャを使って処理する。 データオンデマンドで計算コストのかかるスクラッチからネットワークをトレーニングする代わりに、事前訓練されたLCMからトランスフォーマーをウォームスタートさせ、データの改善と計算効率の向上を図りながら、モダリティギャップを小さくするために明示的なアライメントを行う。 クロスモーダルUPSは、PDEBenchから1Dおよび2D PDEファミリの広い範囲における最先端の結果を達成し、4倍の少ないデータと26倍の計算量で既存の統一モデルより優れている。 一方、未知のPDEファミリーや係数への数発の転送も可能である。

関連論文リスト

• Latent Neural Operator Pretraining for Solving Time-Dependent PDEs [5.8039987932401225]
  本稿では,LNO(Latent Neural Operator Pretraining)をベースとしたLNOP(Latent Neural Operator Pretraining)フレームワークを提案する。 提案するLNOPフレームワークは, 4つの問題に対して解の誤差を31.7%削減し, 微調整後の57.1%まで改善することができる。 これらの結果から,本手法は非制約のニューラル演算子に比べて解の精度,転送能力,データ効率の面で競争力が高いことがわかった。
  論文  参考訳（メタデータ） (2024-10-26T06:57:22Z)
• Unisolver: PDE-Conditional Transformers Are Universal PDE Solvers [55.0876373185983]
  広範にPDEを解くことができるUniversal PDEソルバ(Unisolver)を提案する。 私たちの重要な発見は、PDEソリューションが基本的に一連のPDEコンポーネントの制御下にあることです。 Unisolverは3つの挑戦的な大規模ベンチマークにおいて、一貫した最先端の結果を達成する。
  論文  参考訳（メタデータ） (2024-05-27T15:34:35Z)
• DPOT: Auto-Regressive Denoising Operator Transformer for Large-Scale PDE Pre-Training [87.90342423839876]
  我々は,PDEデータに対するより安定的で効率的な事前学習を可能にする,自己回帰型事前学習戦略を提案する。 我々は,100k以上の軌道を持つ10以上のPDEデータセットに対して,最大0.5BパラメータでPDEファンデーションモデルをトレーニングする。
  論文  参考訳（メタデータ） (2024-03-06T08:38:34Z)
• Efficient Neural PDE-Solvers using Quantization Aware Training [71.0934372968972]
  量子化は、性能を維持しながら推論の計算コストを下げることができることを示す。 4つの標準PDEデータセットと3つのネットワークアーキテクチャの結果、量子化対応のトレーニングは、設定と3桁のFLOPで機能することがわかった。
  論文  参考訳（メタデータ） (2023-08-14T09:21:19Z)
• Training Deep Surrogate Models with Large Scale Online Learning [48.7576911714538]
  ディープラーニングアルゴリズムは、PDEの高速解を得るための有効な代替手段として登場した。 モデルは通常、ソルバによって生成された合成データに基づいてトレーニングされ、ディスクに格納され、トレーニングのために読み返される。 ディープサロゲートモデルのためのオープンソースのオンライントレーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-06-28T12:02:27Z)
• Neural Partial Differential Equations with Functional Convolution [30.35306295442881]
  本稿では、隠れた構造を発見し、異なる非線形PDEの解を予測するために、軽量なニューラルPDE表現を提案する。 我々は、数値PDE微分演算子の「翻訳類似性」の先行を利用して、学習モデルとトレーニングデータのスケールを大幅に削減する。
  論文  参考訳（メタデータ） (2023-03-10T04:25:38Z)
• MAgNet: Mesh Agnostic Neural PDE Solver [68.8204255655161]
  気候予測は、流体シミュレーションにおける全ての乱流スケールを解決するために、微細な時間分解能を必要とする。 現在の数値モデル解法 PDEs on grids that too coarse (3km～200km on each side) 本研究では,空間的位置問合せが与えられたPDEの空間的連続解を予測する新しいアーキテクチャを設計する。
  論文  参考訳（メタデータ） (2022-10-11T14:52:20Z)
• Lie Point Symmetry Data Augmentation for Neural PDE Solvers [69.72427135610106]
  本稿では,ニューラルPDEソルバサンプルの複雑性を改善することにより,この問題を部分的に緩和する手法を提案する。 PDEの文脈では、データ変換の完全なリストを定量的に導き出せることが分かりました。 神経性PDEソルバサンプルの複雑さを桁違いに改善するために、どのように容易に展開できるかを示す。
  論文  参考訳（メタデータ） (2022-02-15T18:43:17Z)
• Adversarial Multi-task Learning Enhanced Physics-informed Neural Networks for Solving Partial Differential Equations [9.823102211212582]
  本稿では,多タスク学習手法,不確実性強調損失,勾配手術を学習pdeソリューションの文脈で活用する新しいアプローチを提案する。 実験では,提案手法が有効であることが判明し,従来手法と比較して未発見のデータポイントの誤差を低減できた。
  論文  参考訳（メタデータ） (2021-04-29T13:17:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。