論文の概要: UPS: Towards Foundation Models for PDE Solving via Cross-Modal Adaptation

• arxiv url: http://arxiv.org/abs/2403.07187v1
• Date: Mon, 11 Mar 2024 22:00:39 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-13 23:34:12.667476
• Title: UPS: Towards Foundation Models for PDE Solving via Cross-Modal Adaptation
• Title（参考訳）: UPS: クロスモーダル適応によるPDE問題解決のための基礎モデル
• Authors: Junhong Shen, Tanya Marwah, Ameet Talwalkar
• Abstract要約: UPSは、様々な領域、次元、解像度で定義された多様なPDEを効果的かつデータ効率で解決するアプローチである。 異なるPDEを一貫した表現空間に統一し、統一ネットワークアーキテクチャを用いて様々なPDEデータのコレクションを処理する。 数発で異なるPDEファミリ、係数、解像度に転送できる。
• 参考スコア（独自算出の注目度）: 28.16882906618031
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We introduce UPS (Unified PDE Solver), an effective and data-efficient approach to solve diverse spatiotemporal PDEs defined over various domains, dimensions, and resolutions. UPS unifies different PDEs into a consistent representation space and processes diverse collections of PDE data using a unified network architecture that combines LLMs with domain-specific neural operators. We train the network via a two-stage cross-modal adaptation process, leveraging ideas of modality alignment and multi-task learning. By adapting from pretrained LLMs and exploiting text-form meta information, we are able to use considerably fewer training samples than previous methods while obtaining strong empirical results. UPS outperforms existing baselines, often by a large margin, on a wide range of 1D and 2D datasets in PDEBench, achieving state-of-the-art results on 8 of 10 tasks considered. Meanwhile, it is capable of few-shot transfer to different PDE families, coefficients, and resolutions.
• Abstract（参考訳）: UPS(Unified PDE Solver)は、様々な領域、次元、解像度で定義された多様な時空間PDEを効果的かつデータ効率で解決する手法である。 UPSは異なるPDEを一貫した表現空間に統一し、LLMとドメイン固有のニューラル演算子を組み合わせた統一ネットワークアーキテクチャを用いてPDEデータの多様なコレクションを処理する。 ネットワークを2段階のクロスモーダル適応プロセスでトレーニングし、モーダルアライメントとマルチタスク学習のアイデアを活用する。 事前学習されたllmから適応し、テキスト形式のメタ情報を利用することにより、強い経験的結果を得ながら、以前の方法よりもはるかに少ないトレーニングサンプルを使用できる。 UPSはPDEBenchの1Dおよび2Dデータセットの幅広い範囲において、しばしば大きなマージンで既存のベースラインを上回り、考慮された10タスクのうち8タスクで最先端の結果を得る。 一方、異なるPDEファミリー、係数、解像度への数発の転送が可能である。

関連論文リスト

• Latent Neural Operator Pretraining for Solving Time-Dependent PDEs [5.8039987932401225]
  本稿では,LNO(Latent Neural Operator Pretraining)をベースとしたLNOP(Latent Neural Operator Pretraining)フレームワークを提案する。 提案するLNOPフレームワークは, 4つの問題に対して解の誤差を31.7%削減し, 微調整後の57.1%まで改善することができる。 これらの結果から,本手法は非制約のニューラル演算子に比べて解の精度,転送能力,データ効率の面で競争力が高いことがわかった。
  論文  参考訳（メタデータ） (2024-10-26T06:57:22Z)
• Unisolver: PDE-Conditional Transformers Are Universal PDE Solvers [55.0876373185983]
  広範にPDEを解くことができるUniversal PDEソルバ(Unisolver)を提案する。 私たちの重要な発見は、PDEソリューションが基本的に一連のPDEコンポーネントの制御下にあることです。 Unisolverは3つの挑戦的な大規模ベンチマークにおいて、一貫した最先端の結果を達成する。
  論文  参考訳（メタデータ） (2024-05-27T15:34:35Z)
• DPOT: Auto-Regressive Denoising Operator Transformer for Large-Scale PDE Pre-Training [87.90342423839876]
  我々は,PDEデータに対するより安定的で効率的な事前学習を可能にする,自己回帰型事前学習戦略を提案する。 我々は,100k以上の軌道を持つ10以上のPDEデータセットに対して,最大0.5BパラメータでPDEファンデーションモデルをトレーニングする。
  論文  参考訳（メタデータ） (2024-03-06T08:38:34Z)
• Efficient Neural PDE-Solvers using Quantization Aware Training [71.0934372968972]
  量子化は、性能を維持しながら推論の計算コストを下げることができることを示す。 4つの標準PDEデータセットと3つのネットワークアーキテクチャの結果、量子化対応のトレーニングは、設定と3桁のFLOPで機能することがわかった。
  論文  参考訳（メタデータ） (2023-08-14T09:21:19Z)
• Training Deep Surrogate Models with Large Scale Online Learning [48.7576911714538]
  ディープラーニングアルゴリズムは、PDEの高速解を得るための有効な代替手段として登場した。 モデルは通常、ソルバによって生成された合成データに基づいてトレーニングされ、ディスクに格納され、トレーニングのために読み返される。 ディープサロゲートモデルのためのオープンソースのオンライントレーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-06-28T12:02:27Z)
• Neural Partial Differential Equations with Functional Convolution [30.35306295442881]
  本稿では、隠れた構造を発見し、異なる非線形PDEの解を予測するために、軽量なニューラルPDE表現を提案する。 我々は、数値PDE微分演算子の「翻訳類似性」の先行を利用して、学習モデルとトレーニングデータのスケールを大幅に削減する。
  論文  参考訳（メタデータ） (2023-03-10T04:25:38Z)
• MAgNet: Mesh Agnostic Neural PDE Solver [68.8204255655161]
  気候予測は、流体シミュレーションにおける全ての乱流スケールを解決するために、微細な時間分解能を必要とする。 現在の数値モデル解法 PDEs on grids that too coarse (3km～200km on each side) 本研究では,空間的位置問合せが与えられたPDEの空間的連続解を予測する新しいアーキテクチャを設計する。
  論文  参考訳（メタデータ） (2022-10-11T14:52:20Z)
• Lie Point Symmetry Data Augmentation for Neural PDE Solvers [69.72427135610106]
  本稿では,ニューラルPDEソルバサンプルの複雑性を改善することにより,この問題を部分的に緩和する手法を提案する。 PDEの文脈では、データ変換の完全なリストを定量的に導き出せることが分かりました。 神経性PDEソルバサンプルの複雑さを桁違いに改善するために、どのように容易に展開できるかを示す。
  論文  参考訳（メタデータ） (2022-02-15T18:43:17Z)
• Adversarial Multi-task Learning Enhanced Physics-informed Neural Networks for Solving Partial Differential Equations [9.823102211212582]
  本稿では,多タスク学習手法,不確実性強調損失,勾配手術を学習pdeソリューションの文脈で活用する新しいアプローチを提案する。 実験では,提案手法が有効であることが判明し,従来手法と比較して未発見のデータポイントの誤差を低減できた。
  論文  参考訳（メタデータ） (2021-04-29T13:17:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。