論文の概要: UPS: Towards Foundation Models for PDE Solving via Cross-Modal
Adaptation
- arxiv url: http://arxiv.org/abs/2403.07187v1
- Date: Mon, 11 Mar 2024 22:00:39 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-13 23:34:12.667476
- Title: UPS: Towards Foundation Models for PDE Solving via Cross-Modal
Adaptation
- Title(参考訳): UPS: クロスモーダル適応によるPDE問題解決のための基礎モデル
- Authors: Junhong Shen, Tanya Marwah, Ameet Talwalkar
- Abstract要約: UPSは、様々な領域、次元、解像度で定義された多様なPDEを効果的かつデータ効率で解決するアプローチである。
異なるPDEを一貫した表現空間に統一し、統一ネットワークアーキテクチャを用いて様々なPDEデータのコレクションを処理する。
数発で異なるPDEファミリ、係数、解像度に転送できる。
- 参考スコア(独自算出の注目度): 28.16882906618031
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We introduce UPS (Unified PDE Solver), an effective and data-efficient
approach to solve diverse spatiotemporal PDEs defined over various domains,
dimensions, and resolutions. UPS unifies different PDEs into a consistent
representation space and processes diverse collections of PDE data using a
unified network architecture that combines LLMs with domain-specific neural
operators. We train the network via a two-stage cross-modal adaptation process,
leveraging ideas of modality alignment and multi-task learning. By adapting
from pretrained LLMs and exploiting text-form meta information, we are able to
use considerably fewer training samples than previous methods while obtaining
strong empirical results. UPS outperforms existing baselines, often by a large
margin, on a wide range of 1D and 2D datasets in PDEBench, achieving
state-of-the-art results on 8 of 10 tasks considered. Meanwhile, it is capable
of few-shot transfer to different PDE families, coefficients, and resolutions.
- Abstract(参考訳): UPS(Unified PDE Solver)は、様々な領域、次元、解像度で定義された多様な時空間PDEを効果的かつデータ効率で解決する手法である。
UPSは異なるPDEを一貫した表現空間に統一し、LLMとドメイン固有のニューラル演算子を組み合わせた統一ネットワークアーキテクチャを用いてPDEデータの多様なコレクションを処理する。
ネットワークを2段階のクロスモーダル適応プロセスでトレーニングし、モーダルアライメントとマルチタスク学習のアイデアを活用する。
事前学習されたllmから適応し、テキスト形式のメタ情報を利用することにより、強い経験的結果を得ながら、以前の方法よりもはるかに少ないトレーニングサンプルを使用できる。
UPSはPDEBenchの1Dおよび2Dデータセットの幅広い範囲において、しばしば大きなマージンで既存のベースラインを上回り、考慮された10タスクのうち8タスクで最先端の結果を得る。
一方、異なるPDEファミリー、係数、解像度への数発の転送が可能である。
関連論文リスト
- MMA-DFER: MultiModal Adaptation of unimodal models for Dynamic Facial Expression Recognition in-the-wild [81.32127423981426]
実世界のアプリケーションでは,音声およびビデオデータに基づくマルチモーダル感情認識が重要である。
近年の手法は、強力なマルチモーダルエンコーダの事前学習に自己教師付き学習(SSL)の進歩を活用することに重点を置いている。
SSL-pre-trained disimodal encoders を用いて,この問題に対する異なる視点とマルチモーダル DFER の性能向上について検討する。
論文 参考訳(メタデータ) (2024-04-13T13:39:26Z) - DPOT: Auto-Regressive Denoising Operator Transformer for Large-Scale PDE Pre-Training [87.90342423839876]
我々は,PDEデータに対するより安定的で効率的な事前学習を可能にする,自己回帰型事前学習戦略を提案する。
我々は,100k以上の軌道を持つ10以上のPDEデータセットに対して,最大0.5BパラメータでPDEファンデーションモデルをトレーニングする。
論文 参考訳(メタデータ) (2024-03-06T08:38:34Z) - Data-Efficient Operator Learning via Unsupervised Pretraining and
In-Context Learning [48.51023783276896]
PDE演算子学習のための教師なし事前学習とコンテキスト学習を設計する。
提案手法は,データ効率が高く,より一般化可能であり,従来の視覚予測モデルよりも優れる。
論文 参考訳(メタデータ) (2024-02-24T06:27:33Z) - Elucidating the solution space of extended reverse-time SDE for
diffusion models [54.23536653351234]
拡散モデル(DM)は、様々な生成的モデリングタスクにおいて強力な画像生成能力を示す。
その主な制限はサンプリング速度の遅いことであり、高品質な画像を生成するには数百から数千のシーケンシャルな機能評価が必要である。
サンプリングプロセスを拡張逆時間SDEとして定式化し、ODEやSDEへの事前探索を統一する。
我々は, 高速かつトレーニング不要なサンプル装置ER-SDE-rsを考案し, 全サンプル装置の最先端性能を実現した。
論文 参考訳(メタデータ) (2023-09-12T12:27:17Z) - Synergizing Contrastive Learning and Optimal Transport for 3D Point
Cloud Domain Adaptation [8.959482028146338]
マルチモーダル・コントラッシブ・ラーニングの利点を生かした,ポイントクラウド分類のための新しいUDAアーキテクチャを提案する。
本稿では,GraspNetPC-10上での最先端性能とPointDA-10における平均性能について述べる。
論文 参考訳(メタデータ) (2023-08-27T15:03:10Z) - iPINNs: Incremental learning for Physics-informed neural networks [66.4795381419701]
物理インフォームドニューラルネットワーク(PINN)は、最近偏微分方程式(PDE)を解く強力なツールとなっている。
本稿では,新しいタスクのパラメータを追加せずに連続的に複数のタスクを学習できるインクリメンタルPINNを提案する。
提案手法は,PDEごとに個別のサブネットワークを作成し,従来のサブネットワークと重なり合うようにすることで,最も単純なPDEから複数のPDEを学習する。
論文 参考訳(メタデータ) (2023-04-10T20:19:20Z) - Neural Partial Differential Equations with Functional Convolution [30.35306295442881]
本稿では、隠れた構造を発見し、異なる非線形PDEの解を予測するために、軽量なニューラルPDE表現を提案する。
我々は、数値PDE微分演算子の「翻訳類似性」の先行を利用して、学習モデルとトレーニングデータのスケールを大幅に削減する。
論文 参考訳(メタデータ) (2023-03-10T04:25:38Z) - Solving High-Dimensional PDEs with Latent Spectral Models [74.1011309005488]
我々は,高次元PDEの効率的かつ高精度な解法に向けて,Latent Spectral Models (LSM) を提案する。
数値解析において古典スペクトル法に着想を得て,潜時空間におけるPDEを解くために,ニューラルスペクトルブロックを設計する。
LSMは、一貫した最先端を実現し、7つのベンチマークで平均11.5%の相対的な利益を得る。
論文 参考訳(メタデータ) (2023-01-30T04:58:40Z) - Meta-PDE: Learning to Solve PDEs Quickly Without a Mesh [24.572840023107574]
偏微分方程式(PDE)は、しばしば計算的に解くのが難しい。
本稿では,関連するPDEの分布から,問題の迅速な解法を学習するメタラーニング手法を提案する。
論文 参考訳(メタデータ) (2022-11-03T06:17:52Z) - Adversarial Multi-task Learning Enhanced Physics-informed Neural
Networks for Solving Partial Differential Equations [9.823102211212582]
本稿では,多タスク学習手法,不確実性強調損失,勾配手術を学習pdeソリューションの文脈で活用する新しいアプローチを提案する。
実験では,提案手法が有効であることが判明し,従来手法と比較して未発見のデータポイントの誤差を低減できた。
論文 参考訳(メタデータ) (2021-04-29T13:17:46Z) - Deep Generative Models that Solve PDEs: Distributed Computing for
Training Large Data-Free Models [25.33147292369218]
科学機械学習(SciML)の最近の進歩は、複雑な偏微分方程式(PDE)を解く新しいニューラルネットワークアーキテクチャを訓練する可能性を開く。
本稿では、これらの大規模SciMLモデルをトレーニングする2つの課題を解決するために、データ並列分散ディープラーニングのためのソフトウェアフレームワークについて報告する。
私たちのフレームワークは、(a)プロセス数に依存しない損失整合性、(b)同期バッチ正規化、(c)分散高階最適化方法など、いくつかのアウトオブボックス機能を提供します。
論文 参考訳(メタデータ) (2020-07-24T22:42:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。