論文の概要: SPUS: A Lightweight and Parameter-Efficient Foundation Model for PDEs

• arxiv url: http://arxiv.org/abs/2510.01370v1
• Date: Wed, 01 Oct 2025 18:54:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-03 16:59:20.830911
• Title: SPUS: A Lightweight and Parameter-Efficient Foundation Model for PDEs
• Title（参考訳）: SPUS:PDEのための軽量かつパラメータ効率の良い基礎モデル
• Authors: Abu Bucker Siddik, Diane Oyen, Alexander Most, Michal Kucer, Ayan Biswas,
• Abstract要約: 我々は、幅広い偏微分方程式(PDE)を解くための統一ニューラル演算子として設計されたコンパクトで効率的な基礎モデルSPUSを紹介する。 SPUSは様々な流体力学PDEに基づいて事前訓練され、様々な物理系にまたがる6つの未確認下流PDEに対して評価される。 実験により,残余なU-Netアーキテクチャを用いたSPUSが,これらの下流タスクの最先端の一般化を実現することが示された。
• 参考スコア（独自算出の注目度）: 40.11476265839176
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We introduce Small PDE U-Net Solver (SPUS), a compact and efficient foundation model (FM) designed as a unified neural operator for solving a wide range of partial differential equations (PDEs). Unlike existing state-of-the-art PDE FMs-primarily based on large complex transformer architectures with high computational and parameter overhead-SPUS leverages a lightweight residual U-Net-based architecture that has been largely underexplored as a foundation model architecture in this domain. To enable effective learning in this minimalist framework, we utilize a simple yet powerful auto-regressive pretraining strategy which closely replicates the behavior of numerical solvers to learn the underlying physics. SPUS is pretrained on a diverse set of fluid dynamics PDEs and evaluated across 6 challenging unseen downstream PDEs spanning various physical systems. Experimental results demonstrate that SPUS using residual U-Net based architecture achieves state-of-the-art generalization on these downstream tasks while requiring significantly fewer parameters and minimal fine-tuning data, highlighting its potential as a highly parameter-efficient FM for solving diverse PDE systems.
• Abstract（参考訳）: 我々は,PDE(Small PDE U-Net Solver)を多種多様な偏微分方程式(PDE)を解くための統一ニューラル演算子として設計した,コンパクトで効率的な基礎モデル(FM)である。 既存の最先端のPDE FMとは違い、SPUSは高計算量とパラメータのオーバーヘッドを持つ大規模な複雑なトランスフォーマーアーキテクチャを主にベースとしており、この領域の基盤モデルアーキテクチャとして主に過小評価されている軽量なU-Netベースのアーキテクチャを活用している。 この最小限のフレームワークで効果的な学習を可能にするために,数値解法の動作を忠実に再現して基礎となる物理を学習する,単純かつ強力な自己回帰事前学習戦略を用いる。 SPUSは様々な流体力学PDEに基づいて事前訓練され、様々な物理系にまたがる6つの未確認下流PDEに対して評価される。 実験により,残余なU-Netアーキテクチャを用いたSPUSは,これらの下流タスクの最先端の一般化を実現し,パラメータが著しく少なく,微調整データも最小限に抑えられ,多様なPDEシステムを解くためのパラメータ効率の高いFMとしての可能性を強調した。

関連論文リスト

• Advancing Generalization in PINNs through Latent-Space Representations [71.86401914779019]
  物理インフォームドニューラルネットワーク(PINN)は、偏微分方程式(PDE)によって支配される力学系のモデリングにおいて大きな進歩を遂げた。 本稿では,多種多様なPDE構成を効果的に一般化する物理インフォームドニューラルPDE解法PIDOを提案する。 PIDOは1次元合成方程式と2次元ナビエ・ストークス方程式を含む様々なベンチマークで検証する。
  論文  参考訳（メタデータ） (2024-11-28T13:16:20Z)
• Unisolver: PDE-Conditional Transformers Towards Universal Neural PDE Solvers [53.79279286773326]
  我々は、多様なデータに基づいて訓練され、多様なPDEで条件付けされた新しいトランスフォーマーモデルUnisolverを提案する。 Unisolverは3つの挑戦的な大規模ベンチマークで一貫した最先端を実現し、優れたパフォーマンスと一般化性を示している。
  論文  参考訳（メタデータ） (2024-05-27T15:34:35Z)
• Physics-informed Discretization-independent Deep Compositional Operator Network [1.2430809884830318]
  我々はPDEパラメータと不規則領域形状の様々な離散表現に一般化できる新しい物理インフォームドモデルアーキテクチャを提案する。 ディープ・オペレーター・ニューラルネットワークにインスパイアされた我々のモデルは、パラメータの繰り返し埋め込みの離散化に依存しない学習を含む。 提案手法の精度と効率を数値計算により検証した。
  論文  参考訳（メタデータ） (2024-04-21T12:41:30Z)
• Physics-driven machine learning models coupling PyTorch and Firedrake [0.0]
  偏微分方程式 (Partial differential equation, PDE) は、複雑な物理系の記述とモデル化の中心である。 PDEベースの機械学習技術は、この制限に対処するために設計されている。 機械学習フレームワークPyTorchとPDEシステムFiredrakeの単純な結合について述べる。
  論文  参考訳（メタデータ） (2023-03-13T05:42:58Z)
• LordNet: An Efficient Neural Network for Learning to Solve Parametric Partial Differential Equations without Simulated Data [47.49194807524502]
  エンタングルメントをモデル化するためのチューナブルで効率的なニューラルネットワークであるLordNetを提案する。 ポアソン方程式と(2Dおよび3D)ナビエ・ストークス方程式を解く実験は、長距離の絡み合いがロードネットによってうまくモデル化できることを示した。
  論文  参考訳（メタデータ） (2022-06-19T14:41:08Z)
• Neural Operator with Regularity Structure for Modeling Dynamics Driven by SPDEs [70.51212431290611]
  偏微分方程式 (SPDE) は、大気科学や物理学を含む多くの分野において、力学をモデル化するための重要なツールである。 本研究では,SPDEによって駆動されるダイナミクスをモデル化するための特徴ベクトルを組み込んだニューラル演算子(NORS)を提案する。 動的Phi41モデルと2d Navier-Stokes方程式を含む様々なSPDE実験を行った。
  論文  参考訳（メタデータ） (2022-04-13T08:53:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。