論文の概要: AOT-POT: Adaptive Operator Transformation for Large-Scale PDE Pre-training

• arxiv url: http://arxiv.org/abs/2605.15793v1
• Date: Fri, 15 May 2026 09:50:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-18 21:22:26.243619
• Title: AOT-POT: Adaptive Operator Transformation for Large-Scale PDE Pre-training
• Title（参考訳）: AOT-POT:大規模PDE事前学習のための適応演算子変換
• Authors: Qitan Lv, Hong Wang, Zhongkai Hao, Wen Wu, Xuenan Xu, Bowen Zhou, Feng Wu, Chao Zhang,
• Abstract要約: 複雑で多様な解演算子をよりシンプルで、より整合性の高い形式に変換し、共同でモデリングしやすくすることを提案する。 我々はこのアイデアをAOT-POT (adaptive operator-transformation for pre-training operator transformer) としてインスタンス化し、隠れ表現を複数の並列ストリームに拡張する。 AOT-POTは、3%の追加パラメータを持つ12のPDEベンチマークで最先端のパフォーマンスを実現し、相対的なL2エラーを77.6%削減した(平均40.9%)。
• 参考スコア（独自算出の注目度）: 50.28798360093496
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Pre-training neural operators on diverse partial differential equation (PDE) datasets has emerged as a promising direction for building general-purpose surrogate models in scientific machine learning. However, the inherent complexity and structural diversity of PDE solution operators make multi-PDE pre-training fundamentally challenging. Existing methods mainly address this by increasing model capacity, while leaving the target solution operators unchanged. Inspired by classical numerical analysis, we instead propose to transform complex and diverse solution operators into simpler, better-aligned forms that are easier to model jointly. Since the optimal transformation varies across PDE types, it must be adaptive and input-dependent, allowing a single neural operator to approximate an entire family of operators. We instantiate this idea as AOT-POT (adaptive operator-transformation for pre-training operator transformer), which expands hidden representations into multiple parallel streams, adaptively aggregates and redistributes them before and after each sub-layer, and mixes streams through Sinkhorn-projected doubly stochastic matrices for stable training. These mechanisms together reshape diverse solution operators into a unified form that can be effectively modeled by a single architecture. Empirically, AOT-POT achieves state-of-the-art performance on 12 PDE benchmarks with only 3\% additional parameters, reducing relative L2 error by up to 77.6\% (40.9\% on average). Fine-tuning AOT-POT further reduces L2 error by up to 92\% on in-domain PDEs and 89\% on out-of-domain PDEs (unseen types during pre-training), demonstrating that adaptive operator transformation is an effective and complementary direction for advancing PDE foundation models beyond simply scaling model capacity.
• Abstract（参考訳）: 多様な偏微分方程式(PDE)データセット上の事前学習ニューラルネットワークは、科学機械学習において汎用代理モデルを構築する上で有望な方向として登場した。 しかしながら、PDEソリューション演算子の本質的な複雑さと構造的多様性は、マルチPDE事前学習を根本的に困難にしている。 既存の手法は主に、対象のソリューション演算子をそのまま残しながら、モデル容量を増大させることによってこの問題に対処する。 古典的な数値解析に触発されて、複雑で多様な解演算子をより単純でより整合した形式に変換し、共同でモデル化しやすくすることを提案する。 最適変換はPDEタイプによって異なるため、適応的で入力依存でなければならない。 AOT-POT(adaptive operator-transformation for pre-training operator transformer)としてこのアイデアをインスタンス化し、隠れた表現を複数の並列ストリームに拡張し、各サブレイヤの前後に適応的に集約し、再分割し、Sinkhorn計画の2重確率行列を介してストリームを混合し、安定したトレーニングを行う。 これらのメカニズムは、多様な解演算子を単一のアーキテクチャで効果的にモデル化できる統一形式に再構成する。 実証的には、AOT-POTは12のPDEベンチマークで3\%の追加パラメータしか持たず、相対的なL2エラーを77.6\%(平均40.9\%)まで減少させる。 微調整 AOT-POT はさらに L2 エラーを、ドメイン内 PDE で 92 % 、ドメイン外 PDE で 89 % まで削減し、適応演算子変換がモデルキャパシティのスケーリング以上の PDE 基盤モデルを前進させる効果的な補完的な方向であることを実証した。

関連論文リスト

• Variational Entropic Optimal Transport [67.76725267984578]
  本稿では,ドメイン翻訳問題に対する変分エントロピー最適輸送(VarEOT)を提案する。 VarEOTは、補助正の正規化子上のトラクタブルな一般化として、log-partition $log mathbbE[exp(cdot)$の正確な変分再構成に基づいている。 合成データと画像と画像の変換に関する実験は、競争力のあるか、あるいはより良い翻訳品質を示す。
  論文  参考訳（メタデータ） (2026-02-02T15:48:44Z)
• Scale-Consistent Learning for Partial Differential Equations [79.48661503591943]
  本稿では,PDEのスケール一貫性特性に基づくデータ拡張手法を提案する。 次に、幅広いスケールをモデル化できるスケールインフォームド・ニューラル演算子を設計する。 スケール一貫性によって、1000ドルの$Re$でトレーニングされたモデルは、250から10000までの$Re$に一般化することができる。
  論文  参考訳（メタデータ） (2025-07-24T21:29:52Z)
• Self-supervised Pretraining for Partial Differential Equations [0.0]
  本稿では、トランスフォーマーに基づくニューラルネットワークアーキテクチャの最近の進歩を活用し、ニューラルPDEソルバを構築するための新しいアプローチについて述べる。 我々のモデルは、ネットワークを再トレーニングすることなく、PDEパラメータの異なる値に対するソリューションを提供することができる。
  論文  参考訳（メタデータ） (2024-07-03T16:39:32Z)
• UPS: Efficiently Building Foundation Models for PDE Solving via Cross-Modal Adaptation [25.063470461409686]
  UPSは異なるPDEを共有表現空間に埋め込み、F変換アーキテクチャを用いてそれらを処理する。 クロスモーダルUPSは、PDEBenchから1Dと2DのPDEファミリを幅広く利用し、データ転送の4倍、計算の26倍の精度で既存の統一モデルより優れている。
  論文  参考訳（メタデータ） (2024-03-11T22:00:39Z)
• DPOT: Auto-Regressive Denoising Operator Transformer for Large-Scale PDE Pre-Training [87.90342423839876]
  我々は,PDEデータに対するより安定的で効率的な事前学習を可能にする,自己回帰型事前学習戦略を提案する。 我々は,100k以上の軌道を持つ10以上のPDEデータセットに対して,最大0.5BパラメータでPDEファンデーションモデルをトレーニングする。
  論文  参考訳（メタデータ） (2024-03-06T08:38:34Z)
• Neural Partial Differential Equations with Functional Convolution [30.35306295442881]
  本稿では、隠れた構造を発見し、異なる非線形PDEの解を予測するために、軽量なニューラルPDE表現を提案する。 我々は、数値PDE微分演算子の「翻訳類似性」の先行を利用して、学習モデルとトレーニングデータのスケールを大幅に削減する。
  論文  参考訳（メタデータ） (2023-03-10T04:25:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。