論文の概要: When Attention Beats Fourier: Multi-Scale Transformers for PDE Solving on Irregular Domains
- arxiv url: http://arxiv.org/abs/2605.08318v1
- Date: Fri, 08 May 2026 15:23:13 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-12 23:28:49.562169
- Title: When Attention Beats Fourier: Multi-Scale Transformers for PDE Solving on Irregular Domains
- Title（参考訳）: 不規則領域におけるPDE解法用マルチスケール変圧器
- Authors: Brandon Yee, Pairie Koh, Jack Rodriguez, Mihir Tekal,
- Abstract要約: msatは複素幾何学問題に対する最先端の一般化を実現する。
textbfMulti-Scale Attention Transformer (msat)は、ソリューション履歴をトークンシーケンスとしてエンコードし、エンドツーエンドにトレーニングする。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We study the problem of \emph{architecture selection} for deep learning models trained to solve partial differential equations (PDEs), asking when transformer-based architectures with learned attention outperform Fourier-domain neural operators. We introduce the \textbf{Multi-Scale Attention Transformer} (\msat{}), a deep learning architecture that encodes spatiotemporal solution histories as token sequences and trains end-to-end via a composite supervised objective with optional physics-informed regularization terms. We conduct a comprehensive empirical evaluation against nine baselines -- including physics-informed neural networks (PINNs), neural operators (FNO, DeepONet, GNOT), and state-space models (Mamba-NO) -- across five benchmark problems from the PINNacle suite, using identical train/test splits and reference data for all methods. \msat{} achieves state-of-the-art generalization on complex geometry problems ($L^2_\mathrm{rel} = 0.0101$ on Heat2D-CG, a $3.7\times$ improvement over FNO) at $34\,\mathrm{s}$ total inference vs.\ $120{,}812\,\mathrm{s}$ for Mamba-NO. Ablation studies over the physics regularization component reveal a precise inductive bias tradeoff: physics priors reduce test error on diffusion-dominated problems but degrade generalization on chaotic and recirculating-flow regimes, directly characterizing the prior misspecification boundary. Approximation error bounds as a function of domain boundary complexity $κ$ provide a theoretical basis for these empirical findings and a principled rule for architecture selection.
- Abstract（参考訳）: 偏微分方程式(PDE)の解法を学習した深層学習モデルに対する 'emph{architecture selection} の問題について検討し, 学習した注目度を持つトランスフォーマーベースアーキテクチャがフーリエドメインニューラル演算子より優れているかを問う。
我々は,時空間解の履歴をトークンシーケンスとしてエンコードし,任意の物理インフォームド正規化項を用いた複合教師対象によるエンドツーエンドのトレーニングを行うディープラーニングアーキテクチャである,textbf{Multi-Scale Attention Transformer} (\msat{})を紹介した。
我々は、PINNacleスイートの5つのベンチマーク問題のうち、物理インフォームドニューラルネットワーク(PINN)、ニューラル演算子(FNO、DeepONet、GNOT)、ステートスペースモデル(Mamba-NO)を含む9つのベースラインに対して、同一の列車/テストスプリットと参照データを使用して、包括的な実験的な評価を行う。
L^2_\mathrm{rel} = 0.0101$ on Heat2D-CG, a $3.7\times$ improvement over FNO) at $34\,\mathrm{s}$ total inference vs。
\ $120{,}812\,\mathrm{s}$ for Mamba-NO.
物理学は拡散に支配された問題に対する試験誤差を減少させるが、カオス的および循環的・循環的な状態における一般化を低下させ、以前の不特定境界を直接特徴づける。
ドメイン境界複雑性の関数としての近似誤差境界$κ$は、これらの経験的発見の理論的基礎とアーキテクチャ選択の原則的規則を提供する。
関連論文リスト
- INC: An Indirect Neural Corrector for Auto-Regressive Hybrid PDE Solvers [61.84396402100827]
本稿では,学習した補正を支配方程式に統合する間接ニューラルコレクタ(mathrmINC$)を提案する。
$mathrmINC$は、$t-1 + L$の順番でエラー増幅を減らし、$t$はタイムステップ、$L$はリプシッツ定数である。
大規模なベンチマークで$mathrmINC$をテストし、1Dカオスシステムから3D乱流まで、多くの異なる解法、神経バックボーン、テストケースをカバーした。
論文 参考訳（メタデータ） (2025-11-16T20:14:28Z) - Decentralized Nonconvex Composite Federated Learning with Gradient Tracking and Momentum [78.27945336558987]
分散サーバ(DFL)はクライアント・クライアント・アーキテクチャへの依存をなくす。
非滑らかな正規化はしばしば機械学習タスクに組み込まれる。
本稿では,これらの問題を解決する新しいDNCFLアルゴリズムを提案する。
論文 参考訳（メタデータ） (2025-04-17T08:32:25Z) - Enabling Automatic Differentiation with Mollified Graph Neural Operators [73.52999622724101]
本稿では,自動微分と任意のジオメトリの正確な勾配を求める最初の手法であるモリファイドグラフニューラル演算子(m$GNO)を提案する。
正規格子上のPDEの例では、$m$GNOとオートグレードの組み合わせにより、L2相対データの誤差は有限差に比べて20倍減少した。
また、物理損失のみを使用し、有限差分に必要な分解能よりもはるかに低い精度で、非構造化点雲上のPDEをシームレスに解くことができる。
論文 参考訳（メタデータ） (2025-04-11T06:16:30Z) - Improving PINNs By Algebraic Inclusion of Boundary and Initial Conditions [0.1874930567916036]
AI for Science」は、AI技術を用いた基本的な科学的問題を解決することを目的としている。
本研究では、トレーニング対象のモデルを単にニューラルネットワークから非線形変換に変更する可能性について検討する。
これにより、損失関数の項数は標準のPINN損失よりも減少する。
論文 参考訳（メタデータ） (2024-07-30T11:19:48Z) - On the estimation rate of Bayesian PINN for inverse problems [10.100602879566782]
物理インフォームドニューラルネットワーク(PINN)を用いた偏微分方程式(PDE)とその逆問題の解法は、物理学と機械学習のコミュニティにおいて急速に普及しているアプローチである。
我々は,PDEの解のベイズPINN推定器の挙動を$n$独立雑音測定から検討した。
論文 参考訳（メタデータ） (2024-06-21T01:13:18Z) - Learning Only On Boundaries: a Physics-Informed Neural operator for
Solving Parametric Partial Differential Equations in Complex Geometries [10.250994619846416]
ラベル付きデータなしでパラメータ化境界値問題を解決する物理インフォームド・ニューラル演算子法を提案する。
数値実験により,パラメータ化複素測地と非有界問題の有効性が示された。
論文 参考訳（メタデータ） (2023-08-24T17:29:57Z) - Message Passing Neural PDE Solvers [60.77761603258397]
我々は、バックプロップ最適化されたニューラル関数近似器で、グラフのアリーデザインのコンポーネントを置き換えるニューラルメッセージパッシング解決器を構築した。
本稿では, 有限差分, 有限体積, WENOスキームなどの古典的手法を表現的に含んでいることを示す。
本研究では, 異なる領域のトポロジ, 方程式パラメータ, 離散化などにおける高速, 安定, 高精度な性能を, 1次元, 2次元で検証する。
論文 参考訳（メタデータ） (2022-02-07T17:47:46Z) - Large-time asymptotics in deep learning [0.0]
トレーニングにおける最終時間の$T$(対応するResNetの深さを示す可能性がある)の影響について検討する。
古典的な$L2$-正規化経験的リスク最小化問題に対して、トレーニングエラーが$mathcalOleft(frac1Tright)$のほとんどであることを示す。
$ellp$-距離損失の設定において、トレーニングエラーと最適パラメータの両方が$mathcalOleft(e-mu)の順序のほとんどであることを示す。
論文 参考訳（メタデータ） (2020-08-06T07:33:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。