論文の概要: From Complex Dynamics to DynFormer: Rethinking Transformers for PDEs

• arxiv url: http://arxiv.org/abs/2603.03112v1
• Date: Tue, 03 Mar 2026 15:45:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-04 21:38:10.86802
• Title: From Complex Dynamics to DynFormer: Rethinking Transformers for PDEs
• Title（参考訳）: 複雑力学からDynFormerへ:PDEのトランスフォーマー再考
• Authors: Pengyu Lai, Yixiao Chen, Dewu Yang, Rui Wang, Feng Wang, Hui Xu,
• Abstract要約: トランスフォーマーベースのニューラルオペレータは、強力なデータ駆動型代替手段として登場した。 動的インフォームドニューラル演算子DynFormerを提案する。 我々はDynFormerが、最先端のベースラインと比較して95%の相対誤差を削減できることを示す。
• 参考スコア（独自算出の注目度）: 6.873342825786888
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Partial differential equations (PDEs) are fundamental for modeling complex physical systems, yet classical numerical solvers face prohibitive computational costs in high-dimensional and multi-scale regimes. While Transformer-based neural operators have emerged as powerful data-driven alternatives, they conventionally treat all discretized spatial points as uniform, independent tokens. This monolithic approach ignores the intrinsic scale separation of physical fields, applying computationally prohibitive global attention that redundantly mixes smooth large-scale dynamics with high-frequency fluctuations. Rethinking Transformers through the lens of complex dynamics, we propose DynFormer, a novel dynamics-informed neural operator. Rather than applying a uniform attention mechanism across all scales, DynFormer explicitly assigns specialized network modules to distinct physical scales. It leverages a Spectral Embedding to isolate low-frequency modes, enabling a Kronecker-structured attention mechanism to efficiently capture large-scale global interactions with reduced complexity. Concurrently, we introduce a Local-Global-Mixing transformation. This module utilizes nonlinear multiplicative frequency mixing to implicitly reconstruct the small-scale, fast-varying turbulent cascades that are slaved to the macroscopic state, without incurring the cost of global attention. Integrating these modules into a hybrid evolutionary architecture ensures robust long-term temporal stability. Extensive memory-aligned evaluations across four PDE benchmarks demonstrate that DynFormer achieves up to a 95% reduction in relative error compared to state-of-the-art baselines, while significantly reducing GPU memory consumption. Our results establish that embedding first-principles physical dynamics into Transformer architectures yields a highly scalable, theoretically grounded blueprint for PDE surrogate modeling.
• Abstract（参考訳）: 偏微分方程式 (Partial differential equation, PDE) は複雑な物理系をモデル化するための基礎であるが、古典的な数値解法は高次元およびマルチスケールのレジームにおいて計算コストの禁止に直面している。 Transformerベースのニューラルオペレータは強力なデータ駆動型代替手段として登場したが、従来の方法では、すべての離散化された空間ポイントを一様で独立したトークンとして扱う。 このモノリシックなアプローチは、物理場の本質的なスケール分離を無視し、スムーズな大規模力学と高周波変動を冗長に混合する計算的に禁止されたグローバルな注意を適用している。 複雑なダイナミクスのレンズを通してトランスフォーマーを再考し、新しい動的インフォームドニューラル演算子DynFormerを提案する。 すべてのスケールに均一なアテンションメカニズムを適用するのではなく、DynFormerは特定のネットワークモジュールを別の物理スケールに明示的に割り当てる。 スペクトル埋め込みを利用して低周波モードを分離し、Kroneckerで構造化された注意機構により、複雑さを減らして大規模なグローバルな相互作用を効率的に捉えることができる。 同時に、ローカル-グローバル-ミキシング変換を導入する。 このモジュールは非線形乗法周波数混合を利用して、大域的注意のコストを伴わずに、マクロ状態に奴隷化された小型で高速な乱流カスケードを暗黙的に再構築する。 これらのモジュールをハイブリッドな進化的アーキテクチャに統合することで、堅牢な長期的安定性が保証される。 4つのPDEベンチマークの大規模なメモリアライメント評価により、DynFormerは、最先端のベースラインと比較して95%のエラー削減を実現し、GPUメモリ使用量の大幅な削減を実現している。 以上の結果から,第1原理の物理力学をトランスフォーマーアーキテクチャに組み込むことで,PDEサロゲートモデリングのための高度にスケーラブルで理論的に基礎付けられた青写真が得られることが判明した。

関連論文リスト

• PhyG-MoE: A Physics-Guided Mixture-of-Experts Framework for Energy-Efficient GNSS Interference Recognition [49.955269674859004]
  本稿では,PhyG-MoE(Physics-Guided Mixture-of-Experts)について述べる。 静的アーキテクチャとは異なり、提案システムはスペクトル特性の絡み合いに基づいて信号をルーティングするスペクトルベースのゲーティング機構を用いる。 高容量のTransNeXtエキスパートがオンデマンドでアクティベートされ、飽和シナリオで複雑な機能を分離する一方、軽量のエキスパートは基本的なシグナルを処理してレイテンシを最小化する。
  論文  参考訳（メタデータ） (2026-01-19T07:57:52Z)
• Intrinsic-Metric Physics-Informed Neural Networks (IM-PINN) for Reaction-Diffusion Dynamics on Complex Riemannian Manifolds [0.0]
  本研究は,本質的物理インフォームドニューラルネットワーク(IM-PINN)を紹介する。 メッシュのない幾何学的深層学習フレームワークであり、連続パラメトリック領域において偏微分方程式を直接解く。 このフレームワークは、進化する表面上の生物学的パターンの形成をシミュレートするための、メモリ効率が高く、解像度に依存しないパラダイムを提供する。
  論文  参考訳（メタデータ） (2025-12-26T12:41:05Z)
• Adaptive Mesh-Quantization for Neural PDE Solvers [51.26961483962011]
  グラフニューラルネットワークは複雑なジオメトリや境界条件に必要な不規則なメッシュを処理できるが、それでもすべてのノードで一様計算処理を適用できる。 適応メッシュ量子化(Adaptive Mesh Quantization): メッシュノード,エッジ,クラスタ特徴間の空間適応量子化であり,量子化モデルで使用されるビット幅を動的に調整する。 我々は,MP-PDEとGraphViTという2つの最先端モデルと統合して,複数のタスクのパフォーマンスを評価することで,フレームワークの有効性を実証する。
  論文  参考訳（メタデータ） (2025-11-23T14:47:24Z)
• Beyond Ensembles: Simulating All-Atom Protein Dynamics in a Learned Latent Space [4.5211402678313135]
  LD-FPGの学習潜在空間内でのダイナミクスをシミュレーションするモジュールコンポーネントであるGraph Latent Dynamics Propagator (GLDP)を紹介する。 我々は,スコア誘導ランゲヴィン力学,(ii)クープマンに基づく線形作用素,(iii)自己回帰ニューラルネットワークの3種類のプロパゲータを比較した。 統合エンコーダ・プロパゲータ・デコーダ・フレームワーク内では、長い水平安定性、バックボーンとサイドチェーンのアンサンブルの忠実さ、機能的自由エネルギーの景観を評価する。
  論文  参考訳（メタデータ） (2025-09-02T11:09:06Z)
• Equivariant U-Shaped Neural Operators for the Cahn-Hilliard Phase-Field Model [4.79907962230318]
  等価なU字型ニューラル作用素(E-UNO)が過去の力学の短い歴史から位相場変数の進化を学習できることを示す。 対称性とスケール階層を符号化することにより、モデルはより一般化され、トレーニングデータが少なくなり、物理的に一貫したダイナミクスが得られる。
  論文  参考訳（メタデータ） (2025-09-01T09:25:31Z)
• DyMixOp: Guiding Neural Operator Design for PDEs from a Complex Dynamics Perspective with Local-Global-Mixing [1.661125062164182]
  本稿では、偏微分方程式(PDE)のための新しいニューラルネットワークフレームワークであるDyMixOpを紹介する。 慣性多様体理論に基づいて、DyMixOpは無限次元非線形PDEダイナミクスを有限次元潜在空間に変換する。 鍵となる革新は、乱流の対流力学にインスパイアされたLGM(Local-Global-Mixing)変換である。
  論文  参考訳（メタデータ） (2025-08-19T03:41:26Z)
• Learning to Dissipate Energy in Oscillatory State-Space Models [51.98491034847041]
  状態空間モデル (SSM) はシーケンス学習のためのネットワークのクラスである。 我々は,D-LinOSSがLinOSSの手法を長距離学習タスクで一貫して上回っていることを示す。
  論文  参考訳（メタデータ） (2025-05-17T23:15:17Z)
• Efficient Transformed Gaussian Process State-Space Models for Non-Stationary High-Dimensional Dynamical Systems [49.819436680336786]
  本研究では,高次元非定常力学系のスケーラブルかつ柔軟なモデリングのための効率的な変換ガウス過程状態空間モデル(ETGPSSM)を提案する。 具体的には、ETGPSSMは、単一の共有GPと入力依存の正規化フローを統合し、複雑な非定常遷移ダイナミクスを捉える前に、表現的な暗黙のプロセスを生成する。 ETGPSSMは、計算効率と精度の観点から、既存のGPSSMとニューラルネットワークベースのSSMより優れています。
  論文  参考訳（メタデータ） (2025-03-24T03:19:45Z)
• Distributed Representations Enable Robust Multi-Timescale Symbolic Computation in Neuromorphic Hardware [3.961418890143814]
  本稿では,ロバストなマルチスケールダイナミックスをアトラクタベースRSNNに組み込むシングルショット重み学習方式について述べる。 対称自己解離重み行列を重畳することにより、有限状態機械をRSNN力学に組み込む。 この研究は、リカレントダイナミクスによる堅牢な記号計算をニューロモルフィックハードウェアに組み込むスケーラブルなアプローチを導入している。
  論文  参考訳（メタデータ） (2024-05-02T14:11:50Z)
• Capturing dynamical correlations using implicit neural representations [85.66456606776552]
  実験データから未知のパラメータを復元するために、モデルハミルトンのシミュレーションデータを模倣するために訓練されたニューラルネットワークと自動微分を組み合わせた人工知能フレームワークを開発する。 そこで本研究では, 実時間から多次元散乱データに適用可能な微分可能なモデルを1回だけ構築し, 訓練する能力について述べる。
  論文  参考訳（メタデータ） (2023-04-08T07:55:36Z)
• DIFFormer: Scalable (Graph) Transformers Induced by Energy Constrained Diffusion [66.21290235237808]
  本稿では,データセットからのインスタンスのバッチを進化状態にエンコードするエネルギー制約拡散モデルを提案する。 任意のインスタンス対間の対拡散強度に対する閉形式最適推定を示唆する厳密な理論を提供する。 各種タスクにおいて優れた性能を有する汎用エンコーダバックボーンとして,本モデルの適用性を示す実験を行った。
  論文  参考訳（メタデータ） (2023-01-23T15:18:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。