論文の概要: Mamba Neural Operator: Who Wins? Transformers vs. State-Space Models for PDEs

• arxiv url: http://arxiv.org/abs/2410.02113v1
• Date: Thu, 3 Oct 2024 00:32:31 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-04 08:45:48.541095
• Title: Mamba Neural Operator: Who Wins? Transformers vs. State-Space Models for PDEs
• Title（参考訳）: Mamba Neural Operator:誰が勝つか? トランスフォーマー vs. PDEのための状態空間モデル
• Authors: Chun-Wun Cheng, Jiahao Huang, Yi Zhang, Guang Yang, Carola-Bibiane Schönlieb, Angelica I Aviles-Rivero,
• Abstract要約: 偏微分方程式 (Partial differential equation, PDE) は複雑な物理系をモデル化するために広く用いられている。 トランスフォーマーは複雑な依存関係をキャプチャできるため、PDEにとって好まれるアーキテクチャとして登場した。 我々は,PDEを解くために,ニューラル演算子に基づく技術を強化する新しいフレームワークであるMamba Neural Operator (MNO)を紹介する。
• 参考スコア（独自算出の注目度）: 14.14673083512826
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Partial differential equations (PDEs) are widely used to model complex physical systems, but solving them efficiently remains a significant challenge. Recently, Transformers have emerged as the preferred architecture for PDEs due to their ability to capture intricate dependencies. However, they struggle with representing continuous dynamics and long-range interactions. To overcome these limitations, we introduce the Mamba Neural Operator (MNO), a novel framework that enhances neural operator-based techniques for solving PDEs. MNO establishes a formal theoretical connection between structured state-space models (SSMs) and neural operators, offering a unified structure that can adapt to diverse architectures, including Transformer-based models. By leveraging the structured design of SSMs, MNO captures long-range dependencies and continuous dynamics more effectively than traditional Transformers. Through extensive analysis, we show that MNO significantly boosts the expressive power and accuracy of neural operators, making it not just a complement but a superior framework for PDE-related tasks, bridging the gap between efficient representation and accurate solution approximation.
• Abstract（参考訳）: 偏微分方程式(PDE)は複雑な物理系をモデル化するために広く用いられているが、それらを効率的に解くことは重要な課題である。 最近、複雑な依存関係をキャプチャできるため、TransformerがPDEの好みのアーキテクチャとして登場した。 しかし、彼らは連続力学と長距離相互作用を表現するのに苦労している。 これらの制限を克服するために,PDEを解くニューラルネットワーク技術を強化する新しいフレームワークであるMamba Neural Operator (MNO)を導入する。 MNOは構造化状態空間モデル(SSM)とニューラル演算子の間の公式な理論的関係を確立し、トランスフォーマーベースのモデルを含む多様なアーキテクチャに適応可能な統一構造を提供する。 SSMの構造的設計を活用することで、MNOは従来のトランスフォーマーよりもより効果的に長距離の依存関係と連続的なダイナミクスをキャプチャする。 広義解析により、MNOは神経オペレーターの表現力と精度を大幅に向上させ、PDE関連タスクの補完だけでなく優れたフレームワークとなり、効率的な表現と正確な解近似のギャップを埋めることを示した。

関連論文リスト

• Automatically Learning Hybrid Digital Twins of Dynamical Systems [56.69628749813084]
  Digital Twins (DT)は、現実世界のシステムの状態と時間力学をシミュレートする。 DTは、しばしばデータスカース設定で目に見えない条件に一般化するのに苦労します。 本稿では,HDTwinsを自律的に提案し,評価し,最適化するための進化的アルゴリズム(textbfHDTwinGen$)を提案する。
  論文  参考訳（メタデータ） (2024-10-31T07:28:22Z)
• AROMA: Preserving Spatial Structure for Latent PDE Modeling with Local Neural Fields [14.219495227765671]
  本稿では、局所的なニューラルネットワークを用いた偏微分方程式(PDE)のモデリングを強化するためのフレームワークであるAROMAを提案する。 我々のフレキシブルエンコーダ・デコーダアーキテクチャは、様々なデータタイプから空間物理場のスムーズな遅延表現を得ることができる。 拡散型定式化を用いることで、従来のMSEトレーニングと比較して安定性が向上し、ロールアウトが長くなる。
  論文  参考訳（メタデータ） (2024-06-04T10:12:09Z)
• A foundational neural operator that continuously learns without forgetting [1.0878040851638]
  本稿では,科学計算の基礎モデルとしてNeural Combinatorial Wavelet Neural Operator (NCWNO) の概念を紹介する。 NCWNOは、物理学の様々なスペクトルから学習し、パラメトリック偏微分方程式(PDE)に関連する解作用素に継続的に適応するように特別に設計されている。 提案した基礎モデルには、2つの大きな利点がある: (i) 複数のパラメトリックPDEに対する解演算子を同時に学習し、 (ii) 極小調整の少ない新しいパラメトリックPDEに素早く一般化できる。
  論文  参考訳（メタデータ） (2023-10-29T03:20:10Z)
• Neural Operators for Accelerating Scientific Simulations and Design [85.89660065887956]
  Neural Operatorsとして知られるAIフレームワークは、継続的ドメインで定義された関数間のマッピングを学習するための原則的なフレームワークを提供する。 ニューラルオペレータは、計算流体力学、天気予報、物質モデリングなど、多くのアプリケーションで既存のシミュレータを拡張または置き換えることができる。
  論文  参考訳（メタデータ） (2023-09-27T00:12:07Z)
• Deep Stochastic Processes via Functional Markov Transition Operators [59.55961312230447]
  本稿では,ニューラルパラメータ化マルコフ遷移作用素の列を関数空間に重ねて構築した新しいプロセス群(SP)を紹介する。 これらのマルコフ遷移作用素は、SPの交換可能性と整合性を維持することができることを証明している。
  論文  参考訳（メタデータ） (2023-05-24T21:15:23Z)
• Learning PDE Solution Operator for Continuous Modeling of Time-Series [1.39661494747879]
  この研究は、動的モデリング能力を改善する偏微分方程式(PDE)に基づくフレームワークを提案する。 時間的離散化の反復的操作や特定のグリッドを必要とせずに連続的に処理できるニューラル演算子を提案する。 我々のフレームワークは、現実世界のアプリケーションに容易に適用可能な、ニューラルネットワークの継続的な表現のための新しい方法を開く。
  論文  参考訳（メタデータ） (2023-02-02T03:47:52Z)
• Solving High-Dimensional PDEs with Latent Spectral Models [74.1011309005488]
  我々は,高次元PDEの効率的かつ高精度な解法に向けて,Latent Spectral Models (LSM) を提案する。 数値解析において古典スペクトル法に着想を得て,潜時空間におけるPDEを解くために,ニューラルスペクトルブロックを設計する。 LSMは、一貫した最先端を実現し、7つのベンチマークで平均11.5%の相対的な利益を得る。
  論文  参考訳（メタデータ） (2023-01-30T04:58:40Z)
• LordNet: An Efficient Neural Network for Learning to Solve Parametric Partial Differential Equations without Simulated Data [47.49194807524502]
  エンタングルメントをモデル化するためのチューナブルで効率的なニューラルネットワークであるLordNetを提案する。 ポアソン方程式と(2Dおよび3D)ナビエ・ストークス方程式を解く実験は、長距離の絡み合いがロードネットによってうまくモデル化できることを示した。
  論文  参考訳（メタデータ） (2022-06-19T14:41:08Z)
• Neural Operator with Regularity Structure for Modeling Dynamics Driven by SPDEs [70.51212431290611]
  偏微分方程式 (SPDE) は、大気科学や物理学を含む多くの分野において、力学をモデル化するための重要なツールである。 本研究では,SPDEによって駆動されるダイナミクスをモデル化するための特徴ベクトルを組み込んだニューラル演算子(NORS)を提案する。 動的Phi41モデルと2d Navier-Stokes方程式を含む様々なSPDE実験を行った。
  論文  参考訳（メタデータ） (2022-04-13T08:53:41Z)
• Frame invariance and scalability of neural operators for partial differential equations [5.872676314924041]
  偏微分方程式(PDE)は多くの複雑な力学過程の数学的モデリングにおいて支配的な役割を果たす。 トレーニング後、ニューラル演算子は従来のPDE解法よりもはるかに高速なPDEソリューションを提供することができる。
  論文  参考訳（メタデータ） (2021-12-28T02:36:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。