Fugu-MT 論文翻訳(概要): State-space models are accurate and efficient neural operators for dynamical systems

論文の概要: State-space models are accurate and efficient neural operators for dynamical systems

arxiv url: http://arxiv.org/abs/2409.03231v1
Date: Thu, 5 Sep 2024 03:57:28 GMT
ステータス: 処理完了
システム内更新日: 2024-09-06 21:57:04.952855
Title: State-space models are accurate and efficient neural operators for dynamical systems
Title（参考訳）: 状態空間モデルは力学系に対する正確かつ効率的なニューラル演算子である
Authors: Zheyuan Hu, Nazanin Ahmadi Daryakenari, Qianli Shen, Kenji Kawaguchi, George Em Karniadakis,
Abstract要約: 物理インフォームド・機械学習(PIML)は、力学系を予測する古典的な手法の代替として期待されている。リカレントニューラルネットワーク(RNN)、トランスフォーマー、ニューラル演算子など、既存のモデルでは、長時間の統合、長距離依存性、カオスダイナミクス、外挿といった課題に直面している。本稿では,Mambaで実装された動的システム演算子学習のための状態空間モデルを提案する。
参考スコア（独自算出の注目度）: 23.59679792068364
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Physics-informed machine learning (PIML) has emerged as a promising alternative to classical methods for predicting dynamical systems, offering faster and more generalizable solutions. However, existing models, including recurrent neural networks (RNNs), transformers, and neural operators, face challenges such as long-time integration, long-range dependencies, chaotic dynamics, and extrapolation, to name a few. To this end, this paper introduces state-space models implemented in Mamba for accurate and efficient dynamical system operator learning. Mamba addresses the limitations of existing architectures by dynamically capturing long-range dependencies and enhancing computational efficiency through reparameterization techniques. To extensively test Mamba and compare against another 11 baselines, we introduce several strict extrapolation testbeds that go beyond the standard interpolation benchmarks. We demonstrate Mamba's superior performance in both interpolation and challenging extrapolation tasks. Mamba consistently ranks among the top models while maintaining the lowest computational cost and exceptional extrapolation capabilities. Moreover, we demonstrate the good performance of Mamba for a real-world application in quantitative systems pharmacology for assessing the efficacy of drugs in tumor growth under limited data scenarios. Taken together, our findings highlight Mamba's potential as a powerful tool for advancing scientific machine learning in dynamical systems modeling. (The code will be available at https://github.com/zheyuanhu01/State_Space_Model_Neural_Operator upon acceptance.)
Abstract（参考訳）: 物理インフォームド機械学習(PIML)は、動的システムを予測する古典的な方法の代替として、より高速でより一般化可能なソリューションとして登場した。しかしながら、リカレントニューラルネットワーク(RNN)、トランスフォーマー、ニューラル演算子を含む既存のモデルでは、長時間の統合、長距離依存性、カオスダイナミクス、外挿といった課題に直面している。そこで本研究では,Mambaで実装された動的システム演算子学習のための状態空間モデルを提案する。 Mambaは、長距離依存関係を動的にキャプチャし、再パラメータ化技術を通じて計算効率を向上させることで、既存のアーキテクチャの限界に対処する。 Mambaを広範囲にテストし、他の11のベースラインと比較するために、標準的な補間ベンチマークを超える厳密な補間テストベッドをいくつか導入する。補間課題と補間課題の両方において,Mambaの優れた性能を示す。マンバは最も低い計算コストと例外的な外挿能力を維持しながら、常に上位モデルにランクインしている。さらに, 腫瘍増殖における薬物の有効性を評価するための定量的システム薬理学において, 実世界の応用に向けたMambaの優れた性能を示す。まとめると、我々はマンバが動的システムモデリングにおける科学的機械学習を前進させる強力なツールとしての可能性を強調した。 (コードは受け入れ次第https://github.com/zheyuanhu01/State_Space_Model_Neural_Operatorで利用可能)。

関連論文リスト

MobileMamba: Lightweight Multi-Receptive Visual Mamba Network [51.33486891724516]
従来の軽量モデルの研究は、主にCNNとTransformerベースの設計に重点を置いてきた。効率と性能のバランスをとるMobileMambaフレームワークを提案する。 MobileMambaはTop-1で83.6%を達成し、既存の最先端の手法を上回っている。
論文参考訳（メタデータ） (2024-11-24T18:01:05Z)
Mamba Policy: Towards Efficient 3D Diffusion Policy with Hybrid Selective State Models [20.956716048789474]
Mambaモデルは効率的なモデリングのための有望なソリューションとして登場した。本稿では,従来の政策ネットワークと比較してパラメータ数を80%以上削減するMamba Policyを提案する。大規模な実験では、Mamba PolicyがAdroit、Dexart、MetaWorldのデータセットに優れていることが示されている。
論文参考訳（メタデータ） (2024-09-11T10:21:21Z)
Bidirectional Gated Mamba for Sequential Recommendation [56.85338055215429]
最近の進歩であるMambaは、時系列予測において例外的なパフォーマンスを示した。 SIGMA(Selective Gated Mamba)と呼ばれる,シークエンシャルレコメンデーションのための新しいフレームワークを紹介する。以上の結果から,SIGMAは5つの実世界のデータセットにおいて,現在のモデルよりも優れていたことが示唆された。
論文参考訳（メタデータ） (2024-08-21T09:12:59Z)
MambaVT: Spatio-Temporal Contextual Modeling for robust RGB-T Tracking [51.28485682954006]
本研究では,マンバをベースとした純フレームワーク(MambaVT)を提案する。具体的には、長距離クロスフレーム統合コンポーネントを考案し、ターゲットの外観変化にグローバルに適応する。実験では、RGB-TトラッキングのためのMambaのビジョンの可能性が示され、MambaVTは4つの主要なベンチマークで最先端のパフォーマンスを達成した。
論文参考訳（メタデータ） (2024-08-15T02:29:00Z)
Mamba-Spike: Enhancing the Mamba Architecture with a Spiking Front-End for Efficient Temporal Data Processing [4.673285689826945]
Mamba-Spikeは、スパイクするフロントエンドとMambaのバックボーンを統合して、効率的な時間的データ処理を実現する新しいニューロモルフィックアーキテクチャである。このアーキテクチャは、最先端のベースラインを一貫して上回り、高い精度、低いレイテンシ、エネルギー効率の向上を実現している。
論文参考訳（メタデータ） (2024-08-04T14:10:33Z)
DeciMamba: Exploring the Length Extrapolation Potential of Mamba [89.07242846058023]
本研究では,マンバに特化して設計された文脈拡張手法であるDeciMambaを紹介する。 DeciMambaは、トレーニング中に見たものよりも25倍長く、余分な計算資源を使わずに、コンテキスト長を外挿できることを示す。
論文参考訳（メタデータ） (2024-06-20T17:40:18Z)
Vision Mamba: A Comprehensive Survey and Taxonomy [11.025533218561284]
状態空間モデル (State Space Model, SSM) は、動的システムの振る舞いを記述・解析するために用いられる数学的モデルである。最新の状態空間モデルに基づいて、Mambaは時間変化パラメータをSSMにマージし、効率的なトレーニングと推論のためのハードウェア認識アルゴリズムを定式化する。 Mambaは、Transformerを上回る可能性のある、新たなAIアーキテクチャになることが期待されている。
論文参考訳（メタデータ） (2024-05-07T15:30:14Z)
MedMamba: Vision Mamba for Medical Image Classification [0.0]
視覚変換器(ViT)と畳み込みニューラルネットワーク(CNN)は医療画像分類タスクで広く研究され、広く利用されている。近年の研究では、マンバで表される状態空間モデル(SSM)が、長距離依存を効果的にモデル化できることが示されている。我々は、医用画像の一般的な分類のための最初のビジョンマンバであるメドマンバを提案する。
論文参考訳（メタデータ） (2024-03-06T16:49:33Z)
Swin-UMamba: Mamba-based UNet with ImageNet-based pretraining [85.08169822181685]
本稿では,医療画像のセグメンテーションに特化して設計された新しいマンバモデルSwin-UMambaを紹介する。 Swin-UMamba は CNN や ViT,最新の Mamba ベースのモデルと比較して,優れたパフォーマンスを示している。
論文参考訳（メタデータ） (2024-02-05T18:58:11Z)
CoDBench: A Critical Evaluation of Data-driven Models for Continuous Dynamical Systems [8.410938527671341]
微分方程式を解くための11の最先端データ駆動モデルからなる総合ベンチマークスイートであるCodBenchを紹介する。具体的には、Viz.、フィードフォワードニューラルネットワーク、ディープオペレータ回帰モデル、周波数ベースのニューラル演算子、トランスフォーマーアーキテクチャの4つの異なるカテゴリを評価する。我々は、学習におけるオペレータの能力、ゼロショット超解像、データ効率、ノイズに対する堅牢性、計算効率を評価する広範な実験を行う。
論文参考訳（メタデータ） (2023-10-02T21:27:54Z)
Gone Fishing: Neural Active Learning with Fisher Embeddings [55.08537975896764]
ディープニューラルネットワークと互換性のあるアクティブな学習アルゴリズムの必要性が高まっている。本稿では,ニューラルネットワークのための抽出可能かつ高性能な能動学習アルゴリズムBAITを紹介する。
論文参考訳（メタデータ） (2021-06-17T17:26:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。