論文の概要: FMamba: Mamba based on Fast-attention for Multivariate Time-series Forecasting

• arxiv url: http://arxiv.org/abs/2407.14814v1
• Date: Sat, 20 Jul 2024 09:14:05 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-23 20:42:12.744565
• Title: FMamba: Mamba based on Fast-attention for Multivariate Time-series Forecasting
• Title（参考訳）: FMamba:マルチ変数時系列予測のための高速アテンションに基づくMamba
• Authors: Shusen Ma, Yu Kang, Peng Bai, Yun-Bo Zhao,
• Abstract要約: 多変量時系列予測(MTSF)のためのFMambaという新しいフレームワークを導入する。 技術的には、まず、埋め込み層を介して入力変数の時間的特徴を抽出し、次に高速アテンションモジュールを介して入力変数間の依存関係を計算する。 多層パーセプトロンブロック(MLP-block)を通して入力特徴を選択的に扱い、変数の時間的依存関係を抽出する。 最後に、FMambaは、線形層であるプロジェクターを通して予測結果を得る。
• 参考スコア（独自算出の注目度）: 6.152779144421304
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In multivariate time-series forecasting (MTSF), extracting the temporal correlations of the input sequences is crucial. While popular Transformer-based predictive models can perform well, their quadratic computational complexity results in inefficiency and high overhead. The recently emerged Mamba, a selective state space model, has shown promising results in many fields due to its strong temporal feature extraction capabilities and linear computational complexity. However, due to the unilateral nature of Mamba, channel-independent predictive models based on Mamba cannot attend to the relationships among all variables in the manner of Transformer-based models. To address this issue, we combine fast-attention with Mamba to introduce a novel framework named FMamba for MTSF. Technically, we first extract the temporal features of the input variables through an embedding layer, then compute the dependencies among input variables via the fast-attention module. Subsequently, we use Mamba to selectively deal with the input features and further extract the temporal dependencies of the variables through the multi-layer perceptron block (MLP-block). Finally, FMamba obtains the predictive results through the projector, a linear layer. Experimental results on eight public datasets demonstrate that FMamba can achieve state-of-the-art performance while maintaining low computational overhead.
• Abstract（参考訳）: 多変量時系列予測(MTSF)では、入力シーケンスの時間的相関を抽出することが重要である。 一般的なTransformerベースの予測モデルはうまく機能するが、その二次計算の複雑さは非効率性と高いオーバーヘッドをもたらす。 最近登場した選択状態空間モデルであるMambaは、その強い時間的特徴抽出能力と線形計算複雑性のために、多くの分野で有望な結果を示している。 しかし、Mambaの一方的な性質のため、Mambaに基づくチャネル非依存の予測モデルは、Transformerベースのモデルのように、すべての変数間の関係には対応できない。 この問題に対処するため, MTSF用のFMambaという新しいフレームワークを導入するために, 高速注意とMambaを組み合わせる。 技術的には、まず、埋め込み層を介して入力変数の時間的特徴を抽出し、次に高速アテンションモジュールを介して入力変数間の依存関係を計算する。 次に,Mambaを用いて入力特徴を選択的に処理し,多層パーセプトロンブロック(MLPブロック)を介して変数の時間依存性を抽出する。 最後に、FMambaは、線形層であるプロジェクターを通して予測結果を得る。 8つの公開データセットの実験結果は、FMambaが計算オーバーヘッドを低く保ちながら最先端のパフォーマンスを達成できることを実証している。

関連論文リスト

• Mamba-SEUNet: Mamba UNet for Monaural Speech Enhancement [54.427965535613886]
  Mambaは、新しいステートスペースモデル(SSM)として、自然言語処理やコンピュータビジョンに広く応用されている。 本稿では,MambaとU-Net for SEタスクを統合する革新的なアーキテクチャであるMamba-SEUNetを紹介する。
  論文  参考訳（メタデータ） (2024-12-21T13:43:51Z)
• MobileMamba: Lightweight Multi-Receptive Visual Mamba Network [51.33486891724516]
  従来の軽量モデルの研究は、主にCNNとTransformerベースの設計に重点を置いてきた。 効率と性能のバランスをとるMobileMambaフレームワークを提案する。 MobileMambaはTop-1で83.6%を達成し、既存の最先端の手法を上回っている。
  論文  参考訳（メタデータ） (2024-11-24T18:01:05Z)
• UmambaTSF: A U-shaped Multi-Scale Long-Term Time Series Forecasting Method Using Mamba [7.594115034632109]
  本稿では,新しい時系列予測フレームワークであるUmambaTSFを提案する。 U字型エンコーダ・デコーダ多層パーセプトロン(MLP)のマルチスケール特徴抽出機能とMambaのロングシーケンス表現を統合する。 UmambaTSFは、広く使用されているベンチマークデータセットで最先端のパフォーマンスと優れた汎用性を達成する。
  論文  参考訳（メタデータ） (2024-10-15T04:56:43Z)
• Integration of Mamba and Transformer -- MAT for Long-Short Range Time Series Forecasting with Application to Weather Dynamics [7.745945701278489]
  長い時間範囲の時系列予測は、長期にわたる将来の傾向やパターンを予測するのに不可欠である。 Transformersのようなディープラーニングモデルは、時系列予測の進歩に大きく貢献している。 本稿では,MambaモデルとTransformerモデルの長所と短所について検討する。
  論文  参考訳（メタデータ） (2024-09-13T04:23:54Z)
• SIGMA: Selective Gated Mamba for Sequential Recommendation [56.85338055215429]
  最近の進歩であるMambaは、時系列予測において例外的なパフォーマンスを示した。 SIGMA(Selective Gated Mamba)と呼ばれる,シークエンシャルレコメンデーションのための新しいフレームワークを紹介する。 以上の結果から,SIGMAは5つの実世界のデータセットにおいて,現在のモデルよりも優れていたことが示唆された。
  論文  参考訳（メタデータ） (2024-08-21T09:12:59Z)
• DeciMamba: Exploring the Length Extrapolation Potential of Mamba [89.07242846058023]
  本研究では,マンバに特化して設計された文脈拡張手法であるDeciMambaを紹介する。 実世界の長距離NLPタスクに対する実験では、DeciMambaはトレーニング中に見られるものよりも、コンテキスト長に格段に長く当てはまることが示されている。
  論文  参考訳（メタデータ） (2024-06-20T17:40:18Z)
• CMamba: Channel Correlation Enhanced State Space Models for Multivariate Time Series Forecasting [18.50360049235537]
  ステートスペースモデルであるMambaは、堅牢なシーケンスと機能ミキシング機能を備えている。 チャネル間の依存関係のキャプチャは、時系列予測のパフォーマンス向上に不可欠である。 時系列予測に適した改良されたマンバ変種を導入する。
  論文  参考訳（メタデータ） (2024-06-08T01:32:44Z)
• Bi-Mamba+: Bidirectional Mamba for Time Series Forecasting [5.166854384000439]
  長期時系列予測(LTSF)は、将来のトレンドとパターンに関するより長い洞察を提供する。 近年,Mamba という新しい状態空間モデル (SSM) が提案されている。 入力データに対する選択的機能とハードウェア対応並列計算アルゴリズムにより、Mambaは予測性能と計算効率のバランスをとる大きな可能性を示した。
  論文  参考訳（メタデータ） (2024-04-24T09:45:48Z)
• Is Mamba Effective for Time Series Forecasting? [30.85990093479062]
  時系列予測のための,S-Mamba(S-Mamba)というマンバモデルを提案する。 具体的には,各変数の時間点を線形層を介して自律的にトークン化する。 13の公開データセットの実験では、S-Mambaは計算オーバーヘッドを低く保ち、主要な性能を達成している。
  論文  参考訳（メタデータ） (2024-03-17T08:50:44Z)
• Swin-UMamba: Mamba-based UNet with ImageNet-based pretraining [85.08169822181685]
  本稿では,医療画像のセグメンテーションに特化して設計された新しいマンバモデルSwin-UMambaを紹介する。 Swin-UMamba は CNN や ViT,最新の Mamba ベースのモデルと比較して,優れたパフォーマンスを示している。
  論文  参考訳（メタデータ） (2024-02-05T18:58:11Z)
• Is Mamba Capable of In-Context Learning? [63.682741783013306]
  GPT-4のような技術基盤モデルの現状は、文脈内学習(ICL)において驚くほどよく機能する この研究は、新たに提案された状態空間モデルであるMambaが同様のICL能力を持つという実証的な証拠を提供する。
  論文  参考訳（メタデータ） (2024-02-05T16:39:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。