論文の概要: Is Mamba Effective for Time Series Forecasting?

• arxiv url: http://arxiv.org/abs/2403.11144v2
• Date: Tue, 2 Apr 2024 09:03:37 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-04 08:08:50.871357
• Title: Is Mamba Effective for Time Series Forecasting?
• Title（参考訳）: Mambaは時系列予測に有効か?
• Authors: Zihan Wang, Fanheng Kong, Shi Feng, Ming Wang, Han Zhao, Daling Wang, Yifei Zhang,
• Abstract要約: 状態空間モデル(SSM)は、シーケンス内の複雑な依存関係を処理する能力によって、注目を集めている。 時系列予測のための,S-Mamba(S-Mamba)というマンバモデルを提案する。 いくつかのデータセットの実験では、S-Mambaは計算オーバーヘッドを低く保ち、主要な性能を達成している。
• 参考スコア（独自算出の注目度）: 30.20492395564641
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In the realm of time series forecasting (TSF), it is imperative for models to adeptly discern and distill dependencies embedded within historical time series data. This encompasses the extraction of temporal dependencies and inter-variate correlations (VC), thereby empowering the models to forecast future states. Transformer-based models have exhibited formidable efficacy in TSF, primarily attributed to their distinct proficiency in apprehending both TD and VC. However, due to the inefficiencies, ongoing efforts to refine the Transformer persist. Recently, state space models (SSMs), e.g. Mamba, have gained traction due to their ability to process complex dependencies in sequences, similar to the Transformer, while maintaining near-linear complexity. This has piqued our interest in exploring SSM's potential in TSF tasks. Therefore, we propose a Mamba-based model named Simple-Mamba (S-Mamba) for TSF. Specifically, we tokenize the time points of each variate autonomously via a linear layer. Subsequently, a bidirectional Mamba layer is utilized to extract VC, followed by the generation of forecast outcomes through a composite structure of a Feed-Forward Network for TD and a mapping layer. Experiments on several datasets prove that S-Mamba maintains low computational overhead and achieves leading performance. Furthermore, we conduct extensive experiments to delve deeper into the potential of Mamba compared to the Transformer in the TSF. Our code is available at https://github.com/wzhwzhwzh0921/S-D-Mamba.
• Abstract（参考訳）: 時系列予測(TSF)の領域では、モデルが履歴時系列データに埋め込まれた依存関係を適切に識別し、蒸留することが必須である。 これは時間的依存と変量相関(VC)の抽出を含み、将来の状態を予測するためにモデルに権限を与える。 トランスフォーマーをベースとしたモデルは、TDとVCの双方に適応する能力が異なるため、TSFにおいて強烈な効果を発揮している。 しかし、非効率のため、トランスフォーマーを改良するための継続的な努力は継続された。 近年、状態空間モデル(SSM)、例えばMambaは、ほぼ線形の複雑さを維持しながら、Transformerのようなシーケンス内の複雑な依存関係を処理する能力によって、注目を集めている。 このことは、TSFタスクにおけるSSMの可能性を探ることへの我々の関心を暗示している。 そこで本研究では,TSFのためのシンプルマンバ(S-Mamba)モデルを提案する。 具体的には,各変数の時間点を線形層を介して自律的にトークン化する。 その後、双方向のマンバ層を用いてVCを抽出し、TD用フィードフォワードネットワークとマッピング層との合成構造を介して予測結果を生成する。 いくつかのデータセットの実験では、S-Mambaは計算オーバーヘッドを低く保ち、主要な性能を達成している。 さらに,TSFのTransformerと比較して,Mambaのポテンシャルを深く掘り下げるための広範囲な実験を行った。 私たちのコードはhttps://github.com/wzhwzhhh0921/S-D-Mambaで公開されています。

関連論文リスト

• Integration of Mamba and Transformer -- MAT for Long-Short Range Time Series Forecasting with Application to Weather Dynamics [7.745945701278489]
  長い時間範囲の時系列予測は、長期にわたる将来の傾向やパターンを予測するのに不可欠である。 Transformersのようなディープラーニングモデルは、時系列予測の進歩に大きく貢献している。 本稿では,MambaモデルとTransformerモデルの長所と短所について検討する。
  論文  参考訳（メタデータ） (2024-09-13T04:23:54Z)
• The Mamba in the Llama: Distilling and Accelerating Hybrid Models [76.64055251296548]
  注目層からの線形射影重みを学術的なGPU資源で再利用することにより,大規模な変換器を線形RNNに蒸留することが可能であることを示す。 その結果、注意層を4分の1含むハイブリッドモデルは、チャットベンチマークのオリジナルのTransformerに匹敵するパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2024-08-27T17:56:11Z)
• Simplified Mamba with Disentangled Dependency Encoding for Long-Term Time Series Forecasting [8.841699904757506]
  本稿では,予測精度の向上に不可欠な3つの重要な依存関係を特定し,正式に定義する。 本稿では,アンタングル化された依存性エンコーディングを備えた単純化されたMambaであるSAMBAを提案する。 9つの実世界のデータセットの実験は、最先端の予測モデルに対するSAMBAの有効性を示す。
  論文  参考訳（メタデータ） (2024-08-22T02:14:59Z)
• Bidirectional Gated Mamba for Sequential Recommendation [56.85338055215429]
  最近の進歩であるMambaは、時系列予測において例外的なパフォーマンスを示した。 SIGMA(Selective Gated Mamba)と呼ばれる,シークエンシャルレコメンデーションのための新しいフレームワークを紹介する。 以上の結果から,SIGMAは5つの実世界のデータセットにおいて,現在のモデルよりも優れていたことが示唆された。
  論文  参考訳（メタデータ） (2024-08-21T09:12:59Z)
• MambaVT: Spatio-Temporal Contextual Modeling for robust RGB-T Tracking [51.28485682954006]
  本研究では,マンバをベースとした純フレームワーク(MambaVT)を提案する。 具体的には、長距離クロスフレーム統合コンポーネントを考案し、ターゲットの外観変化にグローバルに適応する。 実験では、RGB-TトラッキングのためのMambaのビジョンの可能性が示され、MambaVTは4つの主要なベンチマークで最先端のパフォーマンスを達成した。
  論文  参考訳（メタデータ） (2024-08-15T02:29:00Z)
• FMamba: Mamba based on Fast-attention for Multivariate Time-series Forecasting [6.152779144421304]
  多変量時系列予測(MTSF)のためのFMambaという新しいフレームワークを導入する。 技術的には、まず、埋め込み層を介して入力変数の時間的特徴を抽出し、次に高速アテンションモジュールを介して入力変数間の依存関係を計算する。 多層パーセプトロンブロック(MLP-block)を通して入力特徴を選択的に扱い、変数の時間的依存関係を抽出する。 最後に、FMambaは、線形層であるプロジェクターを通して予測結果を得る。
  論文  参考訳（メタデータ） (2024-07-20T09:14:05Z)
• DeciMamba: Exploring the Length Extrapolation Potential of Mamba [89.07242846058023]
  本研究では,マンバに特化して設計された文脈拡張手法であるDeciMambaを紹介する。 DeciMambaは、トレーニング中に見たものよりも25倍長く、余分な計算資源を使わずに、コンテキスト長を外挿できることを示す。
  論文  参考訳（メタデータ） (2024-06-20T17:40:18Z)
• MambaTS: Improved Selective State Space Models for Long-term Time Series Forecasting [12.08746904573603]
  選択状態空間モデル(SSM)に基づくMambaは、Transformerの競合相手として登場した。 我々は4つの改善点を提案し、MambaTSに導いた。 8つの公開データセットで実施された実験は、MambaTSが新しい最先端のパフォーマンスを達成することを示す。
  論文  参考訳（メタデータ） (2024-05-26T05:50:17Z)
• Bi-Mamba+: Bidirectional Mamba for Time Series Forecasting [5.166854384000439]
  長期時系列予測(LTSF)は、将来のトレンドとパターンに関するより長い洞察を提供する。 近年,Mamba という新しい状態空間モデル (SSM) が提案されている。 入力データに対する選択的機能とハードウェア対応並列計算アルゴリズムにより、Mambaは予測性能と計算効率のバランスをとる大きな可能性を示した。
  論文  参考訳（メタデータ） (2024-04-24T09:45:48Z)
• PointMamba: A Simple State Space Model for Point Cloud Analysis [65.59944745840866]
  我々は、最近の代表的状態空間モデル(SSM)であるMambaの成功を、NLPからポイントクラウド分析タスクへ転送するPointMambaを提案する。 従来のトランスフォーマーとは異なり、PointMambaは線形複雑性アルゴリズムを採用し、グローバルなモデリング能力を示しながら計算コストを大幅に削減する。
  論文  参考訳（メタデータ） (2024-02-16T14:56:13Z)
• Is Mamba Capable of In-Context Learning? [63.682741783013306]
  GPT-4のような技術基盤モデルの現状は、文脈内学習(ICL)において驚くほどよく機能する この研究は、新たに提案された状態空間モデルであるMambaが同様のICL能力を持つという実証的な証拠を提供する。
  論文  参考訳（メタデータ） (2024-02-05T16:39:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。