Fugu-MT 論文翻訳(概要): SST: Multi-Scale Hybrid Mamba-Transformer Experts for Long-Short Range Time Series Forecasting

論文の概要: SST: Multi-Scale Hybrid Mamba-Transformer Experts for Long-Short Range Time Series Forecasting

arxiv url: http://arxiv.org/abs/2404.14757v2
Date: Thu, 22 Aug 2024 17:55:42 GMT
ステータス: 処理完了
システム内更新日: 2024-08-23 19:15:36.409149
Title: SST: Multi-Scale Hybrid Mamba-Transformer Experts for Long-Short Range Time Series Forecasting
Title（参考訳）: SST:長距離時系列予測のためのマルチスケールハイブリッドマンバ変圧器エキスパート
Authors: Xiongxiao Xu, Canyu Chen, Yueqing Liang, Baixiang Huang, Guangji Bai, Liang Zhao, Kai Shu,
Abstract要約: 時系列はグローバルなパターンと局所的なバリエーションに分解できる。我々は,SST(State Space Transformer)モデルを用いたハイブリッド型マンバ・トランスフォーマーを提案する。 SSTは、低メモリフットプリントと計算コストを維持しながら、短距離時系列予測においてSOTA結果を達成することができる。
参考スコア（独自算出の注目度）: 20.87352811680857
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Despite significant progress in time series forecasting, existing forecasters often overlook the heterogeneity between long-range and short-range time series, leading to performance degradation in practical applications. In this work, we highlight the need of distinct objectives tailored to different ranges. We point out that time series can be decomposed into global patterns and local variations, which should be addressed separately in long- and short-range time series. To meet the objectives, we propose a multi-scale hybrid Mamba-Transformer experts model State Space Transformer (SST). SST leverages Mamba as an expert to extract global patterns in coarse-grained long-range time series, and Local Window Transformer (LWT), the other expert to focus on capturing local variations in fine-grained short-range time series. With an input-dependent mechanism, State Space Model (SSM)-based Mamba is able to selectively retain long-term patterns and filter out fluctuations, while LWT employs a local window to enhance locality-awareness capability, thus effectively capturing local variations. To adaptively integrate the global patterns and local variations, a long-short router dynamically adjusts contributions of the two experts. SST achieves superior performance with scaling linearly $O(L)$ on time series length $L$. The comprehensive experiments demonstrate the SST can achieve SOTA results in long-short range time series forecasting while maintaining low memory footprint and computational cost. The code of SST is available at https://github.com/XiongxiaoXu/SST.
Abstract（参考訳）: 時系列予測の大幅な進歩にもかかわらず、既存の予測者は、長距離時系列と短距離時系列の間の不均一性を見落とし、実用的なアプリケーションの性能低下につながった。本研究では,異なる範囲に合わせた異なる目的の必要性を強調した。時系列はグローバルなパターンと局所的な変動に分解でき、長大・短大の時系列では別々に扱うべきであると指摘する。目的を達成するため,マルチスケールのハイブリッド型Mamba-Transformer Expert Model State Space Transformer (SST)を提案する。 SSTは、Mambaをエキスパートとして、粗粒長範囲時系列におけるグローバルパターンを抽出し、別のエキスパートであるLocal Window Transformer(LWT)は、細粒短範囲時系列における局所的な変動を捉えることに重点を置いている。入力に依存したメカニズムにより、状態空間モデル(SSM)ベースのMambaは、長期パターンを選択的に保持し、ゆらぎをフィルタリングすることができる。グローバルパターンと局所的な変動を適応的に統合するために、ロングショートルータは2人の専門家の貢献を動的に調整する。 SSTは、線形に$O(L)$を時系列長$L$でスケーリングすることで、優れたパフォーマンスを達成する。総合的な実験により、SSTは低メモリフットプリントと計算コストを維持しながら、長期間の時系列予測においてSOTA結果を達成することができることを示した。 SSTのコードはhttps://github.com/XiongxiaoXu/SSTで公開されている。

関連論文リスト

UmambaTSF: A U-shaped Multi-Scale Long-Term Time Series Forecasting Method Using Mamba [7.594115034632109]
本稿では,新しい時系列予測フレームワークであるUmambaTSFを提案する。 U字型エンコーダ・デコーダ多層パーセプトロン(MLP)のマルチスケール特徴抽出機能とMambaのロングシーケンス表現を統合する。 UmambaTSFは、広く使用されているベンチマークデータセットで最先端のパフォーマンスと優れた汎用性を達成する。
論文参考訳（メタデータ） (2024-10-15T04:56:43Z)
Moirai-MoE: Empowering Time Series Foundation Models with Sparse Mixture of Experts [103.725112190618]
本稿では,単一入出力プロジェクション層を用いたMoirai-MoEを紹介するとともに,多種多様な時系列パターンのモデリングを専門家の疎結合に委ねる。 39のデータセットに対する大規模な実験は、既存の基盤モデルよりも、分配シナリオとゼロショットシナリオの両方において、Moirai-MoEの優位性を実証している。
論文参考訳（メタデータ） (2024-10-14T13:01:11Z)
Timer-XL: Long-Context Transformers for Unified Time Series Forecasting [67.83502953961505]
我々は時系列の統一予測のための生成変換器Timer-XLを提案する。 Timer-XLは、統一されたアプローチにより、挑戦的な予測ベンチマークで最先端のパフォーマンスを達成する。
論文参考訳（メタデータ） (2024-10-07T07:27:39Z)
MixLinear: Extreme Low Resource Multivariate Time Series Forecasting with 0.1K Parameters [6.733646592789575]
時系列予測(LTSF)は、パターンや傾向を特定するために、大量の時系列データを分析することによって、長期的な価値を予測する。トランスフォーマーベースのモデルは高い予測精度を提供するが、ハードウェア制約のあるデバイスにデプロイするには計算集約的すぎることが多い。資源制約のあるデバイスに特化して設計された超軽量時系列予測モデルであるMixLinearを提案する。
論文参考訳（メタデータ） (2024-10-02T23:04:57Z)
Integration of Mamba and Transformer -- MAT for Long-Short Range Time Series Forecasting with Application to Weather Dynamics [7.745945701278489]
長い時間範囲の時系列予測は、長期にわたる将来の傾向やパターンを予測するのに不可欠である。 Transformersのようなディープラーニングモデルは、時系列予測の進歩に大きく貢献している。本稿では,MambaモデルとTransformerモデルの長所と短所について検討する。
論文参考訳（メタデータ） (2024-09-13T04:23:54Z)
Bidirectional Gated Mamba for Sequential Recommendation [56.85338055215429]
最近の進歩であるMambaは、時系列予測において例外的なパフォーマンスを示した。 SIGMA(Selective Gated Mamba)と呼ばれる,シークエンシャルレコメンデーションのための新しいフレームワークを紹介する。以上の結果から,SIGMAは5つの実世界のデータセットにおいて,現在のモデルよりも優れていたことが示唆された。
論文参考訳（メタデータ） (2024-08-21T09:12:59Z)
MambaTS: Improved Selective State Space Models for Long-term Time Series Forecasting [12.08746904573603]
選択状態空間モデル(SSM)に基づくMambaは、Transformerの競合相手として登場した。我々は4つの改善点を提案し、MambaTSに導いた。 8つの公開データセットで実施された実験は、MambaTSが新しい最先端のパフォーマンスを達成することを示す。
論文参考訳（メタデータ） (2024-05-26T05:50:17Z)
TimeMachine: A Time Series is Worth 4 Mambas for Long-term Forecasting [13.110156202816112]
TimeMachineは時系列データのユニークな特性を利用して、マルチスケールで適切なコンテキストキューを生成する。 TimeMachineは、ベンチマークデータセットを使用して広範囲に検証されるように、予測精度、スケーラビリティ、メモリ効率において優れたパフォーマンスを達成する。
論文参考訳（メタデータ） (2024-03-14T22:19:37Z)
Unified Training of Universal Time Series Forecasting Transformers [104.56318980466742]
マスク型ユニバーサル時系列予測変換器(モイライ)について述べる。 Moiraiは、新たに導入された大規模オープンタイムシリーズアーカイブ(LOTSA)で訓練されており、9つのドメインで27億以上の観測が行われた。 Moiraiは、フルショットモデルと比較してゼロショットの予測器として、競争力や優れたパフォーマンスを達成する。
論文参考訳（メタデータ） (2024-02-04T20:00:45Z)
Timer: Generative Pre-trained Transformers Are Large Time Series Models [83.03091523806668]
本稿では,大規模時系列モデル(LTSM)の早期開発を目的とした。事前トレーニング中に、最大10億のタイムポイントを持つ大規模なデータセットをキュレートします。多様なアプリケーションのニーズを満たすため,予測,計算,時系列の異常検出を統一的な生成タスクに変換する。
論文参考訳（メタデータ） (2024-02-04T06:55:55Z)
Grouped self-attention mechanism for a memory-efficient Transformer [64.0125322353281]
天気予報、電力消費、株式市場などの現実世界のタスクには、時間とともに変化するデータの予測が含まれる。時系列データは通常、その周期的特性と時間的長期依存性のために、長いシーケンスで長い観察期間にわたって記録される。我々はGSA(Grouped Self-Attention)とCCA(Compressed Cross-Attention)の2つの新しいモジュールを提案する。提案モデルでは,既存の手法に匹敵する計算量と性能の低減が効果的に示された。
論文参考訳（メタデータ） (2022-10-02T06:58:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。