論文の概要: SST: Multi-Scale Hybrid Mamba-Transformer Experts for Long-Short Range Time Series Forecasting

• arxiv url: http://arxiv.org/abs/2404.14757v2
• Date: Thu, 22 Aug 2024 17:55:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-08-23 19:15:36.409149
• Title: SST: Multi-Scale Hybrid Mamba-Transformer Experts for Long-Short Range Time Series Forecasting
• Title（参考訳）: SST:長距離時系列予測のためのマルチスケールハイブリッドマンバ変圧器エキスパート
• Authors: Xiongxiao Xu, Canyu Chen, Yueqing Liang, Baixiang Huang, Guangji Bai, Liang Zhao, Kai Shu,
• Abstract要約: 時系列はグローバルなパターンと局所的なバリエーションに分解できる。 我々は,SST(State Space Transformer)モデルを用いたハイブリッド型マンバ・トランスフォーマーを提案する。 SSTは、低メモリフットプリントと計算コストを維持しながら、短距離時系列予測においてSOTA結果を達成することができる。
• 参考スコア（独自算出の注目度）: 20.87352811680857
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Despite significant progress in time series forecasting, existing forecasters often overlook the heterogeneity between long-range and short-range time series, leading to performance degradation in practical applications. In this work, we highlight the need of distinct objectives tailored to different ranges. We point out that time series can be decomposed into global patterns and local variations, which should be addressed separately in long- and short-range time series. To meet the objectives, we propose a multi-scale hybrid Mamba-Transformer experts model State Space Transformer (SST). SST leverages Mamba as an expert to extract global patterns in coarse-grained long-range time series, and Local Window Transformer (LWT), the other expert to focus on capturing local variations in fine-grained short-range time series. With an input-dependent mechanism, State Space Model (SSM)-based Mamba is able to selectively retain long-term patterns and filter out fluctuations, while LWT employs a local window to enhance locality-awareness capability, thus effectively capturing local variations. To adaptively integrate the global patterns and local variations, a long-short router dynamically adjusts contributions of the two experts. SST achieves superior performance with scaling linearly $O(L)$ on time series length $L$. The comprehensive experiments demonstrate the SST can achieve SOTA results in long-short range time series forecasting while maintaining low memory footprint and computational cost. The code of SST is available at https://github.com/XiongxiaoXu/SST.
• Abstract（参考訳）: 時系列予測の大幅な進歩にもかかわらず、既存の予測者は、長距離時系列と短距離時系列の間の不均一性を見落とし、実用的なアプリケーションの性能低下につながった。 本研究では,異なる範囲に合わせた異なる目的の必要性を強調した。 時系列はグローバルなパターンと局所的な変動に分解でき、長大・短大の時系列では別々に扱うべきであると指摘する。 目的を達成するため,マルチスケールのハイブリッド型Mamba-Transformer Expert Model State Space Transformer (SST)を提案する。 SSTは、Mambaをエキスパートとして、粗粒長範囲時系列におけるグローバルパターンを抽出し、別のエキスパートであるLocal Window Transformer(LWT)は、細粒短範囲時系列における局所的な変動を捉えることに重点を置いている。 入力に依存したメカニズムにより、状態空間モデル(SSM)ベースのMambaは、長期パターンを選択的に保持し、ゆらぎをフィルタリングすることができる。 グローバルパターンと局所的な変動を適応的に統合するために、ロングショートルータは2人の専門家の貢献を動的に調整する。 SSTは、線形に$O(L)$を時系列長$L$でスケーリングすることで、優れたパフォーマンスを達成する。 総合的な実験により、SSTは低メモリフットプリントと計算コストを維持しながら、長期間の時系列予測においてSOTA結果を達成することができることを示した。 SSTのコードはhttps://github.com/XiongxiaoXu/SSTで公開されている。

関連論文リスト

• DiTS: Multimodal Diffusion Transformers Are Time Series Forecasters [50.43534351968113]
  既存の生成時系列モデルは、時系列データの多次元特性にうまく対応していない。 動画生成にテキストガイダンスを組み込んだマルチモーダル拡散変換器に着想を得て,Diffusion Transformer for Time Series (DiTS)を提案する。
  論文  参考訳（メタデータ） (2026-02-06T10:48:13Z)
• TimePro: Efficient Multivariate Long-term Time Series Forecasting with Variable- and Time-Aware Hyper-state [12.940694192516059]
  長期の時系列予測では、異なる変数が異なる時間間隔でターゲット変数に影響を与えることが多い。 伝統的なモデルは典型的にはすべての変数や時間点を一様に処理し、複雑な変数関係を捉える能力を制限する。 本稿では,多変量および時間認識型ハイパーステートを構築するMambaベースの革新的なモデルであるTimeProを提案する。
  論文  参考訳（メタデータ） (2025-05-27T06:24:21Z)
• LLM-PS: Empowering Large Language Models for Time Series Forecasting with Temporal Patterns and Semantics [56.99021951927683]
  Time Series Forecasting (TSF) は、金融計画や健康モニタリングなど、多くの現実世界のドメインにおいて重要である。 既存のLarge Language Models (LLM) は通常、時系列データ固有の特性を無視するため、非最適に実行する。 時系列データから基本的なtextitPatterns と有意義な textitSemantics を学習し,TLF のための LLM-PS を提案する。
  論文  参考訳（メタデータ） (2025-03-12T11:45:11Z)
• Thinking Slow, Fast: Scaling Inference Compute with Distilled Reasoners [72.37408197157453]
  近年の進歩により、大規模言語モデル(LLM)の性能は、テスト時に計算資源をスケーリングすることで大幅に向上することが示されている。 複雑性が低いモデルは、より優れた生成スループットを活用して、固定された計算予算のために同様の大きさのトランスフォーマーを上回りますか? この問題に対処し、強い四分法的推論器の欠如を克服するために、事前訓練された変換器から純およびハイブリッドのマンバモデルを蒸留する。
  論文  参考訳（メタデータ） (2025-02-27T18:08:16Z)
• S2TX: Cross-Attention Multi-Scale State-Space Transformer for Time Series Forecasting [31.19126944008011]
  時系列予測は, 長距離パターンと短距離パターンの不均一性に対処するマルチスケールモデルにおいて, 最近大きな進歩を遂げている。 これらの問題に対処するため、クロスアテンション(S2TX)を備えた状態空間変換器を提案する。 S2TXは、メモリフットプリントを低く保ちながら、非常に堅牢なSOTA結果を達成することができる。
  論文  参考訳（メタデータ） (2025-02-17T01:40:45Z)
• MatIR: A Hybrid Mamba-Transformer Image Restoration Model [95.17418386046054]
  そこで我々は,MatIRと呼ばれるMamba-Transformerハイブリッド画像復元モデルを提案する。 MatIRはTransformer層とMamba層のブロックをクロスサイクルして特徴を抽出する。 Mambaモジュールでは、4つのスキャンパスに沿って横断するImage Inpainting State Space (IRSS)モジュールを導入する。
  論文  参考訳（メタデータ） (2025-01-30T14:55:40Z)
• UmambaTSF: A U-shaped Multi-Scale Long-Term Time Series Forecasting Method Using Mamba [7.594115034632109]
  本稿では,新しい時系列予測フレームワークであるUmambaTSFを提案する。 U字型エンコーダ・デコーダ多層パーセプトロン(MLP)のマルチスケール特徴抽出機能とMambaのロングシーケンス表現を統合する。 UmambaTSFは、広く使用されているベンチマークデータセットで最先端のパフォーマンスと優れた汎用性を達成する。
  論文  参考訳（メタデータ） (2024-10-15T04:56:43Z)
• Moirai-MoE: Empowering Time Series Foundation Models with Sparse Mixture of Experts [103.725112190618]
  本稿では,単一入出力プロジェクション層を用いたMoirai-MoEを紹介するとともに,多種多様な時系列パターンのモデリングを専門家の疎結合に委ねる。 39のデータセットに対する大規模な実験は、既存の基盤モデルよりも、分配シナリオとゼロショットシナリオの両方において、Moirai-MoEの優位性を実証している。
  論文  参考訳（メタデータ） (2024-10-14T13:01:11Z)
• Timer-XL: Long-Context Transformers for Unified Time Series Forecasting [67.83502953961505]
  我々は時系列の統一予測のための生成変換器Timer-XLを提案する。 Timer-XLは、統一されたアプローチにより、挑戦的な予測ベンチマークで最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2024-10-07T07:27:39Z)
• Oscillatory State-Space Models [61.923849241099184]
  長いシーケンスを効率的に学習するための線形状態空間モデル(LinOSS)を提案する。 高速な連想並列スキャンを用いて時間とともに統合された安定な離散化により、提案した状態空間モデルが得られる。 我々はLinOSSが普遍であること、すなわち時間変化関数間の連続および因果作用素写像を近似できることを示す。
  論文  参考訳（メタデータ） (2024-10-04T22:00:13Z)
• MixLinear: Extreme Low Resource Multivariate Time Series Forecasting with 0.1K Parameters [6.733646592789575]
  時系列予測(LTSF)は、パターンや傾向を特定するために、大量の時系列データを分析することによって、長期的な価値を予測する。 トランスフォーマーベースのモデルは高い予測精度を提供するが、ハードウェア制約のあるデバイスにデプロイするには計算集約的すぎることが多い。 資源制約のあるデバイスに特化して設計された超軽量時系列予測モデルであるMixLinearを提案する。
  論文  参考訳（メタデータ） (2024-10-02T23:04:57Z)
• Integration of Mamba and Transformer -- MAT for Long-Short Range Time Series Forecasting with Application to Weather Dynamics [7.745945701278489]
  長い時間範囲の時系列予測は、長期にわたる将来の傾向やパターンを予測するのに不可欠である。 Transformersのようなディープラーニングモデルは、時系列予測の進歩に大きく貢献している。 本稿では,MambaモデルとTransformerモデルの長所と短所について検討する。
  論文  参考訳（メタデータ） (2024-09-13T04:23:54Z)
• Mamba or Transformer for Time Series Forecasting? Mixture of Universals (MoU) Is All You Need [28.301119776877822]
  時系列予測には、正確な予測のために短期と長期の依存関係のバランスが必要である。 変換器は長期依存のモデリングに優れているが、2次計算コストで批判されている。 Mambaは、ほぼ直線的な代替手段を提供するが、潜在的な情報損失のため、時系列の長期予測では効果が低いと報告されている。
  論文  参考訳（メタデータ） (2024-08-28T17:59:27Z)
• Bidirectional Gated Mamba for Sequential Recommendation [56.85338055215429]
  最近の進歩であるMambaは、時系列予測において例外的なパフォーマンスを示した。 SIGMA(Selective Gated Mamba)と呼ばれる,シークエンシャルレコメンデーションのための新しいフレームワークを紹介する。 以上の結果から,SIGMAは5つの実世界のデータセットにおいて,現在のモデルよりも優れていたことが示唆された。
  論文  参考訳（メタデータ） (2024-08-21T09:12:59Z)
• DeciMamba: Exploring the Length Extrapolation Potential of Mamba [89.07242846058023]
  本研究では,マンバに特化して設計された文脈拡張手法であるDeciMambaを紹介する。 実世界の長距離NLPタスクに対する実験では、DeciMambaはトレーニング中に見られるものよりも、コンテキスト長に格段に長く当てはまることが示されている。
  論文  参考訳（メタデータ） (2024-06-20T17:40:18Z)
• An Empirical Study of Mamba-based Language Models [69.74383762508805]
  Mambaのような選択的な状態空間モデル(SSM)はトランスフォーマーの欠点を克服する。 同じデータセット上で訓練された8B-context Mamba, Mamba-2, Transformer モデルを直接比較する。 8BのMamba-2-Hybridは、12の標準タスクで8BのTransformerを上回っている。
  論文  参考訳（メタデータ） (2024-06-12T05:25:15Z)
• TSCMamba: Mamba Meets Multi-View Learning for Time Series Classification [13.110156202816112]
  シフト等分散のような特性を持つパターンを捉えるための新しい多視点手法を提案する。 提案手法は, スペクトル, 時間, 局所, グローバルな特徴を含む多様な特徴を統合して, TSCのリッチで相補的な文脈を得る。 提案手法では,TSCモデルよりも平均精度が4.01-6.45%,7.93%向上した。
  論文  参考訳（メタデータ） (2024-06-06T18:05:10Z)
• MambaTS: Improved Selective State Space Models for Long-term Time Series Forecasting [12.08746904573603]
  選択状態空間モデル(SSM)に基づくMambaは、Transformerの競合相手として登場した。 我々は4つの改善点を提案し、MambaTSに導いた。 8つの公開データセットで実施された実験は、MambaTSが新しい最先端のパフォーマンスを達成することを示す。
  論文  参考訳（メタデータ） (2024-05-26T05:50:17Z)
• Is Mamba Effective for Time Series Forecasting? [30.85990093479062]
  時系列予測のための,S-Mamba(S-Mamba)というマンバモデルを提案する。 具体的には,各変数の時間点を線形層を介して自律的にトークン化する。 13の公開データセットの実験では、S-Mambaは計算オーバーヘッドを低く保ち、主要な性能を達成している。
  論文  参考訳（メタデータ） (2024-03-17T08:50:44Z)
• TimeMachine: A Time Series is Worth 4 Mambas for Long-term Forecasting [13.110156202816112]
  TimeMachineは時系列データのユニークな特性を利用して、マルチスケールで適切なコンテキストキューを生成する。 TimeMachineは、ベンチマークデータセットを使用して広範囲に検証されるように、予測精度、スケーラビリティ、メモリ効率において優れたパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2024-03-14T22:19:37Z)
• Unified Training of Universal Time Series Forecasting Transformers [104.56318980466742]
  マスク型ユニバーサル時系列予測変換器(モイライ)について述べる。 Moiraiは、新たに導入された大規模オープンタイムシリーズアーカイブ(LOTSA)で訓練されており、9つのドメインで27億以上の観測が行われた。 Moiraiは、フルショットモデルと比較してゼロショットの予測器として、競争力や優れたパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2024-02-04T20:00:45Z)
• Timer: Generative Pre-trained Transformers Are Large Time Series Models [83.03091523806668]
  本稿では,大規模時系列モデル(LTSM)の早期開発を目的とした。 事前トレーニング中に、最大10億のタイムポイントを持つ大規模なデータセットをキュレートします。 多様なアプリケーションのニーズを満たすため,予測,計算,時系列の異常検出を統一的な生成タスクに変換する。
  論文  参考訳（メタデータ） (2024-02-04T06:55:55Z)
• Mamba: Linear-Time Sequence Modeling with Selective State Spaces [31.985243136674146]
  ファンデーションモデルは、ほぼ普遍的にTransformerアーキテクチャとコアアテンションモジュールに基づいている。 このようなモデルの重大な弱点は、コンテンツベースの推論を実行できないことである。 我々はこれらの選択的なSSMを、注意やブロック(Mamba)を使わずに、単純化されたエンドツーエンドニューラルネットワークアーキテクチャに統合する(Mamba)。 一般的なシーケンスモデルバックボーンとして、Mambaは言語、オーディオ、ゲノミクスといったいくつかのモードで最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2023-12-01T18:01:34Z)
• Grouped self-attention mechanism for a memory-efficient Transformer [64.0125322353281]
  天気予報、電力消費、株式市場などの現実世界のタスクには、時間とともに変化するデータの予測が含まれる。 時系列データは通常、その周期的特性と時間的長期依存性のために、長いシーケンスで長い観察期間にわたって記録される。 我々はGSA(Grouped Self-Attention)とCCA(Compressed Cross-Attention)の2つの新しいモジュールを提案する。 提案モデルでは,既存の手法に匹敵する計算量と性能の低減が効果的に示された。
  論文  参考訳（メタデータ） (2022-10-02T06:58:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。