論文の概要: S2TX: Cross-Attention Multi-Scale State-Space Transformer for Time Series Forecasting

• arxiv url: http://arxiv.org/abs/2502.11340v1
• Date: Mon, 17 Feb 2025 01:40:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-18 14:09:48.775153
• Title: S2TX: Cross-Attention Multi-Scale State-Space Transformer for Time Series Forecasting
• Title（参考訳）: S2TX: 時系列予測のためのクロスアテンションマルチスケールステートスペーストランス
• Authors: Zihao Wu, Juncheng Dong, Haoming Yang, Vahid Tarokh,
• Abstract要約: 時系列予測は, 長距離パターンと短距離パターンの不均一性に対処するマルチスケールモデルにおいて, 最近大きな進歩を遂げている。 これらの問題に対処するため、クロスアテンション(S2TX)を備えた状態空間変換器を提案する。 S2TXは、メモリフットプリントを低く保ちながら、非常に堅牢なSOTA結果を達成することができる。
• 参考スコア（独自算出の注目度）: 31.19126944008011
• License:
• Abstract: Time series forecasting has recently achieved significant progress with multi-scale models to address the heterogeneity between long and short range patterns. Despite their state-of-the-art performance, we identify two potential areas for improvement. First, the variates of the multivariate time series are processed independently. Moreover, the multi-scale (long and short range) representations are learned separately by two independent models without communication. In light of these concerns, we propose State Space Transformer with cross-attention (S2TX). S2TX employs a cross-attention mechanism to integrate a Mamba model for extracting long-range cross-variate context and a Transformer model with local window attention to capture short-range representations. By cross-attending to the global context, the Transformer model further facilitates variate-level interactions as well as local/global communications. Comprehensive experiments on seven classic long-short range time-series forecasting benchmark datasets demonstrate that S2TX can achieve highly robust SOTA results while maintaining a low memory footprint.
• Abstract（参考訳）: 時系列予測は, 長距離パターンと短距離パターンの不均一性に対処するマルチスケールモデルにおいて, 最近大きな進歩を遂げている。 最先端のパフォーマンスにもかかわらず、私たちは改善すべき2つの潜在的な領域を特定します。 まず、多変量時系列の変数を独立に処理する。 さらに,コミュニケーションを伴わない2つの独立モデルにより,マルチスケール(長短域)表現を別々に学習する。 これらの懸念を踏まえて,クロスアテンション(S2TX)を用いた状態空間変換器を提案する。 S2TXは、長距離のクロスバリアイトコンテキストを抽出するMambaモデルと、局所的なウィンドウアテンションを持つTransformerモデルを統合することで、短距離表現をキャプチャする。 グローバルなコンテキストにクロスアテンディングすることで、Transformerモデルは、ローカル/グローバル通信と同様に、変数レベルのインタラクションをさらに促進する。 S2TXはメモリフットプリントを低く保ちながら高い堅牢なSOTA結果が得られることを示す。

関連論文リスト

• LSEAttention is All You Need for Time Series Forecasting [0.0]
  トランスフォーマーベースのアーキテクチャは自然言語処理とコンピュータビジョンにおいて顕著な成功を収めた。 これまでの研究では、伝統的な注意機構が、この領域におけるそれらの有効性を制限する重要な要素として特定されてきた。 本稿では,トランスフォーマーを用いた時系列予測において,エントロピー崩壊を緩和し,不安定性をトレーニングするための新しいアプローチであるLATSTを紹介する。
  論文  参考訳（メタデータ） (2024-10-31T09:09:39Z)
• TimeCNN: Refining Cross-Variable Interaction on Time Point for Time Series Forecasting [44.04862924157323]
  トランスフォーマーベースのモデルは、クロスタイムとクロス変数の相互作用をモデル化する上で大きなポテンシャルを示す。 本稿では,時系列予測を強化するために,異種間相互作用を洗練するためのTimeCNNモデルを提案する。 12の実世界のデータセットで実施された大規模な実験は、TimeCNNが一貫して最先端のモデルを上回っていることを示している。
  論文  参考訳（メタデータ） (2024-10-07T09:16:58Z)
• Timer-XL: Long-Context Transformers for Unified Time Series Forecasting [67.83502953961505]
  我々は時系列の統一予測のための生成変換器Timer-XLを提案する。 Timer-XLは、統一されたアプローチにより、挑戦的な予測ベンチマークで最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2024-10-07T07:27:39Z)
• sTransformer: A Modular Approach for Extracting Inter-Sequential and Temporal Information for Time-Series Forecasting [6.434378359932152]
  既存のTransformerベースのモデルを,(1)モデル構造の変更,(2)入力データの変更の2つのタイプに分類する。 我々は、シーケンシャル情報と時間情報の両方をフルにキャプチャするSequence and Temporal Convolutional Network(STCN)を導入する$textbfsTransformer$を提案する。 我々は,線形モデルと既存予測モデルとを長期時系列予測で比較し,新たな成果を得た。
  論文  参考訳（メタデータ） (2024-08-19T06:23:41Z)
• UniTST: Effectively Modeling Inter-Series and Intra-Series Dependencies for Multivariate Time Series Forecasting [98.12558945781693]
  フラット化されたパッチトークンに統一された注意機構を含む変圧器ベースモデルUniTSTを提案する。 提案モデルでは単純なアーキテクチャを採用しているが,時系列予測のためのいくつかのデータセットの実験で示されたような,魅力的な性能を提供する。
  論文  参考訳（メタデータ） (2024-06-07T14:39:28Z)
• Leveraging 2D Information for Long-term Time Series Forecasting with Vanilla Transformers [55.475142494272724]
  時系列予測は、様々な領域における複雑な力学の理解と予測に不可欠である。 GridTSTは、革新的な多方向性の注意を用いた2つのアプローチの利点を組み合わせたモデルである。 このモデルは、さまざまな現実世界のデータセットに対して、常に最先端のパフォーマンスを提供する。
  論文  参考訳（メタデータ） (2024-05-22T16:41:21Z)
• TSLANet: Rethinking Transformers for Time Series Representation Learning [19.795353886621715]
  時系列データは、その固有の長短の依存関係によって特徴づけられる。 本稿では,時系列タスクの普遍的畳み込みモデルとして,新しい時系列軽量ネットワーク(TSLANet)を導入する。 我々の実験では、TSLANetは分類、予測、異常検出にまたがる様々なタスクにおいて最先端のモデルよりも優れていることを示した。
  論文  参考訳（メタデータ） (2024-04-12T13:41:29Z)
• EdgeConvFormer: Dynamic Graph CNN and Transformer based Anomaly Detection in Multivariate Time Series [7.514010315664322]
  本研究では,階層化されたTime2vec埋め込み,動的グラフCNN,Transformerを統合し,グローバルかつ局所的な空間時間情報を抽出する新たな異常検出手法EdgeConvFormerを提案する。 実験により、EdgeConvFormerは、多変量時系列データから時空間モデリングを学習し、異なるスケールの多くの実世界のデータセットに対する最先端のアプローチよりも優れた異常検出性能を得ることができることが示された。
  論文  参考訳（メタデータ） (2023-12-04T08:38:54Z)
• FormerTime: Hierarchical Multi-Scale Representations for Multivariate Time Series Classification [53.55504611255664]
  formerTimeは、多変量時系列分類タスクの分類能力を改善する階層的表現モデルである。 1)時系列データから階層的なマルチスケール表現を学習し、(2)トランスフォーマーと畳み込みネットワークの強さを継承し、(3)自己維持メカニズムによって引き起こされる効率の課題に取り組む。
  論文  参考訳（メタデータ） (2023-02-20T07:46:14Z)
• Joint Spatial-Temporal and Appearance Modeling with Transformer for Multiple Object Tracking [59.79252390626194]
  本稿ではTransSTAMという新しい手法を提案する。Transformerを利用して各オブジェクトの外観特徴とオブジェクト間の空間的時間的関係の両方をモデル化する。 提案手法はMOT16, MOT17, MOT20を含む複数の公開ベンチマークで評価され, IDF1とHOTAの両方で明確な性能向上を実現している。
  論文  参考訳（メタデータ） (2022-05-31T01:19:18Z)
• Long-Short Transformer: Efficient Transformers for Language and Vision [97.2850205384295]
  長短変換器(Long-Short Transformer, Transformer-LS)は、言語タスクと視覚タスクの両方に線形な複雑さを持つ長いシーケンスをモデリングするための効率的な自己アテンション機構である。 遠距離相関をモデル化するためのダイナミックプロジェクションと、局所相関を微細に捉えるための短期的注意を組み込んだ、新しい長距離の注意を集約する。 提案手法は,Long Range Arenaベンチマーク,自動回帰言語モデリング,イメージネット分類など,言語と視覚領域の複数のタスクにおける最先端モデルよりも優れている。
  論文  参考訳（メタデータ） (2021-07-05T18:00:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。