論文の概要: SCFormer: Structured Channel-wise Transformer with Cumulative Historical State for Multivariate Time Series Forecasting

• arxiv url: http://arxiv.org/abs/2505.02655v1
• Date: Mon, 05 May 2025 13:59:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-06 18:49:35.693293
• Title: SCFormer: Structured Channel-wise Transformer with Cumulative Historical State for Multivariate Time Series Forecasting
• Title（参考訳）: SCFormer:多変量時系列予測のための累積履歴付きチャネルワイズ変換器
• Authors: Shiwei Guo, Ziang Chen, Yupeng Ma, Yunfei Han, Yi Wang,
• Abstract要約: 累積履歴状態を持つ構造化チャネルワイド変圧器(SCFormer)を提案する。 SCFormerは、クエリ、キー、値行列を含むすべての線形変換と、Transformer内の完全に接続されたレイヤに時間的制約を導入する。 複数の実世界のデータセットの実験では、SCFormerがメインストリームのベースラインを大幅に上回っている。
• 参考スコア（独自算出の注目度）: 6.186790384993048
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The Transformer model has shown strong performance in multivariate time series forecasting by leveraging channel-wise self-attention. However, this approach lacks temporal constraints when computing temporal features and does not utilize cumulative historical series effectively.To address these limitations, we propose the Structured Channel-wise Transformer with Cumulative Historical state (SCFormer). SCFormer introduces temporal constraints to all linear transformations, including the query, key, and value matrices, as well as the fully connected layers within the Transformer. Additionally, SCFormer employs High-order Polynomial Projection Operators (HiPPO) to deal with cumulative historical time series, allowing the model to incorporate information beyond the look-back window during prediction. Extensive experiments on multiple real-world datasets demonstrate that SCFormer significantly outperforms mainstream baselines, highlighting its effectiveness in enhancing time series forecasting. The code is publicly available at https://github.com/ShiweiGuo1995/SCFormer
• Abstract（参考訳）: トランスフォーマーモデルは,チャネルワイドの自己注意を利用して,多変量時系列予測において高い性能を示した。 しかし,本手法は時間的特徴を計算する際に時間的制約を欠き,累積的歴史系列を有効利用しないため,累積的歴史状態を持つ構造化チャネルワイド変換器(SCFormer)を提案する。 SCFormerは、クエリ、キー、値行列を含むすべての線形変換と、Transformer内の完全に接続されたレイヤに時間的制約を導入する。 さらに、SCFormerは高階多項式射影演算子(HiPPO)を使用して累積履歴時系列を処理し、予測中にルックバックウィンドウを越えて情報を組み込むことができる。 複数の実世界のデータセットに対する大規模な実験により、SCFormerはメインストリームのベースラインを大幅に上回っており、時系列予測の強化の有効性を強調している。 コードはhttps://github.com/ShiweiGuo1995/SCFormerで公開されている。

関連論文リスト

• LSEAttention is All You Need for Time Series Forecasting [0.0]
  トランスフォーマーベースのアーキテクチャは自然言語処理とコンピュータビジョンにおいて顕著な成功を収めた。 これまでの研究では、伝統的な注意機構が、この領域におけるそれらの有効性を制限する重要な要素として特定されてきた。 本稿では,トランスフォーマーを用いた時系列予測において,エントロピー崩壊を緩和し,不安定性をトレーニングするための新しいアプローチであるLATSTを紹介する。
  論文  参考訳（メタデータ） (2024-10-31T09:09:39Z)
• Timer-XL: Long-Context Transformers for Unified Time Series Forecasting [67.83502953961505]
  我々は時系列の統一予測のための因果変換器Timer-XLを提案する。 大規模な事前トレーニングに基づいて、Timer-XLは最先端のゼロショット性能を達成する。
  論文  参考訳（メタデータ） (2024-10-07T07:27:39Z)
• PRformer: Pyramidal Recurrent Transformer for Multivariate Time Series Forecasting [82.03373838627606]
  Transformerアーキテクチャにおける自己保持機構は、時系列予測において時間順序を符号化するために位置埋め込みを必要とする。 この位置埋め込みへの依存は、トランスフォーマーの時間的シーケンスを効果的に表現する能力を制限している、と我々は主張する。 本稿では,Prepreを標準的なTransformerエンコーダと統合し,様々な実世界のデータセット上での最先端性能を示す。
  論文  参考訳（メタデータ） (2024-08-20T01:56:07Z)
• Unified Training of Universal Time Series Forecasting Transformers [104.56318980466742]
  マスク型ユニバーサル時系列予測変換器(モイライ)について述べる。 Moiraiは、新たに導入された大規模オープンタイムシリーズアーカイブ(LOTSA)で訓練されており、9つのドメインで27億以上の観測が行われた。 Moiraiは、フルショットモデルと比較してゼロショットの予測器として、競争力や優れたパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2024-02-04T20:00:45Z)
• Timer: Generative Pre-trained Transformers Are Large Time Series Models [83.03091523806668]
  本稿では,大規模時系列モデル(LTSM)の早期開発を目的とした。 事前トレーニング中に、最大10億のタイムポイントを持つ大規模なデータセットをキュレートします。 多様なアプリケーションのニーズを満たすため,予測,計算,時系列の異常検出を統一的な生成タスクに変換する。
  論文  参考訳（メタデータ） (2024-02-04T06:55:55Z)
• CARD: Channel Aligned Robust Blend Transformer for Time Series Forecasting [50.23240107430597]
  本稿では,CARD(Channel Aligned Robust Blend Transformer)という特殊なトランスを設計する。 まず、CARDはチャネルに沿ったアテンション構造を導入し、信号間の時間的相関をキャプチャする。 第二に、マルチスケール知識を効率的に活用するために、異なる解像度のトークンを生成するトークンブレンドモジュールを設計する。 第3に,潜在的な過度な問題を軽減するため,時系列予測のためのロバストな損失関数を導入する。
  論文  参考訳（メタデータ） (2023-05-20T05:16:31Z)
• FormerTime: Hierarchical Multi-Scale Representations for Multivariate Time Series Classification [53.55504611255664]
  formerTimeは、多変量時系列分類タスクの分類能力を改善する階層的表現モデルである。 1)時系列データから階層的なマルチスケール表現を学習し、(2)トランスフォーマーと畳み込みネットワークの強さを継承し、(3)自己維持メカニズムによって引き起こされる効率の課題に取り組む。
  論文  参考訳（メタデータ） (2023-02-20T07:46:14Z)
• A Time Series is Worth 64 Words: Long-term Forecasting with Transformers [4.635547236305835]
  本稿では,時系列予測と自己教師型表現学習のためのトランスフォーマーモデルを提案する。 i) 時系列をサブシリーズレベルのパッチに分割し、Transformerへの入力トークンとして機能させる。 PatchTSTは、SOTA Transformerベースのモデルと比較して、長期予測精度を著しく向上させることができる。
  論文  参考訳（メタデータ） (2022-11-27T05:15:42Z)
• Mitigating Data Redundancy to Revitalize Transformer-based Long-Term Time Series Forecasting System [46.39662315849883]
  本稿では,カリキュラム学習とメモリ駆動デコーダによる冗長性を緩和する新しいフレームワークであるCLMFormerを紹介する。 CLMFormerはTransformerベースのモデルを最大30%改善し、長距離予測の有効性を示している。
  論文  参考訳（メタデータ） (2022-07-16T04:05:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。