論文の概要: Gateformer: Advancing Multivariate Time Series Forecasting through Temporal and Variate-Wise Attention with Gated Representations

• arxiv url: http://arxiv.org/abs/2505.00307v1
• Date: Thu, 01 May 2025 04:59:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-02 19:15:55.227936
• Title: Gateformer: Advancing Multivariate Time Series Forecasting through Temporal and Variate-Wise Attention with Gated Representations
• Title（参考訳）: Gateformer: ゲーテッド表現による時間的・可変的な注意による多変量時系列予測の促進
• Authors: Yu-Hsiang Lan, Anton Alyakin, Eric K. Oermann,
• Abstract要約: 私たちはTransformerアーキテクチャを再使用して、クロスタイムとクロス変数の依存関係の両方をモデル化します。 提案手法は13の実世界のデータセットにまたがって最先端のパフォーマンスを実現し,オリジナルモデルよりも最大20.7%のパフォーマンス向上を実現している。
• 参考スコア（独自算出の注目度）: 2.2091590689610823
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: There has been a recent surge of interest in time series modeling using the Transformer architecture. However, forecasting multivariate time series with Transformer presents a unique challenge as it requires modeling both temporal (cross-time) and variate (cross-variate) dependencies. While Transformer-based models have gained popularity for their flexibility in capturing both sequential and cross-variate relationships, it is unclear how to best integrate these two sources of information in the context of the Transformer architecture while optimizing for both performance and efficiency. We re-purpose the Transformer architecture to effectively model both cross-time and cross-variate dependencies. Our approach begins by embedding each variate independently into a variate-wise representation that captures its cross-time dynamics, and then models cross-variate dependencies through attention mechanisms on these learned embeddings. Gating operations in both cross-time and cross-variate modeling phases regulate information flow, allowing the model to focus on the most relevant features for accurate predictions. Our method achieves state-of-the-art performance across 13 real-world datasets and can be seamlessly integrated into other Transformer-based and LLM-based forecasters, delivering performance improvements up to 20.7\% over original models. Code is available at this repository: https://github.com/nyuolab/Gateformer.
• Abstract（参考訳）: Transformerアーキテクチャを使った時系列モデリングへの関心が高まっている。 しかし、Transformerによる多変量時系列の予測には、時間的(クロスタイム)と変数的(クロス変数)の両方の依存関係をモデル化する必要があるため、ユニークな課題がある。 Transformerベースのモデルは、シーケンシャルな関係とクロスバリアントな関係を捉える際の柔軟性で人気を得ているが、Transformerアーキテクチャのコンテキストにおいて、パフォーマンスと効率の両面を最適化しながら、これらの2つの情報源をいかにうまく統合するかは定かではない。 Transformerアーキテクチャを再使用して、クロスタイムとクロスバリアントの依存関係を効果的にモデル化します。 我々のアプローチは、各変数を独立して変数ワイズ表現に埋め込み、そのクロスタイムダイナミクスをキャプチャし、これらの学習された埋め込みに対する注意機構を通して相互依存性をモデル化することから始まります。 クロスタイムおよびクロス変数モデリングフェーズの両方でのゲーティング操作は、情報フローを規制し、モデルが正確な予測のために最も関連性の高い機能に集中できるようにする。 提案手法は,13の実世界のデータセットにまたがる最先端のパフォーマンスを実現し,他のTransformerベースおよびLLMベースの予測器にシームレスに統合することで,オリジナルモデルよりも最大20.7\%の性能向上を実現する。 コードは、このリポジトリで入手できる。

関連論文リスト

• Sensorformer: Cross-patch attention with global-patch compression is effective for high-dimensional multivariate time series forecasting [12.103678233732584]
  本稿では,まずグローバルパッチ情報を圧縮し,同時に圧縮された表現からクロス変数およびクロスタイム依存関係を抽出する新しい変換器であるSensorformerを提案する。 センサフォーマは、変数間の動的因果ラグが存在する場合でも、適切な変数間の相関関係と因果関係を効果的に捉えることができる。
  論文  参考訳（メタデータ） (2025-01-06T03:14:47Z)
• PRformer: Pyramidal Recurrent Transformer for Multivariate Time Series Forecasting [82.03373838627606]
  Transformerアーキテクチャにおける自己保持機構は、時系列予測において時間順序を符号化するために位置埋め込みを必要とする。 この位置埋め込みへの依存は、トランスフォーマーの時間的シーケンスを効果的に表現する能力を制限している、と我々は主張する。 本稿では,Prepreを標準的なTransformerエンコーダと統合し,様々な実世界のデータセット上での最先端性能を示す。
  論文  参考訳（メタデータ） (2024-08-20T01:56:07Z)
• sTransformer: A Modular Approach for Extracting Inter-Sequential and Temporal Information for Time-Series Forecasting [6.434378359932152]
  既存のTransformerベースのモデルを,(1)モデル構造の変更,(2)入力データの変更の2つのタイプに分類する。 我々は、シーケンシャル情報と時間情報の両方をフルにキャプチャするSequence and Temporal Convolutional Network(STCN)を導入する$textbfsTransformer$を提案する。 我々は,線形モデルと既存予測モデルとを長期時系列予測で比較し,新たな成果を得た。
  論文  参考訳（メタデータ） (2024-08-19T06:23:41Z)
• UniTST: Effectively Modeling Inter-Series and Intra-Series Dependencies for Multivariate Time Series Forecasting [98.12558945781693]
  フラット化されたパッチトークンに統一された注意機構を含む変圧器ベースモデルUniTSTを提案する。 提案モデルでは単純なアーキテクチャを採用しているが,時系列予測のためのいくつかのデータセットの実験で示されたような,魅力的な性能を提供する。
  論文  参考訳（メタデータ） (2024-06-07T14:39:28Z)
• Leveraging 2D Information for Long-term Time Series Forecasting with Vanilla Transformers [55.475142494272724]
  時系列予測は、様々な領域における複雑な力学の理解と予測に不可欠である。 GridTSTは、革新的な多方向性の注意を用いた2つのアプローチの利点を組み合わせたモデルである。 このモデルは、さまざまな現実世界のデータセットに対して、常に最先端のパフォーマンスを提供する。
  論文  参考訳（メタデータ） (2024-05-22T16:41:21Z)
• Pathformer: Multi-scale Transformers with Adaptive Pathways for Time Series Forecasting [31.503121606451113]
  適応経路を持つマルチスケールトランスであるPathformerを提案する。 時間分解能と時間距離を統合してマルチスケールモデリングを行う。
  論文  参考訳（メタデータ） (2024-02-04T15:33:58Z)
• iTransformer: Inverted Transformers Are Effective for Time Series Forecasting [62.40166958002558]
  iTransformerを提案する。これは、逆次元に注意とフィードフォワードのネットワークを単純に適用する。 iTransformerモデルは、挑戦的な現実世界のデータセットの最先端を実現する。
  論文  参考訳（メタデータ） (2023-10-10T13:44:09Z)
• Client: Cross-variable Linear Integrated Enhanced Transformer for Multivariate Long-Term Time Series Forecasting [4.004869317957185]
  クライアント(Client)は,従来のトランスフォーマーベースモデルと線形モデルの両方に勝る高度なモデルである。 クライアントは、従来の線形モデルとTransformerベースのモデルとを分離した、非線形性とクロス変数の依存関係を組み込んでいる。
  論文  参考訳（メタデータ） (2023-05-30T08:31:22Z)
• Full Stack Optimization of Transformer Inference: a Survey [58.55475772110702]
  トランスフォーマーモデルは広範囲のアプリケーションにまたがって優れた精度を実現する。 最近のTransformerモデルの推測に必要な計算量と帯域幅は、かなり増加しています。 Transformerモデルをより効率的にすることに注力している。
  論文  参考訳（メタデータ） (2023-02-27T18:18:13Z)
• FormerTime: Hierarchical Multi-Scale Representations for Multivariate Time Series Classification [53.55504611255664]
  formerTimeは、多変量時系列分類タスクの分類能力を改善する階層的表現モデルである。 1)時系列データから階層的なマルチスケール表現を学習し、(2)トランスフォーマーと畳み込みネットワークの強さを継承し、(3)自己維持メカニズムによって引き起こされる効率の課題に取り組む。
  論文  参考訳（メタデータ） (2023-02-20T07:46:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。