論文の概要: Leveraging 2D Information for Long-term Time Series Forecasting with Vanilla Transformers
- arxiv url: http://arxiv.org/abs/2405.13810v1
- Date: Wed, 22 May 2024 16:41:21 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-24 23:05:13.711744
- Title: Leveraging 2D Information for Long-term Time Series Forecasting with Vanilla Transformers
- Title（参考訳）: バニラ変圧器を用いた長期時系列予測のための2次元情報の活用
- Authors: Xin Cheng, Xiuying Chen, Shuqi Li, Di Luo, Xun Wang, Dongyan Zhao, Rui Yan,
- Abstract要約: 時系列予測は、様々な領域における複雑な力学の理解と予測に不可欠である。
GridTSTは、革新的な多方向性の注意を用いた2つのアプローチの利点を組み合わせたモデルである。
このモデルは、さまざまな現実世界のデータセットに対して、常に最先端のパフォーマンスを提供する。
- 参考スコア（独自算出の注目度）: 55.475142494272724
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Time series prediction is crucial for understanding and forecasting complex dynamics in various domains, ranging from finance and economics to climate and healthcare. Based on Transformer architecture, one approach involves encoding multiple variables from the same timestamp into a single temporal token to model global dependencies. In contrast, another approach embeds the time points of individual series into separate variate tokens. The former method faces challenges in learning variate-centric representations, while the latter risks missing essential temporal information critical for accurate forecasting. In our work, we introduce GridTST, a model that combines the benefits of two approaches using innovative multi-directional attentions based on a vanilla Transformer. We regard the input time series data as a grid, where the $x$-axis represents the time steps and the $y$-axis represents the variates. A vertical slicing of this grid combines the variates at each time step into a \textit{time token}, while a horizontal slicing embeds the individual series across all time steps into a \textit{variate token}. Correspondingly, a \textit{horizontal attention mechanism} focuses on time tokens to comprehend the correlations between data at various time steps, while a \textit{vertical}, variate-aware \textit{attention} is employed to grasp multivariate correlations. This combination enables efficient processing of information across both time and variate dimensions, thereby enhancing the model's analytical strength. % We also integrate the patch technique, segmenting time tokens into subseries-level patches, ensuring that local semantic information is retained in the embedding. The GridTST model consistently delivers state-of-the-art performance across various real-world datasets.
- Abstract（参考訳）: 時系列予測は、金融、経済、気候、医療など、様々な領域の複雑な力学を理解し予測するために重要である。
Transformerアーキテクチャをベースにした1つのアプローチでは、グローバルな依存関係をモデル化するために、同じタイムスタンプから1つの時間トークンに複数の変数をエンコードする。
対照的に、別のアプローチでは、個々の級数の時間点を別々の可変トークンに埋め込む。
前者は変分中心表現の学習における課題に直面するが、後者は正確な予測に不可欠な時間的情報が欠落するリスクを負う。
本研究では,バニラトランスフォーマーに基づく革新的な多方向アテンションを用いた2つのアプローチの利点を組み合わせたモデルであるGridTSTを紹介する。
入力時系列データをグリッドとみなし、$x$-axisは時間ステップを表し、$y$-axisは変数を表す。
このグリッドの垂直スライシングは各時間ステップの変数を \textit{time token} に結合し、水平スライシングはすべての時間ステップにわたって個々のシリーズを \textit{variate token} に埋め込む。
それに対応して、 \textit{horizontal attention mechanism} は、様々な時間ステップにおけるデータ間の相関を理解するための時間トークンに焦点をあてる一方で、変数対応の \textit{attention} は多変量相関を理解するために使用される。
この組み合わせにより、時間と変動次元の両方にわたる情報の効率的な処理が可能となり、モデルの分析強度が向上する。
% パッチ技術を統合し,時間トークンをサブシリーズレベルのパッチに分割し,ローカルなセマンティック情報が埋め込みに保持されることを保証する。
GridTSTモデルは、さまざまな現実世界のデータセットに対して、常に最先端のパフォーマンスを提供する。
関連論文リスト
- Timer-XL: Long-Context Transformers for Unified Time Series Forecasting [67.83502953961505]
我々は時系列の統一予測のための生成変換器Timer-XLを提案する。
Timer-XLは、統一されたアプローチにより、挑戦的な予測ベンチマークで最先端のパフォーマンスを達成する。
論文 参考訳（メタデータ） (2024-10-07T07:27:39Z) - DRFormer: Multi-Scale Transformer Utilizing Diverse Receptive Fields for Long Time-Series Forecasting [3.420673126033772]
本稿では,動的スパース学習アルゴリズムを用いた動的トークン化手法を提案する。
提案するDRFormerは,実世界の様々なデータセットを用いて評価し,既存の手法と比較して,その優位性を示す実験結果を得た。
論文 参考訳（メタデータ） (2024-08-05T07:26:47Z) - EdgeConvFormer: Dynamic Graph CNN and Transformer based Anomaly
Detection in Multivariate Time Series [7.514010315664322]
本研究では,階層化されたTime2vec埋め込み,動的グラフCNN,Transformerを統合し,グローバルかつ局所的な空間時間情報を抽出する新たな異常検出手法EdgeConvFormerを提案する。
実験により、EdgeConvFormerは、多変量時系列データから時空間モデリングを学習し、異なるスケールの多くの実世界のデータセットに対する最先端のアプローチよりも優れた異常検出性能を得ることができることが示された。
論文 参考訳（メタデータ） (2023-12-04T08:38:54Z) - TimeMAE: Self-Supervised Representations of Time Series with Decoupled
Masked Autoencoders [55.00904795497786]
トランスフォーマネットワークに基づく転送可能な時系列表現を学習するための,新しい自己教師型パラダイムであるTimeMAEを提案する。
TimeMAEは双方向符号化方式を用いて時系列の豊富な文脈表現を学習する。
新たに挿入されたマスク埋め込みによって生じる不一致を解消するため、分離されたオートエンコーダアーキテクチャを設計する。
論文 参考訳（メタデータ） (2023-03-01T08:33:16Z) - FormerTime: Hierarchical Multi-Scale Representations for Multivariate
Time Series Classification [53.55504611255664]
formerTimeは、多変量時系列分類タスクの分類能力を改善する階層的表現モデルである。
1)時系列データから階層的なマルチスケール表現を学習し、(2)トランスフォーマーと畳み込みネットワークの強さを継承し、(3)自己維持メカニズムによって引き起こされる効率の課題に取り組む。
論文 参考訳（メタデータ） (2023-02-20T07:46:14Z) - TimesNet: Temporal 2D-Variation Modeling for General Time Series
Analysis [80.56913334060404]
時系列解析は、天気予報、異常検出、行動認識などの応用において非常に重要である。
従来の手法では、1D時系列から直接これを達成しようと試みていた。
複雑な経時的変化を、複数の経時的変化と経時的変化に明らかにする。
論文 参考訳（メタデータ） (2022-10-05T12:19:51Z) - Expressing Multivariate Time Series as Graphs with Time Series Attention
Transformer [14.172091921813065]
多変量時系列表現学習のための時系列注意変換器(TSAT)を提案する。
TSATを用いて、エッジ強化された動的グラフの観点から、時系列の時間情報と相互依存の両方を表現している。
TSATは、様々な予測地平線において、最先端の6つのベースライン法より明らかに優れていることを示す。
論文 参考訳（メタデータ） (2022-08-19T12:25:56Z) - Long-Range Transformers for Dynamic Spatiotemporal Forecasting [16.37467119526305]
グラフニューラルネットワークに基づく手法は、変数関係を明示的にモデル化する。
ロングランジ変換器は、この拡張シーケンスに沿って時間、値、情報の相互作用を一緒に学習することができる。
論文 参考訳（メタデータ） (2021-09-24T22:11:46Z) - Instance-wise Graph-based Framework for Multivariate Time Series
Forecasting [69.38716332931986]
我々は,異なる時刻スタンプにおける変数の相互依存性を利用するための,シンプルで効率的なインスタンス単位のグラフベースのフレームワークを提案する。
私たちのフレームワークのキーとなる考え方は、異なる変数の履歴時系列から予測すべき現在の時系列に情報を集約することです。
論文 参考訳（メタデータ） (2021-09-14T07:38:35Z) - Time Series Alignment with Global Invariances [14.632733235929926]
本稿では,時間的アライメントとともに特徴空間の潜在的大域的変換を学習することにより,特徴空間と時間的変動の両方を考慮した新しい距離を提案する。
この新たな幾何学の下で,時系列バリセンタの計算アルゴリズムを2つ提案する。
シミュレーションデータと実世界のデータの両方に対するアプローチの関心を概説し、最先端の手法と比較して、我々のアプローチの堅牢性を示す。
論文 参考訳（メタデータ） (2020-02-10T15:11:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。