論文の概要: Timer-XL: Long-Context Transformers for Unified Time Series Forecasting
- arxiv url: http://arxiv.org/abs/2410.04803v1
- Date: Mon, 07 Oct 2024 07:27:39 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-08 13:42:50.785158
- Title: Timer-XL: Long-Context Transformers for Unified Time Series Forecasting
- Title(参考訳): Timer-XL: 統合時系列予測のためのLong-Context Transformer
- Authors: Yong Liu, Guo Qin, Xiangdong Huang, Jianmin Wang, Mingsheng Long,
- Abstract要約: 我々は時系列の統一予測のための生成変換器Timer-XLを提案する。
Timer-XLは、統一されたアプローチにより、挑戦的な予測ベンチマークで最先端のパフォーマンスを達成する。
- 参考スコア(独自算出の注目度): 67.83502953961505
- License:
- Abstract: We present Timer-XL, a generative Transformer for unified time series forecasting. To uniformly predict 1D and 2D time series, we generalize next token prediction, predominantly adopted for causal generation of 1D sequences, to multivariate next token prediction. The proposed paradigm uniformly formulates various forecasting scenarios as a long-context generation problem. We opt for the generative Transformer, which can capture global-range and causal dependencies while providing contextual flexibility, to implement unified forecasting on univariate series characterized by non-stationarity, multivariate time series with complicated dynamics and correlations, and covariate-informed contexts that include both endogenous and exogenous variables. Technically, we propose a universal TimeAttention to facilitate generative Transformers on time series, which can effectively capture fine-grained intra- and inter-series dependencies of flattened time series tokens (patches) and is further strengthened by position embeddings in both temporal and variable dimensions. Timer-XL achieves state-of-the-art performance across challenging forecasting benchmarks through a unified approach. As a large time series model, it demonstrates notable model transferability by large-scale pre-training, as well as contextual flexibility in token lengths, positioning it as a one-for-all forecaster.
- Abstract(参考訳): 我々は時系列の統一予測のための生成変換器Timer-XLを提案する。
1Dおよび2D時系列を均一に予測するために、主に1Dシーケンスの因果生成に採用された次のトークン予測を一般化し、次のトークン予測を多変量化する。
提案手法は,長文生成問題として様々な予測シナリオを均一に定式化する。
非定常性, 複雑な動的および相関を持つ多変量時系列, 内因性および外因性の両方を含む共変量インフォームド・コンテクストを特徴とする一変量系列の統一予測を実装する。
本稿では,時系列における生成トランスフォーマーの高速化を目的としたTimeAttentionを提案する。これは,フラット化された時系列トークン(パッチ)の細粒度内および系列間依存性を効果的に把握し,時間次元と変動次元の両方に位置埋め込みを組み込むことにより,さらに強化される。
Timer-XLは、統一されたアプローチにより、挑戦的な予測ベンチマークで最先端のパフォーマンスを達成する。
大規模時系列モデルとして、大規模事前訓練による顕著なモデル転送性、およびトークン長の文脈的柔軟性を示し、一対一の予測器として位置づける。
関連論文リスト
- ForecastGrapher: Redefining Multivariate Time Series Forecasting with Graph Neural Networks [9.006068771300377]
本稿では、複雑な時間的ダイナミクスと系列間相関をキャプチャするフレームワークであるForecastGrapherを紹介する。
提案手法は,各系列の時間的変動を反映するカスタムノード埋め込みの生成,系列間の相関関係を符号化する適応的隣接行列の構築,および第3に,ノード特徴分布の多様化によるGNNの表現力の増大という,3つの重要なステップによって支えられている。
論文 参考訳(メタデータ) (2024-05-28T10:40:20Z) - Leveraging 2D Information for Long-term Time Series Forecasting with Vanilla Transformers [55.475142494272724]
時系列予測は、様々な領域における複雑な力学の理解と予測に不可欠である。
GridTSTは、革新的な多方向性の注意を用いた2つのアプローチの利点を組み合わせたモデルである。
このモデルは、さまざまな現実世界のデータセットに対して、常に最先端のパフォーマンスを提供する。
論文 参考訳(メタデータ) (2024-05-22T16:41:21Z) - TimeXer: Empowering Transformers for Time Series Forecasting with
Exogenous Variables [82.07393844821522]
内因性変数の予測を強化するために外部情報を利用する新しいフレームワークであるTimeXerを提案する。
TimeXerは、内在変数による時系列予測を大幅に改善し、12の実世界の予測ベンチマークで一貫した最先端のパフォーマンスを達成する。
論文 参考訳(メタデータ) (2024-02-29T11:54:35Z) - Unified Training of Universal Time Series Forecasting Transformers [104.56318980466742]
マスク型ユニバーサル時系列予測変換器(モイライ)について述べる。
Moiraiは、新たに導入された大規模オープンタイムシリーズアーカイブ(LOTSA)で訓練されており、9つのドメインで27億以上の観測が行われた。
Moiraiは、フルショットモデルと比較してゼロショットの予測器として、競争力や優れたパフォーマンスを達成する。
論文 参考訳(メタデータ) (2024-02-04T20:00:45Z) - Addressing Distribution Shift in Time Series Forecasting with Instance
Normalization Flows [36.956983415564274]
時系列予測のための一般化された定式化を提案する。
このような定式化を二段階最適化問題に定式化する。
提案手法は, 合成データと実世界のデータの両方において, 最先端のベースラインを一貫して上回っている。
論文 参考訳(メタデータ) (2024-01-30T06:35:52Z) - Stecformer: Spatio-temporal Encoding Cascaded Transformer for
Multivariate Long-term Time Series Forecasting [11.021398675773055]
本稿では,特徴抽出とターゲット予測の観点から,問題の完全な解決法を提案する。
抽出のために,半適応グラフを含む効率的な時間的符号化抽出器を設計し,十分な時間的情報を取得する。
予測のために、異なる間隔間の相関を強化するためにカスケードデ予測器(CDP)を提案する。
論文 参考訳(メタデータ) (2023-05-25T13:00:46Z) - Generative Time Series Forecasting with Diffusion, Denoise, and
Disentanglement [51.55157852647306]
時系列予測は多くのアプリケーションにおいて非常に重要な課題である。
実世界の時系列データが短時間に記録されることが一般的であり、これはディープモデルと限られたノイズのある時系列との間に大きなギャップをもたらす。
本稿では,生成モデルを用いた時系列予測問題に対処し,拡散,雑音,ゆがみを備えた双方向変分自動エンコーダを提案する。
論文 参考訳(メタデータ) (2023-01-08T12:20:46Z) - W-Transformers : A Wavelet-based Transformer Framework for Univariate
Time Series Forecasting [7.075125892721573]
我々はウェーブレットベースのトランスフォーマーエンコーダアーキテクチャを用いて,非定常時系列のトランスフォーマーモデルを構築した。
各種ドメインから公開されているベンチマーク時系列データセットについて,本フレームワークの評価を行った。
論文 参考訳(メタデータ) (2022-09-08T17:39:38Z) - Synergetic Learning of Heterogeneous Temporal Sequences for
Multi-Horizon Probabilistic Forecasting [48.8617204809538]
本稿では,新しい条件生成モデルである変分相乗型マルチホライゾンネットワーク(VSMHN)を提案する。
不均一なシーケンス間で複雑な相関関係を学習するために、深部プロセスモデルと変動的リカレントニューラルネットワークの進歩を組み合わせるために、調整されたエンコーダが考案された。
我々のモデルは変動予測を用いて効果的に訓練でき、モンテカルロシミュレーションを用いて予測を生成することができる。
論文 参考訳(メタデータ) (2021-01-31T11:00:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。