論文の概要: Timer-XL: Long-Context Transformers for Unified Time Series Forecasting

• arxiv url: http://arxiv.org/abs/2410.04803v3
• Date: Wed, 18 Dec 2024 08:12:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-19 16:47:02.453287
• Title: Timer-XL: Long-Context Transformers for Unified Time Series Forecasting
• Title（参考訳）: Timer-XL: 統合時系列予測のためのLong-Context Transformer
• Authors: Yong Liu, Guo Qin, Xiangdong Huang, Jianmin Wang, Mingsheng Long,
• Abstract要約: 我々は時系列の統一予測のための生成変換器Timer-XLを提案する。 Timer-XLは、統一されたアプローチにより、挑戦的な予測ベンチマークで最先端のパフォーマンスを達成する。
• 参考スコア（独自算出の注目度）: 67.83502953961505
• License:
• Abstract: We present Timer-XL, a generative Transformer for unified time series forecasting. To uniformly predict 1D and 2D time series, we generalize next token prediction, predominantly adopted for causal generation of 1D sequences, to multivariate next token prediction. The proposed paradigm uniformly formulates various forecasting scenarios as a long-context generation problem. We opt for the generative Transformer, which can capture global-range and causal dependencies while providing contextual flexibility, to implement unified forecasting on univariate series characterized by non-stationarity, multivariate time series with complicated dynamics and correlations, and covariate-informed contexts that include both endogenous and exogenous time series. Technically, we propose a universal TimeAttention to facilitate generative Transformers on multiple time series, which can effectively capture fine-grained intra- and inter-series dependencies of flattened time series tokens (patches), and is further enhanced by deftly designed position embeddings for the temporal and variable dimensions. Timer-XL achieves state-of-the-art performance across challenging forecasting benchmarks through a unified approach. Based on large-scale pre-training, Timer-XL also demonstrates notable zero-shot performance, making it a promising architecture for large time series models.
• Abstract（参考訳）: 我々は時系列の統一予測のための生成変換器Timer-XLを提案する。 1Dおよび2D時系列を均一に予測するために、主に1Dシーケンスの因果生成に採用された次のトークン予測を一般化し、次のトークン予測を多変量化する。 提案手法は,長文生成問題として様々な予測シナリオを均一に定式化する。 非定常性, 複雑な動的および相関を持つ多変量時系列, 内因性および外因性両方の時系列を含む共変量インフォームド・コンテクストを特徴とする一変量系列の統一予測を実装する。 提案手法は,複数時系列における生成型トランスフォーマーの高速化を目的として,フラット化された時系列トークン(パッチ)の細粒度内および直列間依存性を効果的に把握し,時間的および変動的な次元に対する絶対的に設計された位置埋め込みによってさらに拡張する。 Timer-XLは、統一されたアプローチにより、挑戦的な予測ベンチマークで最先端のパフォーマンスを達成する。 大規模な事前トレーニングに基づいて、Timer-XLは目立ったゼロショット性能を示し、大規模時系列モデルのアーキテクチャとして有望である。

関連論文リスト

• LSEAttention is All You Need for Time Series Forecasting [0.0]
  トランスフォーマーベースのアーキテクチャは自然言語処理とコンピュータビジョンにおいて顕著な成功を収めた。 変圧器モデルでよく見られるエントロピー崩壊とトレーニング不安定性に対処するアプローチである textbfLSEAttention を導入する。
  論文  参考訳（メタデータ） (2024-10-31T09:09:39Z)
• PRformer: Pyramidal Recurrent Transformer for Multivariate Time Series Forecasting [82.03373838627606]
  Transformerアーキテクチャにおける自己保持機構は、時系列予測において時間順序を符号化するために位置埋め込みを必要とする。 この位置埋め込みへの依存は、トランスフォーマーの時間的シーケンスを効果的に表現する能力を制限している、と我々は主張する。 本稿では,Prepreを標準的なTransformerエンコーダと統合し,様々な実世界のデータセット上での最先端性能を示す。
  論文  参考訳（メタデータ） (2024-08-20T01:56:07Z)
• TimeXer: Empowering Transformers for Time Series Forecasting with Exogenous Variables [75.83318701911274]
  TimeXerは外部情報を取り込み、内因性変数の予測を強化する。 TimeXerは、12の現実世界の予測ベンチマークで一貫した最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2024-02-29T11:54:35Z)
• Unified Training of Universal Time Series Forecasting Transformers [104.56318980466742]
  マスク型ユニバーサル時系列予測変換器(モイライ)について述べる。 Moiraiは、新たに導入された大規模オープンタイムシリーズアーカイブ(LOTSA)で訓練されており、9つのドメインで27億以上の観測が行われた。 Moiraiは、フルショットモデルと比較してゼロショットの予測器として、競争力や優れたパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2024-02-04T20:00:45Z)
• Stecformer: Spatio-temporal Encoding Cascaded Transformer for Multivariate Long-term Time Series Forecasting [11.021398675773055]
  本稿では,特徴抽出とターゲット予測の観点から,問題の完全な解決法を提案する。 抽出のために,半適応グラフを含む効率的な時間的符号化抽出器を設計し,十分な時間的情報を取得する。 予測のために、異なる間隔間の相関を強化するためにカスケードデ予測器(CDP)を提案する。
  論文  参考訳（メタデータ） (2023-05-25T13:00:46Z)
• Generative Time Series Forecasting with Diffusion, Denoise, and Disentanglement [51.55157852647306]
  時系列予測は多くのアプリケーションにおいて非常に重要な課題である。 実世界の時系列データが短時間に記録されることが一般的であり、これはディープモデルと限られたノイズのある時系列との間に大きなギャップをもたらす。 本稿では,生成モデルを用いた時系列予測問題に対処し,拡散,雑音,ゆがみを備えた双方向変分自動エンコーダを提案する。
  論文  参考訳（メタデータ） (2023-01-08T12:20:46Z)
• W-Transformers : A Wavelet-based Transformer Framework for Univariate Time Series Forecasting [7.075125892721573]
  我々はウェーブレットベースのトランスフォーマーエンコーダアーキテクチャを用いて,非定常時系列のトランスフォーマーモデルを構築した。 各種ドメインから公開されているベンチマーク時系列データセットについて,本フレームワークの評価を行った。
  論文  参考訳（メタデータ） (2022-09-08T17:39:38Z)
• Synergetic Learning of Heterogeneous Temporal Sequences for Multi-Horizon Probabilistic Forecasting [48.8617204809538]
  本稿では,新しい条件生成モデルである変分相乗型マルチホライゾンネットワーク(VSMHN)を提案する。 不均一なシーケンス間で複雑な相関関係を学習するために、深部プロセスモデルと変動的リカレントニューラルネットワークの進歩を組み合わせるために、調整されたエンコーダが考案された。 我々のモデルは変動予測を用いて効果的に訓練でき、モンテカルロシミュレーションを用いて予測を生成することができる。
  論文  参考訳（メタデータ） (2021-01-31T11:00:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。