論文の概要: Timer-XL: Long-Context Transformers for Unified Time Series Forecasting

• arxiv url: http://arxiv.org/abs/2410.04803v4
• Date: Sun, 02 Mar 2025 11:22:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-04 16:12:10.464427
• Title: Timer-XL: Long-Context Transformers for Unified Time Series Forecasting
• Title（参考訳）: Timer-XL: 統合時系列予測のためのLong-Context Transformer
• Authors: Yong Liu, Guo Qin, Xiangdong Huang, Jianmin Wang, Mingsheng Long,
• Abstract要約: 我々は時系列の統一予測のための因果変換器Timer-XLを提案する。 大規模な事前トレーニングに基づいて、Timer-XLは最先端のゼロショット性能を達成する。
• 参考スコア（独自算出の注目度）: 67.83502953961505
• License:
• Abstract: We present Timer-XL, a causal Transformer for unified time series forecasting. To uniformly predict multidimensional time series, we generalize next token prediction, predominantly adopted for 1D token sequences, to multivariate next token prediction. The paradigm formulates various forecasting tasks as a long-context prediction problem. We opt for decoder-only Transformers that capture causal dependencies from varying-length contexts for unified forecasting, making predictions on non-stationary univariate time series, multivariate series with complicated dynamics and correlations, as well as covariate-informed contexts that include exogenous variables. Technically, we propose a universal TimeAttention to capture fine-grained intra- and inter-series dependencies of flattened time series tokens (patches), which is further enhanced by deft position embedding for temporal causality and variable equivalence. Timer-XL achieves state-of-the-art performance across task-specific forecasting benchmarks through a unified approach. Based on large-scale pre-training, Timer-XL achieves state-of-the-art zero-shot performance, making it a promising architecture for pre-trained time series models. Code is available at this repository: https://github.com/thuml/Timer-XL.
• Abstract（参考訳）: 我々は時系列の統一予測のための因果変換器Timer-XLを提案する。 多次元時系列を均一に予測するために、1次元のトークン列に主に採用されている次のトークン予測を一般化し、次のトークン予測を多変量化する。 このパラダイムは、長文予測問題として様々な予測タスクを定式化する。 非定常な単変量時系列、複雑なダイナミクスと相関を持つ多変量系列、および外因性変数を含む共変量インフォームドコンテキストを予測し、様々な長さのコンテキストから因果依存性を捕捉するデコーダのみの変換器を選択する。 技術的には,時間的因果関係と変数同値性のためのデフト位置埋め込みにより,フラット化された時系列トークン(パッチ)の細粒度内および列間依存関係を捕捉する汎用TimeAttentionを提案する。 Timer-XLは、タスク固有の予測ベンチマークを統一したアプローチで、最先端のパフォーマンスを達成する。 大規模な事前トレーニングに基づいて、Timer-XLは最先端のゼロショット性能を実現し、事前トレーニングされた時系列モデルのアーキテクチャとして有望である。 コードは、このリポジトリで入手できる。

関連論文リスト

• PRformer: Pyramidal Recurrent Transformer for Multivariate Time Series Forecasting [82.03373838627606]
  Transformerアーキテクチャにおける自己保持機構は、時系列予測において時間順序を符号化するために位置埋め込みを必要とする。 この位置埋め込みへの依存は、トランスフォーマーの時間的シーケンスを効果的に表現する能力を制限している、と我々は主張する。 本稿では,Prepreを標準的なTransformerエンコーダと統合し,様々な実世界のデータセット上での最先端性能を示す。
  論文  参考訳（メタデータ） (2024-08-20T01:56:07Z)
• TimeXer: Empowering Transformers for Time Series Forecasting with Exogenous Variables [75.83318701911274]
  TimeXerは外部情報を取り込み、内因性変数の予測を強化する。 TimeXerは、12の現実世界の予測ベンチマークで一貫した最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2024-02-29T11:54:35Z)
• Unified Training of Universal Time Series Forecasting Transformers [104.56318980466742]
  マスク型ユニバーサル時系列予測変換器(モイライ)について述べる。 Moiraiは、新たに導入された大規模オープンタイムシリーズアーカイブ(LOTSA)で訓練されており、9つのドメインで27億以上の観測が行われた。 Moiraiは、フルショットモデルと比較してゼロショットの予測器として、競争力や優れたパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2024-02-04T20:00:45Z)
• Timer: Generative Pre-trained Transformers Are Large Time Series Models [83.03091523806668]
  本稿では,大規模時系列モデル(LTSM)の早期開発を目的とした。 事前トレーニング中に、最大10億のタイムポイントを持つ大規模なデータセットをキュレートします。 多様なアプリケーションのニーズを満たすため,予測,計算,時系列の異常検出を統一的な生成タスクに変換する。
  論文  参考訳（メタデータ） (2024-02-04T06:55:55Z)
• MPPN: Multi-Resolution Periodic Pattern Network For Long-Term Time Series Forecasting [19.573651104129443]
  長期の時系列予測は、様々な現実のシナリオにおいて重要な役割を果たす。 近年の時系列予測の深層学習手法は,分解法やサンプリング法により時系列の複雑なパターンを捉える傾向にある。 本稿では,MPPN(Multi- resolution Periodic Pattern Network)という,長期連続予測のための新しいディープラーニングネットワークアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2023-06-12T07:00:37Z)
• Stecformer: Spatio-temporal Encoding Cascaded Transformer for Multivariate Long-term Time Series Forecasting [11.021398675773055]
  本稿では,特徴抽出とターゲット予測の観点から,問題の完全な解決法を提案する。 抽出のために,半適応グラフを含む効率的な時間的符号化抽出器を設計し,十分な時間的情報を取得する。 予測のために、異なる間隔間の相関を強化するためにカスケードデ予測器(CDP)を提案する。
  論文  参考訳（メタデータ） (2023-05-25T13:00:46Z)
• Generative Time Series Forecasting with Diffusion, Denoise, and Disentanglement [51.55157852647306]
  時系列予測は多くのアプリケーションにおいて非常に重要な課題である。 実世界の時系列データが短時間に記録されることが一般的であり、これはディープモデルと限られたノイズのある時系列との間に大きなギャップをもたらす。 本稿では,生成モデルを用いた時系列予測問題に対処し,拡散,雑音,ゆがみを備えた双方向変分自動エンコーダを提案する。
  論文  参考訳（メタデータ） (2023-01-08T12:20:46Z)
• W-Transformers : A Wavelet-based Transformer Framework for Univariate Time Series Forecasting [7.075125892721573]
  我々はウェーブレットベースのトランスフォーマーエンコーダアーキテクチャを用いて,非定常時系列のトランスフォーマーモデルを構築した。 各種ドメインから公開されているベンチマーク時系列データセットについて,本フレームワークの評価を行った。
  論文  参考訳（メタデータ） (2022-09-08T17:39:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。