論文の概要: HDT: Hierarchical Discrete Transformer for Multivariate Time Series Forecasting

• arxiv url: http://arxiv.org/abs/2502.08302v1
• Date: Wed, 12 Feb 2025 11:03:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-13 13:49:46.166527
• Title: HDT: Hierarchical Discrete Transformer for Multivariate Time Series Forecasting
• Title（参考訳）: HDT:多変量時系列予測のための階層型離散変換器
• Authors: Shibo Feng, Peilin Zhao, Liu Liu, Pengcheng Wu, Zhiqi Shen,
• Abstract要約: 本稿では, ベクトル量子化手法を用いて, 時系列を離散トークン表現にモデル化するベクトル量子化フレームワークを提案する。 長期予測における生成モデルの限界に対処するため,階層型離散変換器を提案する。 このモデルでは、ターゲットの低レベルにおける離散的長期的傾向を捉え、この傾向を条件として高レベルにおけるターゲットの離散的表現を生成する。
• 参考スコア（独自算出の注目度）: 30.099113310894307
• License:
• Abstract: Generative models have gained significant attention in multivariate time series forecasting (MTS), particularly due to their ability to generate high-fidelity samples. Forecasting the probability distribution of multivariate time series is a challenging yet practical task. Although some recent attempts have been made to handle this task, two major challenges persist: 1) some existing generative methods underperform in high-dimensional multivariate time series forecasting, which is hard to scale to higher dimensions; 2) the inherent high-dimensional multivariate attributes constrain the forecasting lengths of existing generative models. In this paper, we point out that discrete token representations can model high-dimensional MTS with faster inference time, and forecasting the target with long-term trends of itself can extend the forecasting length with high accuracy. Motivated by this, we propose a vector quantized framework called Hierarchical Discrete Transformer (HDT) that models time series into discrete token representations with l2 normalization enhanced vector quantized strategy, in which we transform the MTS forecasting into discrete tokens generation. To address the limitations of generative models in long-term forecasting, we propose a hierarchical discrete Transformer. This model captures the discrete long-term trend of the target at the low level and leverages this trend as a condition to generate the discrete representation of the target at the high level that introduces the features of the target itself to extend the forecasting length in high-dimensional MTS. Extensive experiments on five popular MTS datasets verify the effectiveness of our proposed method.
• Abstract（参考訳）: 生成モデルは多変量時系列予測(MTS)において特に高忠実度サンプルを生成する能力から大きな注目を集めている。 多変量時系列の確率分布を予測することは難しいが実用的課題である。 この課題に対処するための最近の試みはいくつかあるが、2つの大きな課題が続いている。 1) 高次元へのスケーリングが困難である高次元多変量時系列予測において、いくつかの既存の生成手法が性能を低下させる。 2) 固有高次元多変量属性は, 既存の生成モデルの予測長を制約する。 本稿では,離散トークン表現がより高速な推測時間で高次元MTSをモデル化できる点を指摘する。 そこで我々は,階層型離散変換器 (Hyerarchical Discrete Transformer, HDT) と呼ばれるベクトル量子化フレームワークを提案する。 長期予測における生成モデルの限界に対処するため,階層型離散変換器を提案する。 このモデルでは,ターゲットの低レベルにおける離散的長期的傾向を捉え,その傾向を高レベルにおけるターゲットの離散的表現を生成する条件として活用する。 提案手法の有効性を検証するため,5つのMSSデータセットの大規模な実験を行った。

関連論文リスト

• Timer-XL: Long-Context Transformers for Unified Time Series Forecasting [67.83502953961505]
  我々は時系列の統一予測のための生成変換器Timer-XLを提案する。 Timer-XLは、統一されたアプローチにより、挑戦的な予測ベンチマークで最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2024-10-07T07:27:39Z)
• PRformer: Pyramidal Recurrent Transformer for Multivariate Time Series Forecasting [82.03373838627606]
  Transformerアーキテクチャにおける自己保持機構は、時系列予測において時間順序を符号化するために位置埋め込みを必要とする。 この位置埋め込みへの依存は、トランスフォーマーの時間的シーケンスを効果的に表現する能力を制限している、と我々は主張する。 本稿では,Prepreを標準的なTransformerエンコーダと統合し,様々な実世界のデータセット上での最先端性能を示す。
  論文  参考訳（メタデータ） (2024-08-20T01:56:07Z)
• Robust Multivariate Time Series Forecasting against Intra- and Inter-Series Transitional Shift [40.734564394464556]
  本稿では,時系列内/時系列間の相関関係を統合的に把握し,時変遷移分布をモデル化するための統一確率グラフモデルを提案する。 6つの高定常MTSデータセットに対する広範囲な実験により、JointPGMの有効性と効率を検証した。
  論文  参考訳（メタデータ） (2024-07-18T06:16:03Z)
• Considering Nonstationary within Multivariate Time Series with Variational Hierarchical Transformer for Forecasting [12.793705636683402]
  MTS内の非定常性と固有特性を考慮した強力な階層的確率的生成モジュールを開発した。 次に、階層時間系列変分変換器(HTV-Trans)という、明確に定義された変動生成動的モデルに対する変換器と組み合わせる。 HTV-Transは強力な確率モデルであり、MTSの表現表現を学習し、予測タスクに適用する。
  論文  参考訳（メタデータ） (2024-03-08T16:04:36Z)
• A Poisson-Gamma Dynamic Factor Model with Time-Varying Transition Dynamics [51.147876395589925]
  非定常PGDSは、基礎となる遷移行列が時間とともに進化できるように提案されている。 後続シミュレーションを行うために, 完全共役かつ効率的なギブスサンプリング装置を開発した。 実験により,提案した非定常PGDSは,関連するモデルと比較して予測性能が向上することを示した。
  論文  参考訳（メタデータ） (2024-02-26T04:39:01Z)
• Unified Training of Universal Time Series Forecasting Transformers [104.56318980466742]
  マスク型ユニバーサル時系列予測変換器(モイライ)について述べる。 Moiraiは、新たに導入された大規模オープンタイムシリーズアーカイブ(LOTSA)で訓練されており、9つのドメインで27億以上の観測が行われた。 Moiraiは、フルショットモデルと比較してゼロショットの予測器として、競争力や優れたパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2024-02-04T20:00:45Z)
• Timer: Generative Pre-trained Transformers Are Large Time Series Models [83.03091523806668]
  本稿では,大規模時系列モデル(LTSM)の早期開発を目的とした。 事前トレーニング中に、最大10億のタイムポイントを持つ大規模なデータセットをキュレートします。 多様なアプリケーションのニーズを満たすため,予測,計算,時系列の異常検出を統一的な生成タスクに変換する。
  論文  参考訳（メタデータ） (2024-02-04T06:55:55Z)
• Multi-scale Transformer Pyramid Networks for Multivariate Time Series Forecasting [8.739572744117634]
  短時間の時間依存性をキャプチャする次元不変な埋め込み手法を導入する。 本稿では,マルチスケールトランスフォーマーピラミッドネットワーク(MTPNet)を提案する。
  論文  参考訳（メタデータ） (2023-08-23T06:40:05Z)
• Multi-scale Attention Flow for Probabilistic Time Series Forecasting [68.20798558048678]
  マルチスケールアテンション正規化フロー(MANF)と呼ばれる非自己回帰型ディープラーニングモデルを提案する。 我々のモデルは累積誤差の影響を回避し、時間の複雑さを増大させない。 本モデルは,多くの多変量データセット上での最先端性能を実現する。
  論文  参考訳（メタデータ） (2022-05-16T07:53:42Z)
• Dynamic Gaussian Mixture based Deep Generative Model For Robust Forecasting on Sparse Multivariate Time Series [43.86737761236125]
  本研究では,孤立した特徴表現ではなく,潜在クラスタの遷移を追跡する新しい生成モデルを提案する。 新たに設計された動的ガウス混合分布が特徴であり、クラスタリング構造のダイナミクスを捉えている。 帰納的解析を可能にするために構造化推論ネットワークも設計されている。
  論文  参考訳（メタデータ） (2021-03-03T04:10:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。