論文の概要: HiMTM: Hierarchical Multi-Scale Masked Time Series Modeling for Long-Term Forecasting

• arxiv url: http://arxiv.org/abs/2401.05012v1
• Date: Wed, 10 Jan 2024 09:00:03 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-11 15:05:31.490092
• Title: HiMTM: Hierarchical Multi-Scale Masked Time Series Modeling for Long-Term Forecasting
• Title（参考訳）: HiMTM: 長期予測のための階層型マルチスケールマスキング時系列モデリング
• Authors: Shubao Zhao, Ming Jin, Zhaoxiang Hou, Chengyi Yang, Zengxiang Li, Qingsong Wen, Yi Wang
• Abstract要約: HiMTMは長期予測のために設計された階層型マルチスケールマスク時系列モデリング手法である。 1)階層型マルチスケールトランスフォーマー(HMT)と,(2)デカップリングエンコーダデコーダデコーダデコーダデコーダデコーダデコーダデコーダデコーダデコーダデコーダデコーダデコーダデコーダデコーダデコーダデコーダデコーダデコーダデコーダデコーダデコーダデコーダデコーダデコーダデコンダデコンダデコーダデコンダデコンダデコンダデコンダデコンダデコンダデコンダデコンダナデコンダデコンダナデコンダデコンダダデコンダデコンダデコンダデコンダデコンダデコンダダデコンダデコンダデコンダデコンダデコンダ(DED)デコンダデコンダデコンダ(DED)デコーダ(DED)デコンダ(DED)デコンダデ 我々は、7つの主流データセットに対する広範な実験を行い、現代の自己教師とエンドツーエンドの学習方法に対して、HiMTMが明らかなアドバンテージを持っていることを証明した。
• 参考スコア（独自算出の注目度）: 18.59792043113792
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Time series forecasting is crucial and challenging in the real world. The recent surge in interest regarding time series foundation models, which cater to a diverse array of downstream tasks, is noteworthy. However, existing methods often overlook the multi-scale nature of time series, an aspect crucial for precise forecasting. To bridge this gap, we propose HiMTM, a hierarchical multi-scale masked time series modeling method designed for long-term forecasting. Specifically, it comprises four integral components: (1) hierarchical multi-scale transformer (HMT) to capture temporal information at different scales; (2) decoupled encoder-decoder (DED) forces the encoder to focus on feature extraction, while the decoder to focus on pretext tasks; (3) multi-scale masked reconstruction (MMR) provides multi-stage supervision signals for pre-training; (4) cross-scale attention fine-tuning (CSA-FT) to capture dependencies between different scales for forecasting. Collectively, these components enhance multi-scale feature extraction capabilities in masked time series modeling and contribute to improved prediction accuracy. We conduct extensive experiments on 7 mainstream datasets to prove that HiMTM has obvious advantages over contemporary self-supervised and end-to-end learning methods. The effectiveness of HiMTM is further showcased by its application in the industry of natural gas demand forecasting.
• Abstract（参考訳）: 実世界では、時系列予測は重要かつ困難である。 様々な下流タスクに対応する時系列基礎モデルに関する最近の関心の高まりは注目に値する。 しかし、既存の手法はしばしば、正確な予測に不可欠な側面である時系列のマルチスケールの性質を見落としている。 このギャップを埋めるため,長期予測のための階層型マルチスケールマスク時系列モデリング手法であるHiMTMを提案する。 Specifically, it comprises four integral components: (1) hierarchical multi-scale transformer (HMT) to capture temporal information at different scales; (2) decoupled encoder-decoder (DED) forces the encoder to focus on feature extraction, while the decoder to focus on pretext tasks; (3) multi-scale masked reconstruction (MMR) provides multi-stage supervision signals for pre-training; (4) cross-scale attention fine-tuning (CSA-FT) to capture dependencies between different scales for forecasting. 総じて、これらのコンポーネントはマスキング時系列モデリングにおけるマルチスケール特徴抽出機能を強化し、予測精度の向上に寄与する。 我々は、7つの主流データセットに対する広範な実験を行い、現代の自己教師とエンドツーエンドの学習方法に対して、HiMTMが明らかに有利であることを示す。 HiMTMの有効性は、天然ガス需要予測の産業への応用によってさらに明らかにされている。

関連論文リスト

• xLSTM-Mixer: Multivariate Time Series Forecasting by Mixing via Scalar Memories [20.773694998061707]
  時系列データは様々な分野に分散しており、堅牢で正確な予測モデルの開発が必要である。 我々は,時間的シーケンス,共同時間可変情報,堅牢な予測のための複数の視点を効果的に統合するモデルであるxLSTM-Mixerを紹介する。 我々は,最近の最先端手法と比較して,xLSTM-Mixerの長期予測性能が優れていることを示した。
  論文  参考訳（メタデータ） (2024-10-22T11:59:36Z)
• UmambaTSF: A U-shaped Multi-Scale Long-Term Time Series Forecasting Method Using Mamba [7.594115034632109]
  本稿では,新しい時系列予測フレームワークであるUmambaTSFを提案する。 U字型エンコーダ・デコーダ多層パーセプトロン(MLP)のマルチスケール特徴抽出機能とMambaのロングシーケンス表現を統合する。 UmambaTSFは、広く使用されているベンチマークデータセットで最先端のパフォーマンスと優れた汎用性を達成する。
  論文  参考訳（メタデータ） (2024-10-15T04:56:43Z)
• MGCP: A Multi-Grained Correlation based Prediction Network for Multivariate Time Series [54.91026286579748]
  本稿では,マルチグラインド相関に基づく予測ネットワークを提案する。 予測性能を高めるために3段階の相関を同時に検討する。 注意機構に基づく予測器と条件判別器を用いて、粗い粒度の予測結果を最適化する。
  論文  参考訳（メタデータ） (2024-05-30T03:32:44Z)
• Frequency-domain MLPs are More Effective Learners in Time Series Forecasting [67.60443290781988]
  時系列予測は、金融、交通、エネルギー、医療など、さまざまな産業領域において重要な役割を果たしてきた。 最多ベースの予測手法は、ポイントワイドマッピングと情報のボトルネックに悩まされる。 本稿では、時系列予測のための周波数領域上に構築された、シンプルで効果的なアーキテクチャであるFreTSを提案する。
  論文  参考訳（メタデータ） (2023-11-10T17:05:13Z)
• Time-LLM: Time Series Forecasting by Reprogramming Large Language Models [110.20279343734548]
  時系列予測は多くの実世界の力学系において重要な意味を持つ。 時系列予測のための大規模言語モデルを再利用するための再プログラミングフレームワークであるTime-LLMを提案する。 Time-LLMは、最先端の特殊な予測モデルよりも優れた、強力な時系列学習者である。
  論文  参考訳（メタデータ） (2023-10-03T01:31:25Z)
• FormerTime: Hierarchical Multi-Scale Representations for Multivariate Time Series Classification [53.55504611255664]
  formerTimeは、多変量時系列分類タスクの分類能力を改善する階層的表現モデルである。 1)時系列データから階層的なマルチスケール表現を学習し、(2)トランスフォーマーと畳み込みネットワークの強さを継承し、(3)自己維持メカニズムによって引き起こされる効率の課題に取り組む。
  論文  参考訳（メタデータ） (2023-02-20T07:46:14Z)
• MTS-Mixers: Multivariate Time Series Forecasting via Factorized Temporal and Channel Mixing [18.058617044421293]
  本稿では,時系列予測の性能に対する注意機構の寄与と欠陥について検討する。 MTS-Mixersを提案する。これは2つの分解されたモジュールを用いて時間的およびチャネル的依存関係をキャプチャする。 いくつかの実世界のデータセットによる実験結果から、MTS-Mixersは既存のTransformerベースのモデルよりも高い効率で性能を発揮することが示された。
  論文  参考訳（メタデータ） (2023-02-09T08:52:49Z)
• Ti-MAE: Self-Supervised Masked Time Series Autoencoders [16.98069693152999]
  本稿では,Ti-MAEという新しいフレームワークを提案する。 Ti-MAEは、埋め込み時系列データをランダムにマスクアウトし、オートエンコーダを学び、ポイントレベルでそれらを再構築する。 いくつかの公開実世界のデータセットの実験では、マスク付きオートエンコーディングのフレームワークが生データから直接強力な表現を学習できることが示されている。
  論文  参考訳（メタデータ） (2023-01-21T03:20:23Z)
• Generative Time Series Forecasting with Diffusion, Denoise, and Disentanglement [51.55157852647306]
  時系列予測は多くのアプリケーションにおいて非常に重要な課題である。 実世界の時系列データが短時間に記録されることが一般的であり、これはディープモデルと限られたノイズのある時系列との間に大きなギャップをもたらす。 本稿では,生成モデルを用いた時系列予測問題に対処し,拡散,雑音,ゆがみを備えた双方向変分自動エンコーダを提案する。
  論文  参考訳（メタデータ） (2023-01-08T12:20:46Z)
• An Unsupervised Short- and Long-Term Mask Representation for Multivariate Time Series Anomaly Detection [2.387411589813086]
  本稿では,教師なし短時間・長期マスク表現学習(SLMR)に基づく異常検出手法を提案する。 実験により,本手法の性能は,実世界の3つのデータセットにおいて,他の最先端モデルよりも優れていることが示された。
  論文  参考訳（メタデータ） (2022-08-19T09:34:11Z)
• Multi-scale Attention Flow for Probabilistic Time Series Forecasting [68.20798558048678]
  マルチスケールアテンション正規化フロー(MANF)と呼ばれる非自己回帰型ディープラーニングモデルを提案する。 我々のモデルは累積誤差の影響を回避し、時間の複雑さを増大させない。 本モデルは,多くの多変量データセット上での最先端性能を実現する。
  論文  参考訳（メタデータ） (2022-05-16T07:53:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。