論文の概要: HiMTM: Hierarchical Multi-Scale Masked Time Series Modeling with Self-Distillation for Long-Term Forecasting

• arxiv url: http://arxiv.org/abs/2401.05012v2
• Date: Thu, 1 Aug 2024 09:18:17 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-02 14:34:15.722833
• Title: HiMTM: Hierarchical Multi-Scale Masked Time Series Modeling with Self-Distillation for Long-Term Forecasting
• Title（参考訳）: HiMTM:長期予測のための自己蒸留による階層型マルチスケールマスキング時系列モデリング
• Authors: Shubao Zhao, Ming Jin, Zhaoxiang Hou, Chengyi Yang, Zengxiang Li, Qingsong Wen, Yi Wang,
• Abstract要約: HiMTMは長期予測のための自己蒸留を用いた階層型マルチスケールマスク時系列モデリングである。 HiMTMは,(1)階層型マルチスケールトランスフォーマー (HMT) と,2) エンコーダを特徴抽出へ向ける分離エンコーダデコーダデコーダデコーダデコーダデコーダデコーダデコーダデコーダデコーダデコーダデコーダデコーダデコーダデコーダデコーダデコーダデコーダデコーダデコーダデコーダデコーダデコーダデコーダデコーダデコーダデコーダデコーダデコーダデコーダデコーダデコーダデコーダデコーダ(DED)デコンダデコーダデコンダデコーダデコーダデコーダデコンダデコーダ(DED) の4つのキーコンポーネントを統合する。 7つの主流データセットの実験によると、HiMTMは最先端の自己教師とエンドツーエンドの学習手法を3.16-68.54%上回っている。
• 参考スコア（独自算出の注目度）: 17.70984737213973
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Time series forecasting is a critical and challenging task in practical application. Recent advancements in pre-trained foundation models for time series forecasting have gained significant interest. However, current methods often overlook the multi-scale nature of time series, which is essential for accurate forecasting. To address this, we propose HiMTM, a hierarchical multi-scale masked time series modeling with self-distillation for long-term forecasting. HiMTM integrates four key components: (1) hierarchical multi-scale transformer (HMT) to capture temporal information at different scales; (2) decoupled encoder-decoder (DED) that directs the encoder towards feature extraction while the decoder focuses on pretext tasks; (3) hierarchical self-distillation (HSD) for multi-stage feature-level supervision signals during pre-training; and (4) cross-scale attention fine-tuning (CSA-FT) to capture dependencies between different scales for downstream tasks. These components collectively enhance multi-scale feature extraction in masked time series modeling, improving forecasting accuracy. Extensive experiments on seven mainstream datasets show that HiMTM surpasses state-of-the-art self-supervised and end-to-end learning methods by a considerable margin of 3.16-68.54\%. Additionally, HiMTM outperforms the latest robust self-supervised learning method, PatchTST, in cross-domain forecasting by a significant margin of 2.3\%. The effectiveness of HiMTM is further demonstrated through its application in natural gas demand forecasting.
• Abstract（参考訳）: 時系列予測は実践的応用において重要かつ困難な課題である。 時系列予測のための事前学習基礎モデルの最近の進歩は大きな関心を集めている。 しかし、現在の手法はしばしば、正確な予測に不可欠である時系列のマルチスケールの性質を見落としている。 そこで本稿では,長期予測のための自己蒸留を用いた階層型マルチスケールマスク時系列モデリングであるHiMTMを提案する。 HiMTMは,(1)階層型マルチスケールトランスフォーマー (HMT) と,(2)エンコーダを特徴抽出に向ける分離エンコーダデコーダデコーダデコーダデコーダデコーダデコーダデコーダデコーダデコーダデコーダデコーダ(DED)と,(3) 事前訓練中の多段階特徴レベルの監視信号に対する階層型自己蒸留 (HSD) と,(4) 下流タスクの異なるスケール間の依存性を捉えるためのクロススケールアテンション微調整 (CSA-FT) の4つの重要なコンポーネントを統合している。 これらのコンポーネントは、マスク付き時系列モデリングにおけるマルチスケール特徴抽出を強化し、予測精度を向上させる。 7つの主流データセットに対する大規模な実験によると、HiMTMは最先端の自己教師とエンドツーエンドの学習方法を3.16-68.54\%で上回っている。 さらに、HiMTMは最新の堅牢な自己教師付き学習手法であるPatchTSTを2.3倍の差でクロスドメイン予測で上回っている。 HiMTMの有効性は、天然ガス需要予測に適用することでさらに実証される。

関連論文リスト

• xLSTM-Mixer: Multivariate Time Series Forecasting by Mixing via Scalar Memories [20.773694998061707]
  時系列データは様々な分野に分散しており、堅牢で正確な予測モデルの開発が必要である。 我々は,時間的シーケンス,共同時間可変情報,堅牢な予測のための複数の視点を効果的に統合するモデルであるxLSTM-Mixerを紹介する。 我々は,最近の最先端手法と比較して,xLSTM-Mixerの長期予測性能が優れていることを示した。
  論文  参考訳（メタデータ） (2024-10-22T11:59:36Z)
• UmambaTSF: A U-shaped Multi-Scale Long-Term Time Series Forecasting Method Using Mamba [7.594115034632109]
  本稿では,新しい時系列予測フレームワークであるUmambaTSFを提案する。 U字型エンコーダ・デコーダ多層パーセプトロン(MLP)のマルチスケール特徴抽出機能とMambaのロングシーケンス表現を統合する。 UmambaTSFは、広く使用されているベンチマークデータセットで最先端のパフォーマンスと優れた汎用性を達成する。
  論文  参考訳（メタデータ） (2024-10-15T04:56:43Z)
• MGCP: A Multi-Grained Correlation based Prediction Network for Multivariate Time Series [54.91026286579748]
  本稿では,マルチグラインド相関に基づく予測ネットワークを提案する。 予測性能を高めるために3段階の相関を同時に検討する。 注意機構に基づく予測器と条件判別器を用いて、粗い粒度の予測結果を最適化する。
  論文  参考訳（メタデータ） (2024-05-30T03:32:44Z)
• Frequency-domain MLPs are More Effective Learners in Time Series Forecasting [67.60443290781988]
  時系列予測は、金融、交通、エネルギー、医療など、さまざまな産業領域において重要な役割を果たしてきた。 最多ベースの予測手法は、ポイントワイドマッピングと情報のボトルネックに悩まされる。 本稿では、時系列予測のための周波数領域上に構築された、シンプルで効果的なアーキテクチャであるFreTSを提案する。
  論文  参考訳（メタデータ） (2023-11-10T17:05:13Z)
• Time-LLM: Time Series Forecasting by Reprogramming Large Language Models [110.20279343734548]
  時系列予測は多くの実世界の力学系において重要な意味を持つ。 時系列予測のための大規模言語モデルを再利用するための再プログラミングフレームワークであるTime-LLMを提案する。 Time-LLMは、最先端の特殊な予測モデルよりも優れた、強力な時系列学習者である。
  論文  参考訳（メタデータ） (2023-10-03T01:31:25Z)
• FormerTime: Hierarchical Multi-Scale Representations for Multivariate Time Series Classification [53.55504611255664]
  formerTimeは、多変量時系列分類タスクの分類能力を改善する階層的表現モデルである。 1)時系列データから階層的なマルチスケール表現を学習し、(2)トランスフォーマーと畳み込みネットワークの強さを継承し、(3)自己維持メカニズムによって引き起こされる効率の課題に取り組む。
  論文  参考訳（メタデータ） (2023-02-20T07:46:14Z)
• MTS-Mixers: Multivariate Time Series Forecasting via Factorized Temporal and Channel Mixing [18.058617044421293]
  本稿では,時系列予測の性能に対する注意機構の寄与と欠陥について検討する。 MTS-Mixersを提案する。これは2つの分解されたモジュールを用いて時間的およびチャネル的依存関係をキャプチャする。 いくつかの実世界のデータセットによる実験結果から、MTS-Mixersは既存のTransformerベースのモデルよりも高い効率で性能を発揮することが示された。
  論文  参考訳（メタデータ） (2023-02-09T08:52:49Z)
• Ti-MAE: Self-Supervised Masked Time Series Autoencoders [16.98069693152999]
  本稿では,Ti-MAEという新しいフレームワークを提案する。 Ti-MAEは、埋め込み時系列データをランダムにマスクアウトし、オートエンコーダを学び、ポイントレベルでそれらを再構築する。 いくつかの公開実世界のデータセットの実験では、マスク付きオートエンコーディングのフレームワークが生データから直接強力な表現を学習できることが示されている。
  論文  参考訳（メタデータ） (2023-01-21T03:20:23Z)
• Generative Time Series Forecasting with Diffusion, Denoise, and Disentanglement [51.55157852647306]
  時系列予測は多くのアプリケーションにおいて非常に重要な課題である。 実世界の時系列データが短時間に記録されることが一般的であり、これはディープモデルと限られたノイズのある時系列との間に大きなギャップをもたらす。 本稿では,生成モデルを用いた時系列予測問題に対処し,拡散,雑音,ゆがみを備えた双方向変分自動エンコーダを提案する。
  論文  参考訳（メタデータ） (2023-01-08T12:20:46Z)
• An Unsupervised Short- and Long-Term Mask Representation for Multivariate Time Series Anomaly Detection [2.387411589813086]
  本稿では,教師なし短時間・長期マスク表現学習(SLMR)に基づく異常検出手法を提案する。 実験により,本手法の性能は,実世界の3つのデータセットにおいて,他の最先端モデルよりも優れていることが示された。
  論文  参考訳（メタデータ） (2022-08-19T09:34:11Z)
• Multi-scale Attention Flow for Probabilistic Time Series Forecasting [68.20798558048678]
  マルチスケールアテンション正規化フロー(MANF)と呼ばれる非自己回帰型ディープラーニングモデルを提案する。 我々のモデルは累積誤差の影響を回避し、時間の複雑さを増大させない。 本モデルは,多くの多変量データセット上での最先端性能を実現する。
  論文  参考訳（メタデータ） (2022-05-16T07:53:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。