論文の概要: HiMTM: Hierarchical Multi-Scale Masked Time Series Modeling for
Long-Term Forecasting
- arxiv url: http://arxiv.org/abs/2401.05012v1
- Date: Wed, 10 Jan 2024 09:00:03 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-11 15:05:31.490092
- Title: HiMTM: Hierarchical Multi-Scale Masked Time Series Modeling for
Long-Term Forecasting
- Title(参考訳): HiMTM: 長期予測のための階層型マルチスケールマスキング時系列モデリング
- Authors: Shubao Zhao, Ming Jin, Zhaoxiang Hou, Chengyi Yang, Zengxiang Li,
Qingsong Wen, Yi Wang
- Abstract要約: HiMTMは長期予測のために設計された階層型マルチスケールマスク時系列モデリング手法である。
1)階層型マルチスケールトランスフォーマー(HMT)と,(2)デカップリングエンコーダデコーダデコーダデコーダデコーダデコーダデコーダデコーダデコーダデコーダデコーダデコーダデコーダデコーダデコーダデコーダデコーダデコーダデコーダデコーダデコーダデコーダデコーダデコーダデコーダデコンダデコンダデコーダデコンダデコンダデコンダデコンダデコンダデコンダデコンダデコンダナデコンダデコンダナデコンダデコンダダデコンダデコンダデコンダデコンダデコンダデコンダダデコンダデコンダデコンダデコンダデコンダ(DED)デコンダデコンダデコンダ(DED)デコーダ(DED)デコンダ(DED)デコンダデ
我々は、7つの主流データセットに対する広範な実験を行い、現代の自己教師とエンドツーエンドの学習方法に対して、HiMTMが明らかなアドバンテージを持っていることを証明した。
- 参考スコア(独自算出の注目度): 18.59792043113792
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Time series forecasting is crucial and challenging in the real world. The
recent surge in interest regarding time series foundation models, which cater
to a diverse array of downstream tasks, is noteworthy. However, existing
methods often overlook the multi-scale nature of time series, an aspect crucial
for precise forecasting. To bridge this gap, we propose HiMTM, a hierarchical
multi-scale masked time series modeling method designed for long-term
forecasting. Specifically, it comprises four integral components: (1)
hierarchical multi-scale transformer (HMT) to capture temporal information at
different scales; (2) decoupled encoder-decoder (DED) forces the encoder to
focus on feature extraction, while the decoder to focus on pretext tasks; (3)
multi-scale masked reconstruction (MMR) provides multi-stage supervision
signals for pre-training; (4) cross-scale attention fine-tuning (CSA-FT) to
capture dependencies between different scales for forecasting. Collectively,
these components enhance multi-scale feature extraction capabilities in masked
time series modeling and contribute to improved prediction accuracy. We conduct
extensive experiments on 7 mainstream datasets to prove that HiMTM has obvious
advantages over contemporary self-supervised and end-to-end learning methods.
The effectiveness of HiMTM is further showcased by its application in the
industry of natural gas demand forecasting.
- Abstract(参考訳): 実世界では、時系列予測は重要かつ困難である。
様々な下流タスクに対応する時系列基礎モデルに関する最近の関心の高まりは注目に値する。
しかし、既存の手法はしばしば、正確な予測に不可欠な側面である時系列のマルチスケールの性質を見落としている。
このギャップを埋めるため,長期予測のための階層型マルチスケールマスク時系列モデリング手法であるHiMTMを提案する。
Specifically, it comprises four integral components: (1) hierarchical multi-scale transformer (HMT) to capture temporal information at different scales; (2) decoupled encoder-decoder (DED) forces the encoder to focus on feature extraction, while the decoder to focus on pretext tasks; (3) multi-scale masked reconstruction (MMR) provides multi-stage supervision signals for pre-training; (4) cross-scale attention fine-tuning (CSA-FT) to capture dependencies between different scales for forecasting.
総じて、これらのコンポーネントはマスキング時系列モデリングにおけるマルチスケール特徴抽出機能を強化し、予測精度の向上に寄与する。
我々は、7つの主流データセットに対する広範な実験を行い、現代の自己教師とエンドツーエンドの学習方法に対して、HiMTMが明らかに有利であることを示す。
HiMTMの有効性は、天然ガス需要予測の産業への応用によってさらに明らかにされている。
関連論文リスト
- Multi-Patch Prediction: Adapting LLMs for Time Series Representation
Learning [22.28251586213348]
aLLM4TSは、時系列表現学習にLarge Language Models(LLM)を適用する革新的なフレームワークである。
われわれのフレームワークの特筆すべき要素はパッチワイドデコーディング層である。
論文 参考訳(メタデータ) (2024-02-07T13:51:26Z) - Unified Training of Universal Time Series Forecasting Transformers [110.79681024473159]
マスク型ユニバーサル時系列予測変換器(モイライ)について述べる。
Moiraiは、新たに導入された大規模オープンタイムシリーズアーカイブ(LOTSA)で訓練されており、9つのドメインで27億以上の観測が行われた。
Moiraiは、フルショットモデルと比較してゼロショットの予測器として、競争力や優れたパフォーマンスを達成する。
論文 参考訳(メタデータ) (2024-02-04T20:00:45Z) - Timer: Transformers for Time Series Analysis at Scale [87.9808714449511]
本稿では,大規模時系列モデル(LTSM)の早期開発を目的とした。
事前トレーニング中に、最大10億のタイムポイントを持つ大規模なデータセットをキュレートします。
多様なアプリケーションのニーズを満たすため,予測,計算,時系列の異常検出を統一的な生成タスクに変換する。
論文 参考訳(メタデータ) (2024-02-04T06:55:55Z) - Time-LLM: Time Series Forecasting by Reprogramming Large Language Models [110.20279343734548]
時系列予測は多くの実世界の力学系において重要な意味を持つ。
時系列予測のための大規模言語モデルを再利用するための再プログラミングフレームワークであるTime-LLMを提案する。
Time-LLMは、最先端の特殊な予測モデルよりも優れた、強力な時系列学習者である。
論文 参考訳(メタデータ) (2023-10-03T01:31:25Z) - Revealing the Power of Spatial-Temporal Masked Autoencoders in
Multivariate Time Series Forecasting [17.911251232225094]
マスク付きオートエンコーダを用いて時空間ベースラインモデルの性能を向上させるMSS予測フレームワークを提案する。
事前トレーニング段階では、部分的に見えるMSSデータを処理するためにエンコーダ・デコーダアーキテクチャが使用される。
微調整段階では、エンコーダを保持し、既存の時空間モデルから元のデコーダを付加して予測を行う。
論文 参考訳(メタデータ) (2023-09-26T18:05:19Z) - FormerTime: Hierarchical Multi-Scale Representations for Multivariate
Time Series Classification [53.55504611255664]
formerTimeは、多変量時系列分類タスクの分類能力を改善する階層的表現モデルである。
1)時系列データから階層的なマルチスケール表現を学習し、(2)トランスフォーマーと畳み込みネットワークの強さを継承し、(3)自己維持メカニズムによって引き起こされる効率の課題に取り組む。
論文 参考訳(メタデータ) (2023-02-20T07:46:14Z) - MTS-Mixers: Multivariate Time Series Forecasting via Factorized Temporal
and Channel Mixing [18.058617044421293]
本稿では,時系列予測の性能に対する注意機構の寄与と欠陥について検討する。
MTS-Mixersを提案する。これは2つの分解されたモジュールを用いて時間的およびチャネル的依存関係をキャプチャする。
いくつかの実世界のデータセットによる実験結果から、MTS-Mixersは既存のTransformerベースのモデルよりも高い効率で性能を発揮することが示された。
論文 参考訳(メタデータ) (2023-02-09T08:52:49Z) - SimMTM: A Simple Pre-Training Framework for Masked Time-Series Modeling [82.69579113377192]
SimMTM は Masked Time-Series Modeling のための単純な事前トレーニングフレームワークである。
SimMTMは、多様体の外にある複数の隣人の重み付けによるマスク付き時間点の復元を行う。
SimMTMは、最も先進的な時系列事前学習法と比較して、最先端の微調整性能を実現する。
論文 参考訳(メタデータ) (2023-02-02T04:12:29Z) - Ti-MAE: Self-Supervised Masked Time Series Autoencoders [16.98069693152999]
本稿では,Ti-MAEという新しいフレームワークを提案する。
Ti-MAEは、埋め込み時系列データをランダムにマスクアウトし、オートエンコーダを学び、ポイントレベルでそれらを再構築する。
いくつかの公開実世界のデータセットの実験では、マスク付きオートエンコーディングのフレームワークが生データから直接強力な表現を学習できることが示されている。
論文 参考訳(メタデータ) (2023-01-21T03:20:23Z) - An Unsupervised Short- and Long-Term Mask Representation for
Multivariate Time Series Anomaly Detection [2.387411589813086]
本稿では,教師なし短時間・長期マスク表現学習(SLMR)に基づく異常検出手法を提案する。
実験により,本手法の性能は,実世界の3つのデータセットにおいて,他の最先端モデルよりも優れていることが示された。
論文 参考訳(メタデータ) (2022-08-19T09:34:11Z) - Multi-scale Attention Flow for Probabilistic Time Series Forecasting [68.20798558048678]
マルチスケールアテンション正規化フロー(MANF)と呼ばれる非自己回帰型ディープラーニングモデルを提案する。
我々のモデルは累積誤差の影響を回避し、時間の複雑さを増大させない。
本モデルは,多くの多変量データセット上での最先端性能を実現する。
論文 参考訳(メタデータ) (2022-05-16T07:53:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。