論文の概要: Revealing the Power of Spatial-Temporal Masked Autoencoders in
Multivariate Time Series Forecasting
- arxiv url: http://arxiv.org/abs/2309.15169v1
- Date: Tue, 26 Sep 2023 18:05:19 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-28 18:07:23.111243
- Title: Revealing the Power of Spatial-Temporal Masked Autoencoders in
Multivariate Time Series Forecasting
- Title(参考訳): 多変量時系列予測における時空間マスクオートエンコーダのパワー向上
- Authors: Jiarui Sun, Yujie Fan, Chin-Chia Michael Yeh, Wei Zhang, Girish
Chowdhary
- Abstract要約: マスク付きオートエンコーダを用いて時空間ベースラインモデルの性能を向上させるMSS予測フレームワークを提案する。
事前トレーニング段階では、部分的に見えるMSSデータを処理するためにエンコーダ・デコーダアーキテクチャが使用される。
微調整段階では、エンコーダを保持し、既存の時空間モデルから元のデコーダを付加して予測を行う。
- 参考スコア(独自算出の注目度): 17.911251232225094
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Multivariate time series (MTS) forecasting involves predicting future time
series data based on historical observations. Existing research primarily
emphasizes the development of complex spatial-temporal models that capture
spatial dependencies and temporal correlations among time series variables
explicitly. However, recent advances have been impeded by challenges relating
to data scarcity and model robustness. To address these issues, we propose
Spatial-Temporal Masked Autoencoders (STMAE), an MTS forecasting framework that
leverages masked autoencoders to enhance the performance of spatial-temporal
baseline models. STMAE consists of two learning stages. In the pretraining
stage, an encoder-decoder architecture is employed. The encoder processes the
partially visible MTS data produced by a novel dual-masking strategy, including
biased random walk-based spatial masking and patch-based temporal masking.
Subsequently, the decoders aim to reconstruct the masked counterparts from both
spatial and temporal perspectives. The pretraining stage establishes a
challenging pretext task, compelling the encoder to learn robust
spatial-temporal patterns. In the fine-tuning stage, the pretrained encoder is
retained, and the original decoder from existing spatial-temporal models is
appended for forecasting. Extensive experiments are conducted on multiple MTS
benchmarks. The promising results demonstrate that integrating STMAE into
various spatial-temporal models can largely enhance their MTS forecasting
capability.
- Abstract(参考訳): 多変量時系列予測(MTS)は、過去の観測に基づいて将来の時系列データを予測する。
既存の研究は、時系列変数間の空間依存性と時間相関を明示的に捉える複雑な空間-時間モデルの開発を主に強調している。
しかし、最近の進歩はデータの不足とモデルの堅牢性に関する課題によって妨げられている。
これらの問題に対処するため,マスク付きオートエンコーダを利用した時空間ベースラインモデルの性能向上を目的としたMSS予測フレームワークSTMAEを提案する。
STMAは2つの学習段階から構成される。
プリトレーニング段階では、エンコーダ-デコーダアーキテクチャが使用される。
エンコーダは、ランダムウォークベースの空間マスキングやパッチベースの時間マスキングを含む、新しいデュアルマスキング戦略によって生成される部分可視MSSデータを処理する。
その後,デコーダは空間的,時間的両面からマスクを復元する。
事前学習段階は、エンコーダが堅牢な時空間パターンを学習するように促す挑戦的な前提課題を確立する。
微調整段階では、プリトレーニングエンコーダが保持され、予測のために既存の時空間モデルからの元のデコーダが付加される。
複数のMSSベンチマークで大規模な実験が行われた。
有望な結果は,STMAEを様々な時空間モデルに統合することで,MSS予測能力を大幅に向上させることができることを示す。
関連論文リスト
- Unified Training of Universal Time Series Forecasting Transformers [110.79681024473159]
マスク型ユニバーサル時系列予測変換器(モイライ)について述べる。
Moiraiは、新たに導入された大規模オープンタイムシリーズアーカイブ(LOTSA)で訓練されており、9つのドメインで27億以上の観測が行われた。
Moiraiは、フルショットモデルと比較してゼロショットの予測器として、競争力や優れたパフォーマンスを達成する。
論文 参考訳(メタデータ) (2024-02-04T20:00:45Z) - Timer: Transformers for Time Series Analysis at Scale [87.9808714449511]
本稿では,大規模時系列モデル(LTSM)の早期開発を目的とした。
事前トレーニング中に、最大10億のタイムポイントを持つ大規模なデータセットをキュレートします。
多様なアプリケーションのニーズを満たすため,予測,計算,時系列の異常検出を統一的な生成タスクに変換する。
論文 参考訳(メタデータ) (2024-02-04T06:55:55Z) - HiMTM: Hierarchical Multi-Scale Masked Time Series Modeling for
Long-Term Forecasting [18.59792043113792]
HiMTMは長期予測のために設計された階層型マルチスケールマスク時系列モデリング手法である。
1)階層型マルチスケールトランスフォーマー(HMT)と,(2)デカップリングエンコーダデコーダデコーダデコーダデコーダデコーダデコーダデコーダデコーダデコーダデコーダデコーダデコーダデコーダデコーダデコーダデコーダデコーダデコーダデコーダデコーダデコーダデコーダデコーダデコーダデコンダデコンダデコーダデコンダデコンダデコンダデコンダデコンダデコンダデコンダデコンダナデコンダデコンダナデコンダデコンダダデコンダデコンダデコンダデコンダデコンダデコンダダデコンダデコンダデコンダデコンダデコンダ(DED)デコンダデコンダデコンダ(DED)デコーダ(DED)デコンダ(DED)デコンダデ
我々は、7つの主流データセットに対する広範な実験を行い、現代の自己教師とエンドツーエンドの学習方法に対して、HiMTMが明らかなアドバンテージを持っていることを証明した。
論文 参考訳(メタデータ) (2024-01-10T09:00:03Z) - Spatio-Temporal-Decoupled Masked Pre-training: Benchmarked on Traffic
Forecasting [16.366916967524006]
STD-DeMAEは、複雑な依存関係を学習し、エンコードするためにマスク付きオートエンコーダを使用する新しいフレームワークである。
STD-DeMAEは、長距離空間パターンと時間パターンをキャプチャする能力を明示的に強化する。
論文 参考訳(メタデータ) (2023-12-01T11:43:49Z) - Time-LLM: Time Series Forecasting by Reprogramming Large Language Models [110.20279343734548]
時系列予測は多くの実世界の力学系において重要な意味を持つ。
時系列予測のための大規模言語モデルを再利用するための再プログラミングフレームワークであるTime-LLMを提案する。
Time-LLMは、最先端の特殊な予測モデルよりも優れた、強力な時系列学習者である。
論文 参考訳(メタデータ) (2023-10-03T01:31:25Z) - TimeMAE: Self-Supervised Representations of Time Series with Decoupled
Masked Autoencoders [55.00904795497786]
トランスフォーマネットワークに基づく転送可能な時系列表現を学習するための,新しい自己教師型パラダイムであるTimeMAEを提案する。
TimeMAEは双方向符号化方式を用いて時系列の豊富な文脈表現を学習する。
新たに挿入されたマスク埋め込みによって生じる不一致を解消するため、分離されたオートエンコーダアーキテクチャを設計する。
論文 参考訳(メタデータ) (2023-03-01T08:33:16Z) - SimMTM: A Simple Pre-Training Framework for Masked Time-Series Modeling [82.69579113377192]
SimMTM は Masked Time-Series Modeling のための単純な事前トレーニングフレームワークである。
SimMTMは、多様体の外にある複数の隣人の重み付けによるマスク付き時間点の復元を行う。
SimMTMは、最も先進的な時系列事前学習法と比較して、最先端の微調整性能を実現する。
論文 参考訳(メタデータ) (2023-02-02T04:12:29Z) - Ti-MAE: Self-Supervised Masked Time Series Autoencoders [16.98069693152999]
本稿では,Ti-MAEという新しいフレームワークを提案する。
Ti-MAEは、埋め込み時系列データをランダムにマスクアウトし、オートエンコーダを学び、ポイントレベルでそれらを再構築する。
いくつかの公開実世界のデータセットの実験では、マスク付きオートエンコーディングのフレームワークが生データから直接強力な表現を学習できることが示されている。
論文 参考訳(メタデータ) (2023-01-21T03:20:23Z) - Enhancing Spatiotemporal Prediction Model using Modular Design and
Beyond [2.323220706791067]
時間と空間の両方でシーケンスを予測することは困難である。
主流の方法は、同時に時間構造と空間構造をモデル化することである。
配列モデルを空間エンコーダデコーダと予測器の2つのモジュールに組み込むモジュール設計を提案する。
論文 参考訳(メタデータ) (2022-10-04T10:09:35Z) - SatMAE: Pre-training Transformers for Temporal and Multi-Spectral
Satellite Imagery [74.82821342249039]
Masked Autoencoder(MAE)に基づく時間・マルチスペクトル衛星画像の事前学習フレームワークであるSatMAEについて述べる。
時間的情報を活用するために、時間にわたって画像パッチを個別にマスキングする時間的埋め込みを含む。
論文 参考訳(メタデータ) (2022-07-17T01:35:29Z) - Time Series Generation with Masked Autoencoder [0.0]
補間器 (InterpoMAE) を内蔵した仮設オートエンコーダは、時系列のスケーラブルな自己教師型ジェネレータである。
InterpoMAEはマスクトークンではなく補間器を使用して、潜伏空間の欠落したパッチの潜伏表現を復元する。
論文 参考訳(メタデータ) (2022-01-14T08:11:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。