論文の概要: Revealing the Power of Spatial-Temporal Masked Autoencoders in Multivariate Time Series Forecasting

• arxiv url: http://arxiv.org/abs/2309.15169v1
• Date: Tue, 26 Sep 2023 18:05:19 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-28 18:07:23.111243
• Title: Revealing the Power of Spatial-Temporal Masked Autoencoders in Multivariate Time Series Forecasting
• Title（参考訳）: 多変量時系列予測における時空間マスクオートエンコーダのパワー向上
• Authors: Jiarui Sun, Yujie Fan, Chin-Chia Michael Yeh, Wei Zhang, Girish Chowdhary
• Abstract要約: マスク付きオートエンコーダを用いて時空間ベースラインモデルの性能を向上させるMSS予測フレームワークを提案する。 事前トレーニング段階では、部分的に見えるMSSデータを処理するためにエンコーダ・デコーダアーキテクチャが使用される。 微調整段階では、エンコーダを保持し、既存の時空間モデルから元のデコーダを付加して予測を行う。
• 参考スコア（独自算出の注目度）: 17.911251232225094
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multivariate time series (MTS) forecasting involves predicting future time series data based on historical observations. Existing research primarily emphasizes the development of complex spatial-temporal models that capture spatial dependencies and temporal correlations among time series variables explicitly. However, recent advances have been impeded by challenges relating to data scarcity and model robustness. To address these issues, we propose Spatial-Temporal Masked Autoencoders (STMAE), an MTS forecasting framework that leverages masked autoencoders to enhance the performance of spatial-temporal baseline models. STMAE consists of two learning stages. In the pretraining stage, an encoder-decoder architecture is employed. The encoder processes the partially visible MTS data produced by a novel dual-masking strategy, including biased random walk-based spatial masking and patch-based temporal masking. Subsequently, the decoders aim to reconstruct the masked counterparts from both spatial and temporal perspectives. The pretraining stage establishes a challenging pretext task, compelling the encoder to learn robust spatial-temporal patterns. In the fine-tuning stage, the pretrained encoder is retained, and the original decoder from existing spatial-temporal models is appended for forecasting. Extensive experiments are conducted on multiple MTS benchmarks. The promising results demonstrate that integrating STMAE into various spatial-temporal models can largely enhance their MTS forecasting capability.
• Abstract（参考訳）: 多変量時系列予測(MTS)は、過去の観測に基づいて将来の時系列データを予測する。 既存の研究は、時系列変数間の空間依存性と時間相関を明示的に捉える複雑な空間-時間モデルの開発を主に強調している。 しかし、最近の進歩はデータの不足とモデルの堅牢性に関する課題によって妨げられている。 これらの問題に対処するため,マスク付きオートエンコーダを利用した時空間ベースラインモデルの性能向上を目的としたMSS予測フレームワークSTMAEを提案する。 STMAは2つの学習段階から構成される。 プリトレーニング段階では、エンコーダ-デコーダアーキテクチャが使用される。 エンコーダは、ランダムウォークベースの空間マスキングやパッチベースの時間マスキングを含む、新しいデュアルマスキング戦略によって生成される部分可視MSSデータを処理する。 その後,デコーダは空間的,時間的両面からマスクを復元する。 事前学習段階は、エンコーダが堅牢な時空間パターンを学習するように促す挑戦的な前提課題を確立する。 微調整段階では、プリトレーニングエンコーダが保持され、予測のために既存の時空間モデルからの元のデコーダが付加される。 複数のMSSベンチマークで大規模な実験が行われた。 有望な結果は,STMAEを様々な時空間モデルに統合することで,MSS予測能力を大幅に向上させることができることを示す。

関連論文リスト

• Navigating Spatio-Temporal Heterogeneity: A Graph Transformer Approach for Traffic Forecasting [13.309018047313801]
  交通予測はスマートシティの発展において重要な研究分野として浮上している。 最短時間相関のためのネットワークモデリングの最近の進歩は、パフォーマンスのリターンが低下し始めている。 これらの課題に対処するために、時空間グラフ変換器(STGormer)を導入する。 本研究では,その構造に基づく空間符号化手法を2つ設計し,時間位置をバニラ変圧器に統合して時間的トラフィックパターンをキャプチャする。
  論文  参考訳（メタデータ） (2024-08-20T13:18:21Z)
• ST-Mamba: Spatial-Temporal Selective State Space Model for Traffic Flow Prediction [32.44888387725925]
  提案したST-Mambaモデルは,まず,グラフモデルを用いることなく交通流予測における時空間学習のパワーを活用する。 提案したST-Mambaモデルでは、計算速度が61.11%向上し、予測精度が0.67%向上した。 実世界のトラフィックデータセットを用いた実験は、textsfST-Mambaモデルがトラフィックフロー予測の新しいベンチマークを設定することを示した。
  論文  参考訳（メタデータ） (2024-04-20T03:57:57Z)
• Spatial-Temporal Large Language Model for Traffic Prediction [21.69991612610926]
  交通予測のための時空間大言語モデル(ST-LLM)を提案する。 ST-LLMでは,各位置の時間ステップをトークンとして定義し,空間的位置とグローバルな時間的パターンを学習するための空間的時間的埋め込みを設計する。 実トラフィックデータセットの実験において、ST-LLMは最先端のモデルより優れた空間時空間学習器である。
  論文  参考訳（メタデータ） (2024-01-18T17:03:59Z)
• Rethinking Urban Mobility Prediction: A Super-Multivariate Time Series Forecasting Approach [71.67506068703314]
  長期の都市移動予測は、都市施設やサービスの効果的管理において重要な役割を担っている。 伝統的に、都市移動データはビデオとして構成され、経度と緯度を基本的なピクセルとして扱う。 本研究では,都市におけるモビリティ予測の新たな視点について紹介する。 都市移動データを従来のビデオデータとして単純化するのではなく、複雑な時系列と見なす。
  論文  参考訳（メタデータ） (2023-12-04T07:39:05Z)
• Transport-Hub-Aware Spatial-Temporal Adaptive Graph Transformer for Traffic Flow Prediction [10.722455633629883]
  本稿では交通流予測のためのトランスポート・ハブ対応時空間適応型グラフ変換器を提案する。 具体的には、動的空間依存を捉えるために、まず新しい空間自己認識モジュールを設計する。 また、トラフィックフローデータ中の動的時間パターンを検出するために、時間的自己アテンションモジュールを用いる。
  論文  参考訳（メタデータ） (2023-10-12T13:44:35Z)
• Layout Sequence Prediction From Noisy Mobile Modality [53.49649231056857]
  軌道予測は、自律運転やロボット工学などの応用における歩行者運動を理解する上で重要な役割を担っている。 現在の軌道予測モデルは、視覚的モダリティからの長い、完全な、正確に観察されたシーケンスに依存する。 本稿では,物体の障害物や視界外を,完全に視認できる軌跡を持つものと同等に扱う新しいアプローチであるLTrajDiffを提案する。
  論文  参考訳（メタデータ） (2023-10-09T20:32:49Z)
• PDFormer: Propagation Delay-Aware Dynamic Long-Range Transformer for Traffic Flow Prediction [78.05103666987655]
  空間時空間グラフニューラルネットワーク(GNN)モデルは、この問題を解決する最も有望な方法の1つである。 本稿では,交通流の正確な予測を行うために,遅延を意識した動的長距離トランスフォーマー(PDFormer)を提案する。 提案手法は,最先端の性能を達成するだけでなく,計算効率の競争力も発揮できる。
  論文  参考訳（メタデータ） (2023-01-19T08:42:40Z)
• Spatio-Temporal Self-Supervised Learning for Traffic Flow Prediction [36.77135502344546]
  本稿では,新しいST-SSL(Spatio-Supervised Learning)トラフィック予測フレームワークを提案する。 我々のST-SSLは、時空間の畳み込みによって、空間と時間にまたがる情報を符号化する統合モジュール上に構築されている。 4つのベンチマークデータセットの実験では、ST-SSLは様々な最先端のベースラインを一貫して上回っている。
  論文  参考訳（メタデータ） (2022-12-07T10:02:01Z)
• SatMAE: Pre-training Transformers for Temporal and Multi-Spectral Satellite Imagery [74.82821342249039]
  Masked Autoencoder(MAE)に基づく時間・マルチスペクトル衛星画像の事前学習フレームワークであるSatMAEについて述べる。 時間的情報を活用するために、時間にわたって画像パッチを個別にマスキングする時間的埋め込みを含む。
  論文  参考訳（メタデータ） (2022-07-17T01:35:29Z)
• P-STMO: Pre-Trained Spatial Temporal Many-to-One Model for 3D Human Pose Estimation [78.83305967085413]
  本稿では,2次元から3次元のポーズ推定作業のためのP-STMOモデルを提案する。 提案手法は,パラメータが少なく,計算オーバーヘッドが少なく,最先端の手法より優れている。
  論文  参考訳（メタデータ） (2022-03-15T04:00:59Z)
• A Spatial-Temporal Attentive Network with Spatial Continuity for Trajectory Prediction [74.00750936752418]
  空間連続性をもつ空間時間減衰ネットワーク(STAN-SC)という新しいモデルを提案する。 まず、最も有用かつ重要な情報を探るために、空間的時間的注意機構を提示する。 第2に、生成軌道の空間的連続性を維持するために、シーケンスと瞬間状態情報に基づく共同特徴系列を実行する。
  論文  参考訳（メタデータ） (2020-03-13T04:35:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。