論文の概要: Spatio-Temporal-Decoupled Masked Pre-training: Benchmarked on Traffic
Forecasting
- arxiv url: http://arxiv.org/abs/2312.00516v2
- Date: Sat, 9 Dec 2023 04:40:24 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-13 01:03:02.887938
- Title: Spatio-Temporal-Decoupled Masked Pre-training: Benchmarked on Traffic
Forecasting
- Title(参考訳): 時空間分離マスク事前学習:交通予測に基づくベンチマーク
- Authors: Haotian Gao, Renhe Jiang, Zheng Dong, Jinliang Deng, Yuxin Ma, Xuan
Song
- Abstract要約: STD-DeMAEは、複雑な依存関係を学習し、エンコードするためにマスク付きオートエンコーダを使用する新しいフレームワークである。
STD-DeMAEは、長距離空間パターンと時間パターンをキャプチャする能力を明示的に強化する。
- 参考スコア(独自算出の注目度): 16.366916967524006
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Accurate forecasting of multivariate traffic flow time series remains
challenging due to substantial spatio-temporal heterogeneity and complex
long-range correlative patterns. To address this, we propose
Spatio-Temporal-Decoupled Masked Pre-training (STD-MAE), a novel framework that
employs masked autoencoders to learn and encode complex spatio-temporal
dependencies via pre-training. Specifically, we use two decoupled masked
autoencoders to reconstruct the traffic data along spatial and temporal axes
using a self-supervised pre-training approach. These mask reconstruction
mechanisms capture the long-range correlations in space and time separately.
The learned hidden representations are then used to augment the downstream
spatio-temporal traffic predictor. A series of quantitative and qualitative
evaluations on four widely-used traffic benchmarks (PEMS03, PEMS04, PEMS07, and
PEMS08) are conducted to verify the state-of-the-art performance, with STD-MAE
explicitly enhancing the downstream spatio-temporal models' ability to capture
long-range intricate spatial and temporal patterns. Codes are available at
https://github.com/Jimmy-7664/STD_MAE.
- Abstract(参考訳): 多変量トラヒックフロー時系列の正確な予測は、時空間的不均一性と複雑な長距離相関パターンのため、依然として困難である。
そこで,本稿では,仮学習による複雑な時空間依存性の学習とエンコードを行うための,マスク付きオートエンコーダを用いた新しいフレームワークであるstd-maeを提案する。
具体的には,2つの分離マスクオートエンコーダを用いて,自己教師付き事前学習手法を用いて,空間的および時間的軸に沿ったトラヒックデータを再構成する。
これらのマスク再構成機構は、空間と時間の長距離相関を別々に捉える。
学習した隠れ表現は、下流の時空間トラフィック予測器を強化するために使用される。
広範に使用されている4つの交通ベンチマーク (PEMS03, PEMS04, PEMS07, PEMS08) の定量的, 定性的な評価を行い, STD-MAE は長時間の空間的および時間的パターンを捕捉する下流時空間モデルの性能を明示的に向上させる。
コードはhttps://github.com/jimmy-7664/std_maeで入手できる。
関連論文リスト
- TimeSiam: A Pre-Training Framework for Siamese Time-Series Modeling [70.38241681764738]
時系列事前トレーニングは、最近、ラベルのコストを削減し、下流の様々なタスクに利益をもたらす可能性があるとして、広く注目を集めている。
本稿では,シームズネットワークに基づく時系列の簡易かつ効果的な自己教師型事前学習フレームワークとしてTimeSiamを提案する。
論文 参考訳(メタデータ) (2024-02-04T13:10:51Z) - Rethinking Urban Mobility Prediction: A Super-Multivariate Time Series
Forecasting Approach [71.67506068703314]
長期の都市移動予測は、都市施設やサービスの効果的管理において重要な役割を担っている。
伝統的に、都市移動データはビデオとして構成され、経度と緯度を基本的なピクセルとして扱う。
本研究では,都市におけるモビリティ予測の新たな視点について紹介する。
都市移動データを従来のビデオデータとして単純化するのではなく、複雑な時系列と見なす。
論文 参考訳(メタデータ) (2023-12-04T07:39:05Z) - Revealing the Power of Spatial-Temporal Masked Autoencoders in
Multivariate Time Series Forecasting [17.911251232225094]
マスク付きオートエンコーダを用いて時空間ベースラインモデルの性能を向上させるMSS予測フレームワークを提案する。
事前トレーニング段階では、部分的に見えるMSSデータを処理するためにエンコーダ・デコーダアーキテクチャが使用される。
微調整段階では、エンコーダを保持し、既存の時空間モデルから元のデコーダを付加して予測を行う。
論文 参考訳(メタデータ) (2023-09-26T18:05:19Z) - SimMTM: A Simple Pre-Training Framework for Masked Time-Series Modeling [82.69579113377192]
SimMTM は Masked Time-Series Modeling のための単純な事前トレーニングフレームワークである。
SimMTMは、多様体の外にある複数の隣人の重み付けによるマスク付き時間点の復元を行う。
SimMTMは、最も先進的な時系列事前学習法と比較して、最先端の微調整性能を実現する。
論文 参考訳(メタデータ) (2023-02-02T04:12:29Z) - Spatio-Temporal Self-Supervised Learning for Traffic Flow Prediction [36.77135502344546]
本稿では,新しいST-SSL(Spatio-Supervised Learning)トラフィック予測フレームワークを提案する。
我々のST-SSLは、時空間の畳み込みによって、空間と時間にまたがる情報を符号化する統合モジュール上に構築されている。
4つのベンチマークデータセットの実験では、ST-SSLは様々な最先端のベースラインを一貫して上回っている。
論文 参考訳(メタデータ) (2022-12-07T10:02:01Z) - Time Series Generation with Masked Autoencoder [0.0]
補間器 (InterpoMAE) を内蔵した仮設オートエンコーダは、時系列のスケーラブルな自己教師型ジェネレータである。
InterpoMAEはマスクトークンではなく補間器を使用して、潜伏空間の欠落したパッチの潜伏表現を復元する。
論文 参考訳(メタデータ) (2022-01-14T08:11:09Z) - SST-GNN: Simplified Spatio-temporal Traffic forecasting model using
Graph Neural Network [2.524966118517392]
我々は,SST-GNN(SST-GNN)を簡易に設計し,異なる地区を個別に集約することで依存性を効果的に符号化した。
我々は,本モデルが3つの実環境トラフィックデータセットの最先端モデルよりも大幅に優れていることを示した。
論文 参考訳(メタデータ) (2021-03-31T18:28:44Z) - Deep Cellular Recurrent Network for Efficient Analysis of Time-Series
Data with Spatial Information [52.635997570873194]
本研究では,空間情報を用いた複雑な多次元時系列データを処理するための新しいディープセルリカレントニューラルネットワーク(DCRNN)アーキテクチャを提案する。
提案するアーキテクチャは,文献に比較して,学習可能なパラメータをかなり少なくしつつ,最先端の性能を実現している。
論文 参考訳(メタデータ) (2021-01-12T20:08:18Z) - Forecast Network-Wide Traffic States for Multiple Steps Ahead: A Deep
Learning Approach Considering Dynamic Non-Local Spatial Correlation and
Non-Stationary Temporal Dependency [6.019104024723682]
本研究では,交通予測における2つの問題について検討する。(1)交通リンク間の動的・非局所的な空間的相関を捉え,(2)正確な複数ステップの予測を行うための時間依存性のダイナミクスをモデル化する。
本稿では,これらの問題に対処するため,時空間列列モデル(STSeq2Seq)というディープラーニングフレームワークを提案する。
このモデルは、時間的特徴を捉えるためにシーケンスからシーケンス(seq2seq)アーキテクチャに基づいて構築され、空間情報を集約するためのグラフ畳み込みに依存している。
論文 参考訳(メタデータ) (2020-04-06T03:40:56Z) - A Spatial-Temporal Attentive Network with Spatial Continuity for
Trajectory Prediction [74.00750936752418]
空間連続性をもつ空間時間減衰ネットワーク(STAN-SC)という新しいモデルを提案する。
まず、最も有用かつ重要な情報を探るために、空間的時間的注意機構を提示する。
第2に、生成軌道の空間的連続性を維持するために、シーケンスと瞬間状態情報に基づく共同特徴系列を実行する。
論文 参考訳(メタデータ) (2020-03-13T04:35:50Z) - Spatial-Temporal Transformer Networks for Traffic Flow Forecasting [74.76852538940746]
本稿では,長期交通予測の精度を向上させるため,時空間変圧器ネットワーク(STTN)の新たなパラダイムを提案する。
具体的には、有向空間依存を動的にモデル化することにより、空間変換器と呼ばれる新しいグラフニューラルネットワークを提案する。
提案モデルにより,長期間にわたる空間的依存関係に対する高速かつスケーラブルなトレーニングが可能になる。
論文 参考訳(メタデータ) (2020-01-09T10:21:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。