論文の概要: Spatial-Temporal-Decoupled Masked Pre-training for Spatiotemporal Forecasting

• arxiv url: http://arxiv.org/abs/2312.00516v3
• Date: Sun, 28 Apr 2024 14:40:48 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-01 00:15:22.145667
• Title: Spatial-Temporal-Decoupled Masked Pre-training for Spatiotemporal Forecasting
• Title（参考訳）: 時空間分離型マスクプリトレーニングによる時空間予測
• Authors: Haotian Gao, Renhe Jiang, Zheng Dong, Jinliang Deng, Yuxin Ma, Xuan Song,
• Abstract要約: 本研究では,2つの分離されたマスク付きオートエンコーダを用いて,空間次元と時間次元に沿った時系列を再構成する自己教師付き事前学習フレームワークを提案する。 このような再構築を通じて学んだリッチコンテキスト表現は、ダウンストリームによってシームレスに統合され、任意のアーキテクチャでパフォーマンスを向上することができる。
• 参考スコア（独自算出の注目度）: 15.446085872077898
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Spatiotemporal forecasting techniques are significant for various domains such as transportation, energy, and weather. Accurate prediction of spatiotemporal series remains challenging due to the complex spatiotemporal heterogeneity. In particular, current end-to-end models are limited by input length and thus often fall into spatiotemporal mirage, i.e., similar input time series followed by dissimilar future values and vice versa. To address these problems, we propose a novel self-supervised pre-training framework Spatial-Temporal-Decoupled Masked Pre-training (STD-MAE) that employs two decoupled masked autoencoders to reconstruct spatiotemporal series along the spatial and temporal dimensions. Rich-context representations learned through such reconstruction could be seamlessly integrated by downstream predictors with arbitrary architectures to augment their performances. A series of quantitative and qualitative evaluations on six widely used benchmarks (PEMS03, PEMS04, PEMS07, PEMS08, METR-LA, and PEMS-BAY) are conducted to validate the state-of-the-art performance of STD-MAE. Codes are available at https://github.com/Jimmy-7664/STD-MAE.
• Abstract（参考訳）: 時空間予測技術は、輸送、エネルギー、天候など様々な領域において重要である。 時空間列の正確な予測は複雑な時空間の不均一性のため難しいままである。 特に、現在のエンド・ツー・エンドのモデルは入力長によって制限されており、しばしば時空間ミラージュ(英語版)、すなわち、類似の入力時間列に続き、異なる将来の値とその逆になる。 これらの問題に対処するために,2つのマスク付きオートエンコーダを用いて空間次元と時間次元に沿って時空間列を再構成する,新しい自己教師型事前学習フレームワークである空間時間分離型マスケ前訓練(STD-MAE)を提案する。 このような再構成を通じて学習されたリッチコンテキスト表現は、任意のアーキテクチャを持つ下流予測器によってシームレスに統合され、パフォーマンスが向上する。 PEMS03, PEMS04, PEMS07, PEMS08, METR-LA, PEMS-BAY) を用いて,STD-MAEの性能評価を行った。 コードはhttps://github.com/Jimmy-7664/STD-MAEで公開されている。

関連論文リスト

• Cross Space and Time: A Spatio-Temporal Unitized Model for Traffic Flow Forecasting [16.782154479264126]
  時間的要因間の複雑な相互作用により、バックボーン・時間的トラフィックフローを予測することが課題となる。 既存のアプローチでは、これらの次元を分離し、重要な相互依存を無視している。 本稿では,空間的および時間的依存関係の両方をキャプチャする統合フレームワークであるSanonymous-Temporal Unitized Unitized Cell (ASTUC)を紹介する。
  論文  参考訳（メタデータ） (2024-11-14T07:34:31Z)
• UmambaTSF: A U-shaped Multi-Scale Long-Term Time Series Forecasting Method Using Mamba [7.594115034632109]
  本稿では,新しい時系列予測フレームワークであるUmambaTSFを提案する。 U字型エンコーダ・デコーダ多層パーセプトロン(MLP)のマルチスケール特徴抽出機能とMambaのロングシーケンス表現を統合する。 UmambaTSFは、広く使用されているベンチマークデータセットで最先端のパフォーマンスと優れた汎用性を達成する。
  論文  参考訳（メタデータ） (2024-10-15T04:56:43Z)
• Timer-XL: Long-Context Transformers for Unified Time Series Forecasting [67.83502953961505]
  我々は時系列の統一予測のための生成変換器Timer-XLを提案する。 Timer-XLは、統一されたアプローチにより、挑戦的な予測ベンチマークで最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2024-10-07T07:27:39Z)
• PDETime: Rethinking Long-Term Multivariate Time Series Forecasting from the perspective of partial differential equations [49.80959046861793]
  本稿では,ニューラルPDEソルバの原理に着想を得た新しいLMTFモデルであるPDETimeを提案する。 7つの異なる時間的実世界のLMTFデータセットを用いた実験により、PDETimeがデータ固有の性質に効果的に適応できることが判明した。
  論文  参考訳（メタデータ） (2024-02-25T17:39:44Z)
• TimeSiam: A Pre-Training Framework for Siamese Time-Series Modeling [67.02157180089573]
  時系列事前トレーニングは、最近、ラベルのコストを削減し、下流の様々なタスクに利益をもたらす可能性があるとして、広く注目を集めている。 本稿では,シームズネットワークに基づく時系列の簡易かつ効果的な自己教師型事前学習フレームワークとしてTimeSiamを提案する。
  論文  参考訳（メタデータ） (2024-02-04T13:10:51Z)
• Revisiting the Temporal Modeling in Spatio-Temporal Predictive Learning under A Unified View [73.73667848619343]
  UTEP(Unified S-Temporal Predictive Learning)は,マイクロテンポラリスケールとマクロテンポラリスケールを統合した再帰的および再帰的フリーな手法を再構築する,革新的なフレームワークである。
  論文  参考訳（メタデータ） (2023-10-09T16:17:42Z)
• SimMTM: A Simple Pre-Training Framework for Masked Time-Series Modeling [82.69579113377192]
  SimMTM は Masked Time-Series Modeling のための単純な事前トレーニングフレームワークである。 SimMTMは、多様体の外にある複数の隣人の重み付けによるマスク付き時間点の復元を行う。 SimMTMは、最も先進的な時系列事前学習法と比較して、最先端の微調整性能を実現する。
  論文  参考訳（メタデータ） (2023-02-02T04:12:29Z)
• Towards Spatio-Temporal Aware Traffic Time Series Forecasting--Full Version [37.09531298150374]
  同じ時系列パターンの複雑な時系列パターンが時間によって異なる可能性があるため、トラフィックシリーズの予測は困難である。 このような時間的モデルは、時間的位置と時間的期間に関わらず、共有パラメータ空間を使用し、時間的相関は場所間で類似しており、常に時間にわたって保持するわけではないと仮定する。 サブテンポラリモデルにICDを意識したモデルをエンコードするフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-03-29T16:44:56Z)
• Monitoring Time Series With Missing Values: a Deep Probabilistic Approach [1.90365714903665]
  本研究では,高次元時系列における予測の最先端手法と不確実性の完全な確率的ハンドリングを組み合わせた時系列モニタリングのための新しいアーキテクチャを提案する。 本稿では、時系列予測と新規性検出のアーキテクチャの利点を、特に部分的に欠落したデータで示し、実世界のデータセットにおける最先端のアプローチとアーキテクチャを実証的に評価し比較する。
  論文  参考訳（メタデータ） (2022-03-09T17:53:47Z)
• Supporting Optimal Phase Space Reconstructions Using Neural Network Architecture for Time Series Modeling [68.8204255655161]
  位相空間特性を暗黙的に学習する機構を持つ人工ニューラルネットワークを提案する。 私たちのアプローチは、ほとんどの最先端戦略と同じくらいの競争力があるか、あるいは優れているかのどちらかです。
  論文  参考訳（メタデータ） (2020-06-19T21:04:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。