論文の概要: Empowering Pre-Trained Language Models for Spatio-Temporal Forecasting via Decoupling Enhanced Discrete Reprogramming
- arxiv url: http://arxiv.org/abs/2408.14505v1
- Date: Sat, 24 Aug 2024 07:59:36 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-28 18:01:37.422002
- Title: Empowering Pre-Trained Language Models for Spatio-Temporal Forecasting via Decoupling Enhanced Discrete Reprogramming
- Title（参考訳）: 離散再プログラミングのデカップリングによる時空間予測のための事前学習型言語モデル
- Authors: Hao Wang, Jindong Han, Wei Fan, Hao Liu,
- Abstract要約: S時間予測のための PLM 再構成フレームワーク sctextPST を提案する。
提案手法は,特にデータスカースシナリオにおいて,最先端の時間予測モデルよりも顕著に優れていることを示す。
- 参考スコア（独自算出の注目度）: 13.744891561921197
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Spatio-temporal time series forecasting plays a critical role in various real-world applications, such as transportation optimization, energy management, and climate analysis. The recent advancements in Pre-trained Language Models (PLMs) have inspired efforts to reprogram these models for time series forecasting tasks, by leveraging their superior reasoning and generalization capabilities. However, existing approaches fall short in handling complex spatial inter-series dependencies and intrinsic intra-series frequency components, limiting their spatio-temporal forecasting performance. Moreover, the linear mapping of continuous time series to a compressed subset vocabulary in reprogramming constrains the spatio-temporal semantic expressivity of PLMs and may lead to potential information bottleneck. To overcome the above limitations, we propose \textsc{RePST}, a tailored PLM reprogramming framework for spatio-temporal forecasting. The key insight of \textsc{RePST} is to decouple the spatio-temporal dynamics in the frequency domain, allowing better alignment with the PLM text space. Specifically, we first decouple spatio-temporal data in Fourier space and devise a structural diffusion operator to obtain temporal intrinsic and spatial diffusion signals, making the dynamics more comprehensible and predictable for PLMs. To avoid information bottleneck from a limited vocabulary, we further propose a discrete reprogramming strategy that selects relevant discrete textual information from an expanded vocabulary space in a differentiable manner. Extensive experiments on four real-world datasets show that our proposed approach significantly outperforms state-of-the-art spatio-temporal forecasting models, particularly in data-scarce scenarios.
- Abstract（参考訳）: 時空間時系列予測は、輸送最適化、エネルギー管理、気候分析など、様々な実世界の応用において重要な役割を果たす。
最近のPLM(Pre-trained Language Models)の進歩は、それらの優れた推論と一般化能力を活用することで、時系列予測タスクのためにこれらのモデルを再プログラミングする努力にインスピレーションを与えている。
しかし、既存のアプローチは、複雑な空間的相互関係や本質的な系列内周波数成分の扱いに乏しく、時空間予測性能を制限している。
さらに、連続時系列の圧縮部分語彙への線形写像は、PLMの時空間的表現性に制約を与え、潜在的な情報のボトルネックを引き起こす可能性がある。
上記の制約を克服するため,時空間予測のための PLM プログラムフレームワークである \textsc{RePST} を提案する。
textsc{RePST} の重要な洞察は、周波数領域における時空間の時空間ダイナミクスを分離し、PLMテキスト空間との整合性を高めることである。
具体的には、まず、フーリエ空間で時空間データを分離し、時間的内在的および空間的拡散信号を得る構造拡散演算子を考案し、このダイナミクスをより理解し、予測可能とした。
さらに,限られた語彙からの情報ボトルネックを回避するために,拡張された語彙空間から関連する離散テキスト情報を選択する離散的再プログラミング戦略を提案する。
4つの実世界のデータセットに対する大規模な実験により、提案手法は、特にデータスカースシナリオにおいて、最先端の時空間予測モデルよりも大幅に優れていることが示された。
関連論文リスト
- Cross Space and Time: A Spatio-Temporal Unitized Model for Traffic Flow Forecasting [16.782154479264126]
時間的要因間の複雑な相互作用により、バックボーン・時間的トラフィックフローを予測することが課題となる。
既存のアプローチでは、これらの次元を分離し、重要な相互依存を無視している。
本稿では,空間的および時間的依存関係の両方をキャプチャする統合フレームワークであるSanonymous-Temporal Unitized Unitized Cell (ASTUC)を紹介する。
論文 参考訳（メタデータ） (2024-11-14T07:34:31Z) - Physics-guided Active Sample Reweighting for Urban Flow Prediction [75.24539704456791]
都市フロー予測は、バス、タクシー、ライド駆動モデルといった交通サービスのスループットを見積もる、微妙な時間的モデリングである。
最近の予測解は、物理学誘導機械学習(PGML)の概念による改善をもたらす。
我々は、PN(atized Physics-guided Network)を開発し、P-GASR(Physical-guided Active Sample Reweighting)を提案する。
論文 参考訳（メタデータ） (2024-07-18T15:44:23Z) - UniST: A Prompt-Empowered Universal Model for Urban Spatio-Temporal Prediction [26.69233687863233]
都市時間予測は、交通管理、資源最適化、出現応答などの情報的意思決定に不可欠である。
大規模言語モデルによる広範囲のシナリオにまたがる一般都市時間予測のためのユニバーサルモデルUniSTを紹介する。
論文 参考訳（メタデータ） (2024-02-19T05:04:11Z) - GATGPT: A Pre-trained Large Language Model with Graph Attention Network
for Spatiotemporal Imputation [19.371155159744934]
実世界の環境では、センサーの故障やデータ転送エラーなどの問題により、そのようなデータには欠落する要素がしばしば含まれる。
時間的計算の目的は、観測された時系列における固有の空間的および時間的関係を理解することによって、これらの欠落値を推定することである。
伝統的に、複雑な時間的計算は特定のアーキテクチャに依存しており、適用可能性の制限と高い計算複雑性に悩まされている。
対照的に、我々のアプローチは、事前訓練された大規模言語モデル(LLM)を複雑な時間的インプットに統合し、画期的なフレームワークであるGATGPTを導入している。
論文 参考訳（メタデータ） (2023-11-24T08:15:11Z) - Revisiting the Temporal Modeling in Spatio-Temporal Predictive Learning
under A Unified View [73.73667848619343]
UTEP(Unified S-Temporal Predictive Learning)は,マイクロテンポラリスケールとマクロテンポラリスケールを統合した再帰的および再帰的フリーな手法を再構築する,革新的なフレームワークである。
論文 参考訳（メタデータ） (2023-10-09T16:17:42Z) - Time-LLM: Time Series Forecasting by Reprogramming Large Language Models [110.20279343734548]
時系列予測は多くの実世界の力学系において重要な意味を持つ。
時系列予測のための大規模言語モデルを再利用するための再プログラミングフレームワークであるTime-LLMを提案する。
Time-LLMは、最先端の特殊な予測モデルよりも優れた、強力な時系列学習者である。
論文 参考訳（メタデータ） (2023-10-03T01:31:25Z) - MPR-Net:Multi-Scale Pattern Reproduction Guided Universality Time Series
Interpretable Forecasting [13.790498420659636]
時系列予測は、その広範な応用が本質的に困難なため、既存の研究から幅広い関心を集めている。
本稿では,まず,畳み込み操作を用いてマルチスケールの時系列パターンを適応的に分解し,パターン再現の既知に基づいてパターン拡張予測手法を構築し,最終的に畳み込み操作を用いて将来的なパターンを再構築する。
時系列に存在する時間的依存関係を活用することで、MPR-Netは線形時間複雑性を達成するだけでなく、予測プロセスも解釈できる。
論文 参考訳（メタデータ） (2023-07-13T13:16:01Z) - OpenSTL: A Comprehensive Benchmark of Spatio-Temporal Predictive
Learning [67.07363529640784]
提案するOpenSTLは,一般的なアプローチを再帰的モデルと再帰的モデルに分類する。
我々は, 合成移動物体軌道, 人間の動き, 運転シーン, 交通流, 天気予報など, さまざまな領域にわたるデータセットの標準評価を行う。
リカレントフリーモデルは、リカレントモデルよりも効率と性能のバランスが良いことがわかった。
論文 参考訳（メタデータ） (2023-06-20T03:02:14Z) - Temporal Predictive Coding For Model-Based Planning In Latent Space [80.99554006174093]
時間的に予測可能な環境要素を符号化するために,時間的予測符号化を用いた情報理論的手法を提案する。
本稿では,DMControl タスクの背景を複雑な情報を含む自然なビデオに置き換える,標準的な DMControl タスクの挑戦的な修正について評価する。
論文 参考訳（メタデータ） (2021-06-14T04:31:15Z) - Stochastically forced ensemble dynamic mode decomposition for
forecasting and analysis of near-periodic systems [65.44033635330604]
本稿では,観測力学を強制線形系としてモデル化した新しい負荷予測手法を提案する。
固有線型力学の利用は、解釈可能性やパーシモニーの観点から、多くの望ましい性質を提供することを示す。
電力グリッドからの負荷データを用いたテストケースの結果が提示される。
論文 参考訳（メタデータ） (2020-10-08T20:25:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。