論文の概要: Language Model Empowered Spatio-Temporal Forecasting via Physics-Aware Reprogramming
- arxiv url: http://arxiv.org/abs/2408.14505v2
- Date: Fri, 4 Oct 2024 17:08:17 GMT
- ステータス: 処理完了
- システム内更新日: 2024-11-08 05:04:12.030832
- Title: Language Model Empowered Spatio-Temporal Forecasting via Physics-Aware Reprogramming
- Title（参考訳）: 物理認識による時空間予測を利用した言語モデル
- Authors: Hao Wang, Jindong Han, Wei Fan, Hao Liu,
- Abstract要約: 本研究では,事前学習言語モデル(PLM)の推論と一般化能力を利用して,複雑な時間的予測を行うことを目的とする。
本稿では,時間予測に適した物理対応 PLM 再プログラミングフレームワーク RePST を提案する。
提案したRePSTは,特にデータスカースシナリオにおいて,12の最先端のベースライン手法より優れていることを示す。
- 参考スコア（独自算出の注目度）: 13.744891561921197
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Spatio-temporal forecasting is pivotal in numerous real-world applications, including transportation planning, energy management, and climate monitoring. In this work, we aim to harness the reasoning and generalization abilities of Pre-trained Language Models (PLMs) for more effective spatio-temporal forecasting, particularly in data-scarce scenarios. However, recent studies uncover that PLMs, which are primarily trained on textual data, often falter when tasked with modeling the intricate correlations in numerical time series, thereby limiting their effectiveness in comprehending spatio-temporal data. To bridge the gap, we propose RePST, a physics-aware PLM reprogramming framework tailored for spatio-temporal forecasting. Specifically, we first propose a physics-aware decomposer that adaptively disentangles spatially correlated time series into interpretable sub-components, which facilitates PLM to understand sophisticated spatio-temporal dynamics via a divide-and-conquer strategy. Moreover, we propose a selective discrete reprogramming scheme, which introduces an expanded spatio-temporal vocabulary space to project spatio-temporal series into discrete representations. This scheme minimizes the information loss during reprogramming and enriches the representations derived by PLMs. Extensive experiments on real-world datasets show that the proposed RePST outperforms twelve state-of-the-art baseline methods, particularly in data-scarce scenarios, highlighting the effectiveness and superior generalization capabilities of PLMs for spatio-temporal forecasting.
- Abstract（参考訳）: 時空間予測は、交通計画、エネルギー管理、気候モニタリングなど、多くの実世界の応用において重要である。
本研究では,プレトレーニング言語モデル(PLM)の推論と一般化能力を活用して,特にデータ共有シナリオにおいて,より効果的な時空間予測を実現することを目的とする。
しかし、最近の研究では、主にテキストデータに基づいて訓練されているPLMが、数値時系列における複雑な相関をモデル化するタスクをこなすと、しばしば混乱し、時空間データの解釈におけるその効果が制限されることが判明している。
このギャップを埋めるために,時空間予測に適した物理対応 PLM 再プログラミングフレームワーク RePST を提案する。
具体的には、まず、空間的に相関した時系列を解釈可能なサブコンポーネントに適応的に分解する物理認識型デコンポザを提案する。
さらに,時空間の空間を拡大して時空間列を離散表現に投影する,選択的離散的再プログラミング手法を提案する。
このスキームは、再プログラミング中の情報損失を最小限に抑え、PLMから派生した表現を豊かにする。
実世界のデータセットに対する大規模な実験により、提案したRePSTは、特にデータスカースシナリオにおいて12の最先端のベースライン手法より優れており、時空間予測におけるPLMの有効性と優れた一般化能力を強調している。
関連論文リスト
- Cross Space and Time: A Spatio-Temporal Unitized Model for Traffic Flow Forecasting [16.782154479264126]
時間的要因間の複雑な相互作用により、バックボーン・時間的トラフィックフローを予測することが課題となる。
既存のアプローチでは、これらの次元を分離し、重要な相互依存を無視している。
本稿では,空間的および時間的依存関係の両方をキャプチャする統合フレームワークであるSanonymous-Temporal Unitized Unitized Cell (ASTUC)を紹介する。
論文 参考訳（メタデータ） (2024-11-14T07:34:31Z) - Physics-guided Active Sample Reweighting for Urban Flow Prediction [75.24539704456791]
都市フロー予測は、バス、タクシー、ライド駆動モデルといった交通サービスのスループットを見積もる、微妙な時間的モデリングである。
最近の予測解は、物理学誘導機械学習(PGML)の概念による改善をもたらす。
我々は、PN(atized Physics-guided Network)を開発し、P-GASR(Physical-guided Active Sample Reweighting)を提案する。
論文 参考訳（メタデータ） (2024-07-18T15:44:23Z) - UniST: A Prompt-Empowered Universal Model for Urban Spatio-Temporal Prediction [26.69233687863233]
都市時間予測は、交通管理、資源最適化、出現応答などの情報的意思決定に不可欠である。
大規模言語モデルによる広範囲のシナリオにまたがる一般都市時間予測のためのユニバーサルモデルUniSTを紹介する。
論文 参考訳（メタデータ） (2024-02-19T05:04:11Z) - GATGPT: A Pre-trained Large Language Model with Graph Attention Network
for Spatiotemporal Imputation [19.371155159744934]
実世界の環境では、センサーの故障やデータ転送エラーなどの問題により、そのようなデータには欠落する要素がしばしば含まれる。
時間的計算の目的は、観測された時系列における固有の空間的および時間的関係を理解することによって、これらの欠落値を推定することである。
伝統的に、複雑な時間的計算は特定のアーキテクチャに依存しており、適用可能性の制限と高い計算複雑性に悩まされている。
対照的に、我々のアプローチは、事前訓練された大規模言語モデル(LLM)を複雑な時間的インプットに統合し、画期的なフレームワークであるGATGPTを導入している。
論文 参考訳（メタデータ） (2023-11-24T08:15:11Z) - Revisiting the Temporal Modeling in Spatio-Temporal Predictive Learning
under A Unified View [73.73667848619343]
UTEP(Unified S-Temporal Predictive Learning)は,マイクロテンポラリスケールとマクロテンポラリスケールを統合した再帰的および再帰的フリーな手法を再構築する,革新的なフレームワークである。
論文 参考訳（メタデータ） (2023-10-09T16:17:42Z) - Time-LLM: Time Series Forecasting by Reprogramming Large Language Models [110.20279343734548]
時系列予測は多くの実世界の力学系において重要な意味を持つ。
時系列予測のための大規模言語モデルを再利用するための再プログラミングフレームワークであるTime-LLMを提案する。
Time-LLMは、最先端の特殊な予測モデルよりも優れた、強力な時系列学習者である。
論文 参考訳（メタデータ） (2023-10-03T01:31:25Z) - MPR-Net:Multi-Scale Pattern Reproduction Guided Universality Time Series
Interpretable Forecasting [13.790498420659636]
時系列予測は、その広範な応用が本質的に困難なため、既存の研究から幅広い関心を集めている。
本稿では,まず,畳み込み操作を用いてマルチスケールの時系列パターンを適応的に分解し,パターン再現の既知に基づいてパターン拡張予測手法を構築し,最終的に畳み込み操作を用いて将来的なパターンを再構築する。
時系列に存在する時間的依存関係を活用することで、MPR-Netは線形時間複雑性を達成するだけでなく、予測プロセスも解釈できる。
論文 参考訳（メタデータ） (2023-07-13T13:16:01Z) - OpenSTL: A Comprehensive Benchmark of Spatio-Temporal Predictive
Learning [67.07363529640784]
提案するOpenSTLは,一般的なアプローチを再帰的モデルと再帰的モデルに分類する。
我々は, 合成移動物体軌道, 人間の動き, 運転シーン, 交通流, 天気予報など, さまざまな領域にわたるデータセットの標準評価を行う。
リカレントフリーモデルは、リカレントモデルよりも効率と性能のバランスが良いことがわかった。
論文 参考訳（メタデータ） (2023-06-20T03:02:14Z) - Temporal Predictive Coding For Model-Based Planning In Latent Space [80.99554006174093]
時間的に予測可能な環境要素を符号化するために,時間的予測符号化を用いた情報理論的手法を提案する。
本稿では,DMControl タスクの背景を複雑な情報を含む自然なビデオに置き換える,標準的な DMControl タスクの挑戦的な修正について評価する。
論文 参考訳（メタデータ） (2021-06-14T04:31:15Z) - Stochastically forced ensemble dynamic mode decomposition for
forecasting and analysis of near-periodic systems [65.44033635330604]
本稿では,観測力学を強制線形系としてモデル化した新しい負荷予測手法を提案する。
固有線型力学の利用は、解釈可能性やパーシモニーの観点から、多くの望ましい性質を提供することを示す。
電力グリッドからの負荷データを用いたテストケースの結果が提示される。
論文 参考訳（メタデータ） (2020-10-08T20:25:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。