論文の概要: UniST: A Prompt-Empowered Universal Model for Urban Spatio-Temporal Prediction
- arxiv url: http://arxiv.org/abs/2402.11838v3
- Date: Thu, 23 May 2024 13:01:23 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-25 06:38:52.702934
- Title: UniST: A Prompt-Empowered Universal Model for Urban Spatio-Temporal Prediction
- Title（参考訳）: UniST: 都市時空間予測のためのプロンプト型ユニバーサルモデル
- Authors: Yuan Yuan, Jingtao Ding, Jie Feng, Depeng Jin, Yong Li,
- Abstract要約: 都市時間予測のためのユニバーサルモデルUniSTを提案する。
15の都市と6つのドメインの実験は、最先端の予測性能を前進させるUniSTのブレークスルーを実証している。
- 参考スコア（独自算出の注目度）: 26.69233687863233
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Urban spatio-temporal prediction is crucial for informed decision-making, such as transportation management, resource optimization, and urban planning. Although pretrained foundation models for natural languages have experienced remarkable breakthroughs, wherein one general-purpose model can tackle multiple tasks across various domains, urban spatio-temporal modeling lags behind. Existing approaches for urban prediction are usually tailored for specific spatio-temporal scenarios, requiring task-specific model designs and extensive in-domain training data. In this work, we propose a universal model, UniST, for urban spatio-temporal prediction. Drawing inspiration from large language models, UniST achieves success through: (i) flexibility towards diverse spatio-temporal data characteristics, (ii) effective generative pre-training with elaborated masking strategies to capture complex spatio-temporal relationships, (iii) spatio-temporal knowledge-guided prompts that align and leverage intrinsic and shared knowledge across scenarios. These designs together unlock the potential of a one-for-all model for spatio-temporal prediction with powerful generalization capability. Extensive experiments on 15 cities and 6 domains demonstrate the universality of UniST in advancing state-of-the-art prediction performance, especially in few-shot and zero-shot scenarios. The implementation is available at this repository: https://github.com/tsinghua-fib-lab/UniST.
- Abstract（参考訳）: 都市空間の時空間予測は交通管理,資源最適化,都市計画といった情報的意思決定に不可欠である。
自然言語のための事前訓練された基礎モデルは、様々な領域にまたがる複数のタスクに1つの汎用モデルが取り組むという、驚くべきブレークスルーを経験してきたが、都市空間の時空間モデリングは遅れている。
都市予測のための既存のアプローチは、通常特定の時空間シナリオに合わせて調整され、タスク固有のモデル設計と広範なドメイン内トレーニングデータを必要とする。
本研究では,都市空間の時空間予測のためのユニバーサルモデルUniSTを提案する。
大規模な言語モデルからインスピレーションを得たUniSTは、以下の通り成功している。
一 多様な時空間データ特性に対する柔軟性
(II)複雑な時空間的関係を捉えるための精巧なマスキング戦略による効果的な生成前訓練
三 シナリオをまたいだ本質的・共有的知識の整合と活用を図るための時空間的知識誘導プロンプト。
これらの設計は、強力な一般化能力を備えた時空間予測のための1対全モデルの可能性を開放するものである。
15の都市と6つのドメインに対する大規模な実験は、特にショット数とゼロショットのシナリオにおいて、最先端の予測性能の進歩におけるUniSTの普遍性を実証している。
実装はこのリポジトリで利用可能である。
関連論文リスト
- Physics-guided Active Sample Reweighting for Urban Flow Prediction [75.24539704456791]
都市フロー予測は、バス、タクシー、ライド駆動モデルといった交通サービスのスループットを見積もる、微妙な時間的モデリングである。
最近の予測解は、物理学誘導機械学習(PGML)の概念による改善をもたらす。
我々は、PN(atized Physics-guided Network)を開発し、P-GASR(Physical-guided Active Sample Reweighting)を提案する。
論文 参考訳（メタデータ） (2024-07-18T15:44:23Z) - Adaptive Prediction Ensemble: Improving Out-of-Distribution Generalization of Motion Forecasting [15.916325272109454]
本稿では,ディープラーニングとルールに基づく予測専門家を統合した新しいフレームワーク,Adaptive Prediction Ensemble (APE)を提案する。
ディープラーニングモデルと並行して訓練された学習ルーティング関数は、入力シナリオに基づいて、最も信頼性の高い予測を動的に選択する。
この研究は、自律運転における頑健で一般化可能な運動予測のためのハイブリッドアプローチの可能性を強調している。
論文 参考訳（メタデータ） (2024-07-12T17:57:00Z) - FlashST: A Simple and Universal Prompt-Tuning Framework for Traffic Prediction [22.265095967530296]
FlashSTは、トレーニング済みのモデルに適応して、さまざまなデータセットの特定の特性を一般化するフレームワークである。
事前トレーニングとダウンストリームデータのシフトを捉え、さまざまなシナリオへの効果的な適応を促進する。
実証的な評価は、さまざまなシナリオにおけるFlashSTの有効性を示している。
論文 参考訳（メタデータ） (2024-05-28T07:18:52Z) - A Survey on Diffusion Models for Time Series and Spatio-Temporal Data [92.1255811066468]
時系列およびS時間データにおける拡散モデルの使用について概観し、それらをモデル、タスクタイプ、データモダリティ、実用的なアプリケーションドメインで分類する。
我々は拡散モデルを無条件型と条件付き型に分類し、時系列とS時間データを別々に議論する。
本調査は,医療,レコメンデーション,気候,エネルギー,オーディオ,交通など,さまざまな分野の応用を幅広くカバーしている。
論文 参考訳（メタデータ） (2024-04-29T17:19:40Z) - UrbanGPT: Spatio-Temporal Large Language Models [34.79169613947957]
本稿では,時空間エンコーダと命令調整パラダイムをシームレスに統合するUrbanPTを提案する。
我々は、様々な公開データセットに対して広範囲な実験を行い、異なる時間的予測タスクをカバーした。
結果は、慎重に設計されたアーキテクチャを持つUrbanPTが、最先端のベースラインを一貫して上回っていることを一貫して示しています。
論文 参考訳（メタデータ） (2024-02-25T12:37:29Z) - Unified Training of Universal Time Series Forecasting Transformers [104.56318980466742]
マスク型ユニバーサル時系列予測変換器(モイライ)について述べる。
Moiraiは、新たに導入された大規模オープンタイムシリーズアーカイブ(LOTSA)で訓練されており、9つのドメインで27億以上の観測が行われた。
Moiraiは、フルショットモデルと比較してゼロショットの予測器として、競争力や優れたパフォーマンスを達成する。
論文 参考訳（メタデータ） (2024-02-04T20:00:45Z) - Towards Unifying Diffusion Models for Probabilistic Spatio-Temporal
Graph Learning [28.50648620744963]
既存のアプローチは、異なる学習タスクに個別に取り組み、Web時間データの本質的な不確実性に合わせてモデルを調整している。
我々は、不確実性を考慮した拡散フレームワーク内でのタスクに一様に対処するために、統一S時間拡散モデル(USTD)を導入する。
USTDは、ネットワークがタスク固有のものであることを示す共有時間エンコーダとアテンションに基づく記述で構成されている。
論文 参考訳（メタデータ） (2023-10-26T12:48:43Z) - TEMPO: Prompt-based Generative Pre-trained Transformer for Time Series Forecasting [24.834846119163885]
本稿では,時系列表現を効果的に学習できる新しいフレームワークTEMPOを提案する。
TEMPOは、様々な領域のデータから現実世界の時間現象を動的にモデル化する機能を拡張する。
論文 参考訳（メタデータ） (2023-10-08T00:02:25Z) - OpenSTL: A Comprehensive Benchmark of Spatio-Temporal Predictive
Learning [67.07363529640784]
提案するOpenSTLは,一般的なアプローチを再帰的モデルと再帰的モデルに分類する。
我々は, 合成移動物体軌道, 人間の動き, 運転シーン, 交通流, 天気予報など, さまざまな領域にわたるデータセットの標準評価を行う。
リカレントフリーモデルは、リカレントモデルよりも効率と性能のバランスが良いことがわかった。
論文 参考訳（メタデータ） (2023-06-20T03:02:14Z) - Deep Autoregressive Models with Spectral Attention [74.08846528440024]
本稿では,深部自己回帰モデルとスペクトル注意(SA)モジュールを組み合わせた予測アーキテクチャを提案する。
時系列の埋め込みをランダムなプロセスの発生としてスペクトル領域に特徴付けることにより,グローバルな傾向と季節パターンを同定することができる。
時系列に対するグローバルとローカルの2つのスペクトルアテンションモデルは、この情報を予測の中に統合し、スペクトルフィルタリングを行い、時系列のノイズを除去する。
論文 参考訳（メタデータ） (2021-07-13T11:08:47Z) - Model-Attentive Ensemble Learning for Sequence Modeling [86.4785354333566]
シーケンスモデリング(MAES)のためのモデル・アテンティブ・アンサンブル・ラーニングを提案する。
MAESは、異なるシーケンスダイナミクスの専門家を専門とし、予測を適応的に重み付けるために、注目ベースのゲーティングメカニズムを利用する時系列の専門家の混合物です。
MAESが時系列シフトを受けるデータセットの人気シーケンスモデルを大幅に上回ることを示す。
論文 参考訳（メタデータ） (2021-02-23T05:23:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。