論文の概要: UniST: A Prompt-Empowered Universal Model for Urban Spatio-Temporal Prediction

• arxiv url: http://arxiv.org/abs/2402.11838v1
• Date: Mon, 19 Feb 2024 05:04:11 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-20 18:14:48.930138
• Title: UniST: A Prompt-Empowered Universal Model for Urban Spatio-Temporal Prediction
• Title（参考訳）: UniST:都市時空間予測のためのプロンプト型ユニバーサルモデル
• Authors: Yuan Yuan, Jingtao Ding, Jie Feng, Depeng Jin, Yong Li
• Abstract要約: 都市時間予測のためのユニバーサルモデルUniSTを提案する。 i) 多様な時間的データ特性に対する柔軟性, (ii) 効果的な生成前訓練, (iii) 複雑な関係を捉える戦略により、UniSTが成功することを示す。
• 参考スコア（独自算出の注目度）: 28.63676562607566
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Urban spatio-temporal prediction is crucial for informed decision-making, such as transportation management, resource optimization, and urban planning. Although pretrained foundation models for natural languages have experienced remarkable breakthroughs, wherein one general-purpose model can tackle multiple tasks across various domains, urban spatio-temporal modeling lags behind. Existing approaches for urban prediction are usually tailored for specific spatio-temporal scenarios, requiring task-specific model designs and extensive in-domain training data. In this work, we propose a universal model, UniST, for urban spatio-temporal prediction. Drawing inspiration from large language models, UniST achieves success through: (i) flexibility towards diverse spatio-temporal data characteristics, (ii) effective generative pre-training with elaborated masking strategies to capture complex spatio-temporal relationships, (iii) spatio-temporal knowledge-guided prompts that align and leverage intrinsic and shared knowledge across scenarios. These designs together unlock the potential of a one-for-all model for spatio-temporal prediction with powerful generalization capability. Extensive experiments on 15 cities and 6 domains demonstrate the universality of UniST in advancing state-of-the-art prediction performance, especially in few-shot and zero-shot scenarios.
• Abstract（参考訳）: 都市空間の時空間予測は交通管理,資源最適化,都市計画といった情報的意思決定に不可欠である。 自然言語のための事前訓練された基礎モデルは驚くべきブレークスルーを経験しており、1つの汎用モデルが様々な領域で複数のタスクをこなすことができるが、都市時空間モデリングは遅れている。 既存の都市予測のアプローチは通常、タスク固有のモデル設計と広範なドメイン内トレーニングデータを必要とする特定の時空間シナリオに合わせて調整される。 本研究では,都市時空間予測のためのユニバーサルモデルUniSTを提案する。 大規模な言語モデルからインスピレーションを得たUniSTは、以下の通り成功している。 一 多様な時空間データ特性に対する柔軟性 (II)複雑な時空間関係を捉えるための精巧なマスキング戦略による効果的な生成前訓練 (iii)シナリオ間で内在的かつ共有的な知識を調整・活用する時空間的知識誘導型プロンプト。 これらの設計は、強力な一般化能力を持つ時空間予測のための1対1のモデルの可能性を解き放ちます。 15都市と6つのドメインに関する広範囲な実験は、unistが最先端の予測性能、特に少数およびゼロショットシナリオにおける普遍性を示している。

関連論文リスト

• Tackling Data Heterogeneity in Federated Time Series Forecasting [61.021413959988216]
  時系列予測は、エネルギー消費予測、病気の伝染モニタリング、天気予報など、様々な実世界の応用において重要な役割を果たす。 既存のほとんどのメソッドは、分散デバイスから中央クラウドサーバに大量のデータを収集する、集中的なトレーニングパラダイムに依存しています。 本稿では,情報合成データを補助的知識キャリアとして生成することにより,データの均一性に対処する新しいフレームワークであるFed-TRENDを提案する。
  論文  参考訳（メタデータ） (2024-11-24T04:56:45Z)
• MITA: Bridging the Gap between Model and Data for Test-time Adaptation [68.62509948690698]
  テスト時間適応(TTA)は、モデルの一般化性を高めるための有望なパラダイムとして登場した。 本稿では,Met-In-The-MiddleをベースとしたMITAを提案する。
  論文  参考訳（メタデータ） (2024-10-12T07:02:33Z)
• A Practitioner's Guide to Continual Multimodal Pretraining [83.63894495064855]
  マルチモーダル・ファンデーション・モデルは視覚と言語を交わす多くのアプリケーションに役立っている。 モデルを更新し続けるために、継続事前トレーニングの研究は主に、大規模な新しいデータに対する頻度の低い、差別的な更新、あるいは頻繁に行われるサンプルレベルの更新のシナリオを探求する。 本稿では,FoMo-in-Flux(FoMo-in-Flux)について紹介する。
  論文  参考訳（メタデータ） (2024-08-26T17:59:01Z)
• Language Model Empowered Spatio-Temporal Forecasting via Physics-Aware Reprogramming [13.744891561921197]
  本研究では,事前学習言語モデル(PLM)の推論と一般化能力を利用して,複雑な時間的予測を行うことを目的とする。 本稿では,時間予測に適した物理対応 PLM 再プログラミングフレームワーク RePST を提案する。 提案したRePSTは,特にデータスカースシナリオにおいて,12の最先端のベースライン手法より優れていることを示す。
  論文  参考訳（メタデータ） (2024-08-24T07:59:36Z)
• Physics-guided Active Sample Reweighting for Urban Flow Prediction [75.24539704456791]
  都市フロー予測は、バス、タクシー、ライド駆動モデルといった交通サービスのスループットを見積もる、微妙な時間的モデリングである。 最近の予測解は、物理学誘導機械学習(PGML)の概念による改善をもたらす。 我々は、PN(atized Physics-guided Network)を開発し、P-GASR(Physical-guided Active Sample Reweighting)を提案する。
  論文  参考訳（メタデータ） (2024-07-18T15:44:23Z)
• Adaptive Prediction Ensemble: Improving Out-of-Distribution Generalization of Motion Forecasting [15.916325272109454]
  本稿では,ディープラーニングとルールに基づく予測専門家を統合した新しいフレームワーク,Adaptive Prediction Ensemble (APE)を提案する。 ディープラーニングモデルと並行して訓練された学習ルーティング関数は、入力シナリオに基づいて、最も信頼性の高い予測を動的に選択する。 この研究は、自律運転における頑健で一般化可能な運動予測のためのハイブリッドアプローチの可能性を強調している。
  論文  参考訳（メタデータ） (2024-07-12T17:57:00Z)
• FlashST: A Simple and Universal Prompt-Tuning Framework for Traffic Prediction [22.265095967530296]
  FlashSTは、トレーニング済みのモデルに適応して、さまざまなデータセットの特定の特性を一般化するフレームワークである。 事前トレーニングとダウンストリームデータのシフトを捉え、さまざまなシナリオへの効果的な適応を促進する。 実証的な評価は、さまざまなシナリオにおけるFlashSTの有効性を示している。
  論文  参考訳（メタデータ） (2024-05-28T07:18:52Z)
• UrbanGPT: Spatio-Temporal Large Language Models [34.79169613947957]
  本稿では,時空間エンコーダと命令調整パラダイムをシームレスに統合するUrbanPTを提案する。 我々は、様々な公開データセットに対して広範囲な実験を行い、異なる時間的予測タスクをカバーした。 結果は、慎重に設計されたアーキテクチャを持つUrbanPTが、最先端のベースラインを一貫して上回っていることを一貫して示しています。
  論文  参考訳（メタデータ） (2024-02-25T12:37:29Z)
• Unified Training of Universal Time Series Forecasting Transformers [104.56318980466742]
  マスク型ユニバーサル時系列予測変換器(モイライ)について述べる。 Moiraiは、新たに導入された大規模オープンタイムシリーズアーカイブ(LOTSA)で訓練されており、9つのドメインで27億以上の観測が行われた。 Moiraiは、フルショットモデルと比較してゼロショットの予測器として、競争力や優れたパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2024-02-04T20:00:45Z)
• TEMPO: Prompt-based Generative Pre-trained Transformer for Time Series Forecasting [24.834846119163885]
  本稿では,時系列表現を効果的に学習できる新しいフレームワークTEMPOを提案する。 TEMPOは、様々な領域のデータから現実世界の時間現象を動的にモデル化する機能を拡張する。
  論文  参考訳（メタデータ） (2023-10-08T00:02:25Z)
• OpenSTL: A Comprehensive Benchmark of Spatio-Temporal Predictive Learning [67.07363529640784]
  提案するOpenSTLは,一般的なアプローチを再帰的モデルと再帰的モデルに分類する。 我々は, 合成移動物体軌道, 人間の動き, 運転シーン, 交通流, 天気予報など, さまざまな領域にわたるデータセットの標準評価を行う。 リカレントフリーモデルは、リカレントモデルよりも効率と性能のバランスが良いことがわかった。
  論文  参考訳（メタデータ） (2023-06-20T03:02:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。