論文の概要: Unraveling Spatio-Temporal Foundation Models via the Pipeline Lens: A Comprehensive Review

• arxiv url: http://arxiv.org/abs/2506.01364v1
• Date: Mon, 02 Jun 2025 06:46:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-04 21:47:34.071284
• Title: Unraveling Spatio-Temporal Foundation Models via the Pipeline Lens: A Comprehensive Review
• Title（参考訳）: パイプラインレンズによる時空間モデルの構築:総括的レビュー
• Authors: Yuchen Fang, Hao Miao, Yuxuan Liang, Liwei Deng, Yue Cui, Ximu Zeng, Yuyang Xia, Yan Zhao, Torben Bach Pedersen, Christian S. Jensen, Xiaofang Zhou, Kai Zheng,
• Abstract要約: ディープラーニングモデルは、予測のようなタスクをサポートするために、そのようなデータに有用なパターンを利用する。 従来のディープラーニングモデルは、通常、ユースケースごとに個別のトレーニングが必要です。 これらの基盤モデルは、複数のタスクを解決できる統一されたフレームワークを提供する。
• 参考スコア（独自算出の注目度）: 37.66524791103493
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Spatio-temporal deep learning models aims to utilize useful patterns in such data to support tasks like prediction. However, previous deep learning models designed for specific tasks typically require separate training for each use case, leading to increased computational and storage costs. To address this issue, spatio-temporal foundation models have emerged, offering a unified framework capable of solving multiple spatio-temporal tasks. These foundation models achieve remarkable success by learning general knowledge with spatio-temporal data or transferring the general capabilities of pre-trained language models. While previous surveys have explored spatio-temporal data and methodologies separately, they have ignored a comprehensive examination of how foundation models are designed, selected, pre-trained, and adapted. As a result, the overall pipeline for spatio-temporal foundation models remains unclear. To bridge this gap, we innovatively provide an up-to-date review of previous spatio-temporal foundation models from the pipeline perspective. The pipeline begins with an introduction to different types of spatio-temporal data, followed by details of data preprocessing and embedding techniques. The pipeline then presents a novel data property taxonomy to divide existing methods according to data sources and dependencies, providing efficient and effective model design and selection for researchers. On this basis, we further illustrate the training objectives of primitive models, as well as the adaptation techniques of transferred models. Overall, our survey provides a clear and structured pipeline to understand the connection between core elements of spatio-temporal foundation models while guiding researchers to get started quickly. Additionally, we introduce emerging opportunities such as multi-objective training in the field of spatio-temporal foundation models.
• Abstract（参考訳）: 時空間ディープラーニングモデルは、予測のようなタスクをサポートするために、そのようなデータに有用なパターンを活用することを目的としている。 しかし、特定のタスク用に設計された従来のディープラーニングモデルは、通常、ユースケースごとに個別のトレーニングを必要とし、計算とストレージコストが増大する。 この問題に対処するため、時空間モデルが登場し、複数の時空間タスクを解決できる統一されたフレームワークを提供する。 これらの基礎モデルは,時空間データを用いた一般知識の学習や,事前学習した言語モデルの汎用能力の伝達によって,顕著な成功を収めた。 前回の調査では、時空間データと方法論を別々に調査したが、基礎モデルの設計、選択、事前訓練、適応に関する包括的な調査は無視されている。 その結果,時空間基礎モデル全体のパイプラインはいまだ不明である。 このギャップを埋めるため、パイプラインの観点から従来の時空間基礎モデルの最新のレビューを革新的に提供します。 パイプラインは、さまざまなタイプの時空間データの導入から始まり、続いてデータ前処理と埋め込み技術の詳細が続く。 パイプラインは、データソースと依存関係に従って既存のメソッドを分割するために、新しいデータプロパティ分類を提示し、研究者のために効率的で効果的なモデル設計と選択を提供する。 そこで本研究では,プリミティブモデルのトレーニング目標と,トランスファーモデルの適応技術について述べる。 全体として、我々の調査は、時空間基礎モデルのコア要素間の接続を理解しつつ、研究者に素早く始めるための明確で構造化されたパイプラインを提供します。 さらに,時空間基礎モデルの分野における多目的学習のような新たな機会も紹介する。

関連論文リスト

• Foundation Models for Time Series: A Survey [0.27835153780240135]
  トランスフォーマーベースの基礎モデルは時系列解析において支配的なパラダイムとして現れてきた。 この調査は、いくつかの分野にまたがって分類する新しい分類法を導入している。
  論文  参考訳（メタデータ） (2025-04-05T01:27:55Z)
• Measuring Pre-training Data Quality without Labels for Time Series Foundation Models [10.64362760848387]
  基礎モデルで学習した表現空間の質を評価するための新しい尺度であるコントラスト精度を導入する。 実験の結果,提案手法とモデル精度との正の相関関係を下流タスクの集合上で明らかにした。
  論文  参考訳（メタデータ） (2024-12-09T10:38:30Z)
• Exploring Representations and Interventions in Time Series Foundation Models [17.224575072056627]
  時系列基礎モデル(TSFM)は、幅広いアプリケーションのための強力なツールであることを約束する。 彼らの内部表現や学習された概念はまだよく理解されていない。 本研究では,様々なTSFMにおける表現の構造と冗長性について検討する。
  論文  参考訳（メタデータ） (2024-09-19T17:11:27Z)
• A Survey on Diffusion Models for Time Series and Spatio-Temporal Data [92.1255811066468]
  時系列およびS時間データにおける拡散モデルの使用について概観し、それらをモデル、タスクタイプ、データモダリティ、実用的なアプリケーションドメインで分類する。 我々は拡散モデルを無条件型と条件付き型に分類し、時系列とS時間データを別々に議論する。 本調査は,医療,レコメンデーション,気候,エネルギー,オーディオ,交通など,さまざまな分野の応用を幅広くカバーしている。
  論文  参考訳（メタデータ） (2024-04-29T17:19:40Z)
• Large Models for Time Series and Spatio-Temporal Data: A Survey and Outlook [95.32949323258251]
  時系列データ、特に時系列データと時間時間データは、現実世界のアプリケーションで広く使われている。 大規模言語やその他の基礎モデルの最近の進歩は、時系列データマイニングや時間データマイニングでの使用の増加に拍車を掛けている。
  論文  参考訳（メタデータ） (2023-10-16T09:06:00Z)
• Toward a Foundation Model for Time Series Data [34.1973242428317]
  基礎モデルは、大規模で多様なデータセットに基づいてトレーニングされた機械学習モデルである。 複数のドメインのラベルのないサンプルを活用することで,効率的な時系列基礎モデルを構築する。
  論文  参考訳（メタデータ） (2023-10-05T21:44:50Z)
• ZhiJian: A Unifying and Rapidly Deployable Toolbox for Pre-trained Model Reuse [59.500060790983994]
  本稿では、PyTorchバックエンドを利用して、モデル再利用のための包括的でユーザフレンドリなツールボックスであるZhiJianを紹介する。 ZhiJianは、PTMによるターゲットアーキテクチャ構築、PTMによるターゲットモデルチューニング、およびPTMに基づく推論を含む、モデル再利用に関するさまざまな視点を統一する新しいパラダイムを提示している。
  論文  参考訳（メタデータ） (2023-08-17T19:12:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。