論文の概要: T2ST: Data-Efficient Spatio-Temporal Foundation Models via Temporal Data and Knowledge Transfer
- arxiv url: http://arxiv.org/abs/2611.18199v1
- Date: Fri, 13 Nov 2026 14:05:40 GMT
- ステータス: 情報取得中
- システム内更新日: 2026-11-16 19:22:59.287762
- Title: T2ST: Data-Efficient Spatio-Temporal Foundation Models via Temporal Data and Knowledge Transfer
- Title(参考訳): T2ST:時空間データと知識伝達によるデータ効率の良い時空間基礎モデル
- Abstract要約: 時空間基礎モデル(STFM)は大規模な訓練コーパスを必要とする。
時系列データは豊富で収集が容易です。
T2STは、STFMが全データと競合する、または優位に立つ全体的な予測性能を達成することを可能にする。
- 参考スコア(独自算出の注目度): 16.837607982012877
- License:
- Abstract: Spatio-temporal foundation models (STFMs) require large-scale training corpora, yet synchronized observations and spatial metadata are costly to acquire and curate, limiting the availability of suitable data. By contrast, time-series data are abundant and easier to collect. Since observations at each location form a time series, this motivates a natural question: can abundant time-series data enhance STFMs when spatio-temporal observations are scarce? To bridge this gap, we propose T2ST, a data-efficient training framework that augments limited spatio-temporal observations with selected auxiliary time series and transfers knowledge from a frozen time-series foundation model. Our key insight is that temporal pattern learning can benefit from abundant external time series, while spatial dependency learning remains grounded in real spatio-temporal observations. Guided by this insight, T2ST retrieves matched sequences to reinforce sparsely observed temporal patterns and selects reliable complementary sequences to broaden temporal coverage. Temporal relation distillation aligns relationships among historical patches, while multi-scale prediction distillation transfers forecasting behavior at fine and coarse temporal resolutions, enabling knowledge transfer across heterogeneous architectures. Using only 10\% of the original spatio-temporal data, T2ST enables STFMs to achieve overall forecasting performance competitive with or superior to their full-data counterparts across six long-term and twelve short-term forecasting datasets. These results establish a new paradigm for data-efficient training of spatio-temporal foundation models. Code is available at https://anonymous.4open.science/r/T2ST-65F3/.
- Abstract(参考訳): 時空間基礎モデル(STFM)は大規模なトレーニングコーパスを必要とするが、同期された観測と空間メタデータは、適切なデータを取得してキュレートするのにコストがかかる。
対照的に、時系列データは豊富で収集が容易です。
時系列での観測は時系列を形成するので、これは自然な疑問である: 時空間観測が不十分な場合には、豊富な時系列データがSTFMを増強できるか?
このギャップを埋めるため,データ効率のトレーニングフレームワークであるT2STを提案する。このフレームワークは,選択した補助時系列による時空間観測を制限し,凍結した時系列基礎モデルから知識を伝達する。
我々の重要な洞察は、時間的パターン学習は、空間的依存学習が実際の時空間観測に基礎を置いている間、豊富な外部時系列の恩恵を受けることができるということである。
この知見に導かれて、T2STは一致した配列を検索し、わずかに観察された時間的パターンを補強し、信頼できる補完配列を選択して時間的カバレッジを広げる。
時間的関係蒸留は歴史的パッチ間の関係を整合させ、マルチスケールの予測蒸留は微細で粗い時間的解決における予測挙動を伝達し、異種アーキテクチャ間の知識伝達を可能にする。
T2STは、もともとの時空間データの10%しか利用していないため、STFMは6つの長期および12の短期予測データセットにまたがる、フルデータと競合する以上の全体的な予測性能を達成することができる。
これらの結果は、時空間基礎モデルのデータ効率訓練のための新しいパラダイムを確立する。
コードはhttps://anonymous.4open.science/r/T2ST-65F3/で入手できる。
関連論文リスト
- Temporal Patch Shuffle (TPS): Leveraging Patch-Level Shuffling to Boost Generalization and Robustness in Time Series Forecasting [13.90015544663242]
本稿では,予測のための簡易かつモデルに依存しないデータ拡張手法であるTPSを提案する。
TPSは、重複する時間的パッチを抽出し、分散ベースの順序付けを保守的としてパッチのサブセットをシャッフルし、重複する領域を平均化することによってシーケンスを再構築する。
この設計は、予測一貫性のある局所時間構造を保持しながら、サンプルの多様性を高める。
論文 参考訳(メタデータ) (2026-04-10T07:45:02Z) - Effective Dataset Distillation for Spatio-Temporal Forecasting with Bi-dimensional Compression [26.189594254326334]
本稿では,S時間時系列予測のための最初のデータセット蒸留法STemDistを提案する。
我々のソリューションのキーとなる考え方は、時間と空間の両次元をバランスよく圧縮し、トレーニング時間と記憶時間を短縮することである。
論文 参考訳(メタデータ) (2026-03-11T04:48:12Z) - DDTime: Dataset Distillation with Spectral Alignment and Information Bottleneck for Time-Series Forecasting [28.005308500582405]
時系列予測は多くの領域で基本となっているが、正確なモデルを訓練するには大規模なデータセットと計算資源が必要となることが多い。
本稿では,一階凝縮分解に基づく軽量・プラグイン蒸留フレームワークDDTimeを提案する。
DDTimeは既存の蒸留法を一貫して上回り、約30%の精度向上を実現し、約2.49%の計算オーバーヘッドを導入した。
論文 参考訳(メタデータ) (2025-11-20T16:50:09Z) - Estimating Time Series Foundation Model Transferability via In-Context Learning [74.65355820906355]
時系列基礎モデル(TSFM)は、大規模な事前訓練を通じて強力なゼロショット予測を提供する。
微調整は、公開データに制限のあるドメインのパフォーマンス向上に依然として不可欠である。
モデル選択をコンテキスト内学習問題として再キャストする転送可能性推定フレームワークであるTimeTicを紹介する。
論文 参考訳(メタデータ) (2025-09-28T07:07:13Z) - Multivariate Long-term Time Series Forecasting with Fourier Neural Filter [42.60778405812048]
我々はFNFをバックボーンとして、DBDをアーキテクチャとして導入し、空間時間モデルのための優れた学習能力と最適な学習経路を提供する。
FNFは、局所時間領域とグローバル周波数領域の情報処理を単一のバックボーン内で統合し、空間的モデリングに自然に拡張することを示す。
論文 参考訳(メタデータ) (2025-06-10T18:40:20Z) - ST-FiT: Inductive Spatial-Temporal Forecasting with Limited Training Data [59.78770412981611]
現実世界のアプリケーションでは、ほとんどのノードはトレーニング中に利用可能な時間データを持っていないかもしれない。
この問題に対処するために,ST-FiTというフレームワークを提案する。
論文 参考訳(メタデータ) (2024-12-14T17:51:29Z) - TimeSiam: A Pre-Training Framework for Siamese Time-Series Modeling [67.02157180089573]
時系列事前トレーニングは、最近、ラベルのコストを削減し、下流の様々なタスクに利益をもたらす可能性があるとして、広く注目を集めている。
本稿では,シームズネットワークに基づく時系列の簡易かつ効果的な自己教師型事前学習フレームワークとしてTimeSiamを提案する。
論文 参考訳(メタデータ) (2024-02-04T13:10:51Z) - Towards Spatio-Temporal Aware Traffic Time Series Forecasting--Full
Version [37.09531298150374]
同じ時系列パターンの複雑な時系列パターンが時間によって異なる可能性があるため、トラフィックシリーズの予測は困難である。
このような時間的モデルは、時間的位置と時間的期間に関わらず、共有パラメータ空間を使用し、時間的相関は場所間で類似しており、常に時間にわたって保持するわけではないと仮定する。
サブテンポラリモデルにICDを意識したモデルをエンコードするフレームワークを提案する。
論文 参考訳(メタデータ) (2022-03-29T16:44:56Z) - TE-ESN: Time Encoding Echo State Network for Prediction Based on
Irregularly Sampled Time Series Data [6.221375620565451]
不規則サンプリング時系列(ISTS)に基づく予測は、現実世界の応用において広く懸念されている。
Time Echo State Network(TE-ESN)という新しいモデル構造を作成します。
ISTSデータを処理できる最初のESNsベースのモデルである。
1つのカオスシステムと3つの実世界のデータセットの実験は、TE-ESNがすべてのベースラインよりも優れたパフォーマンスを示している。
論文 参考訳(メタデータ) (2021-05-02T08:00:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。