論文の概要: UniCA: Adapting Time Series Foundation Model to General Covariate-Aware Forecasting
- arxiv url: http://arxiv.org/abs/2506.22039v1
- Date: Fri, 27 Jun 2025 09:35:51 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-06-30 21:12:23.151273
- Title: UniCA: Adapting Time Series Foundation Model to General Covariate-Aware Forecasting
- Title(参考訳): UniCA: 時系列ファンデーションモデルを一般共変量対応の予測に適用
- Authors: Lu Han, Yu Liu, Qiwen Deng, Jian Jiang, Yinbo Sun, Zhe Yu, Binfeng Wang, Xingyu Lu, Lintao Ma, Han-Jia Ye, De-Chuan Zhan,
- Abstract要約: Time Series Foundation Models (TSFMs) は大規模な事前トレーニングを通じて大きな成功を収めた。
彼らの設計は主に実数値級数をターゲットにしており、一般的な予測タスクを扱う能力を制限する。
我々は、一般共変量認識予測でTSFMをブリッジするフレームワークであるUniCAを提案する。
- 参考スコア(独自算出の注目度): 53.39450166672876
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Time Series Foundation Models (TSFMs) have achieved remarkable success through large-scale pretraining. However, their design primarily targets real-valued series, limiting their ability to handle general forecasting tasks involving diverse and often heterogeneous covariates--such as categorical variables and multimodal data (e.g., images, text)--which are typically task-specific and difficult to leverage during pretraining. To address this gap, we propose Unified Covariate Adaptation (UniCA), a framework to bridge TSFMs with general covariate-aware forecasting. UniCA first performs covariate homogenization to transform heterogeneous covariates into high-level homogeneous series representations and then fuses them via a unified attention-based fusion mechanism. UniCA is compatible and universal for adaptation with both homogeneous and heterogeneous covariates, incorporating extra covariate information while preserving the generalization ability of TSFMs.Extensive experiments on multiple unimodal and multimodal covariate-aware forecasting benchmarks demonstrate the superiority of UniCA, highlighting the promise of covariate-aware TSFM adaptation in real-world forecasting scenarios. Codes are released on https://github.com/hanlu-nju/UniCA.
- Abstract(参考訳): Time Series Foundation Models (TSFMs) は大規模な事前トレーニングを通じて大きな成功を収めた。
しかし、それらの設計は主に実数値級数をターゲットにしており、多種多様かつ多種多様な共変量を含む一般的な予測タスク(例えば、画像、テキストなど)を扱う能力を制限する。
このギャップに対処するために、一般共変量認識予測とTSFMをブリッジするフレームワークUnified Covariate Adaptation (UniCA)を提案する。
UniCAは、まず共変量均質化を行い、異質共変を高次同質級数表現に変換し、その後、統一された注意に基づく融合機構によってそれらを融合させる。
UniCAは、TSFMの一般化能力を保ちながら余分な共変量情報を導入しながら、同種共変量と異種共変量の両方に適応するために、互換性があり普遍的であり、複数の一様および多様共変量対応予測ベンチマークに対する大規模な実験により、実世界の予測シナリオにおける共変量対応TSFM適応の可能性を強調した。
コードはhttps://github.com/hanlu-nju/UniCAで公開されている。
関連論文リスト
- UniVarFL: Uniformity and Variance Regularized Federated Learning for Heterogeneous Data [2.6733991338938026]
UniVarFLは、IIDライクなトレーニングダイナミクスを直接クライアントレベルでエミュレートする新しいFLフレームワークである。
複数のベンチマークデータセットの実験では、UniVarFLが既存のメソッドよりも精度が高いことが示されている。
論文 参考訳(メタデータ) (2025-06-09T19:25:35Z) - Bridging Distribution Gaps in Time Series Foundation Model Pretraining with Prototype-Guided Normalization [29.082583523943157]
本稿では,Transformerアーキテクチャ内でのドメイン対応適応正規化戦略を提案する。
従来のLayerNormをプロトタイプ誘導動的正規化機構(ProtoNorm)に置き換える。
本手法は,従来の事前学習手法よりも,分類タスクと予測タスクの両方において優れていた。
論文 参考訳(メタデータ) (2025-04-15T06:23:00Z) - MGCP: A Multi-Grained Correlation based Prediction Network for Multivariate Time Series [54.91026286579748]
本稿では,マルチグラインド相関に基づく予測ネットワークを提案する。
予測性能を高めるために3段階の相関を同時に検討する。
注意機構に基づく予測器と条件判別器を用いて、粗い粒度の予測結果を最適化する。
論文 参考訳(メタデータ) (2024-05-30T03:32:44Z) - ForecastGrapher: Redefining Multivariate Time Series Forecasting with Graph Neural Networks [9.006068771300377]
本稿では、複雑な時間的ダイナミクスと系列間相関をキャプチャするフレームワークであるForecastGrapherを紹介する。
提案手法は,各系列の時間的変動を反映するカスタムノード埋め込みの生成,系列間の相関関係を符号化する適応的隣接行列の構築,および第3に,ノード特徴分布の多様化によるGNNの表現力の増大という,3つの重要なステップによって支えられている。
論文 参考訳(メタデータ) (2024-05-28T10:40:20Z) - DGCformer: Deep Graph Clustering Transformer for Multivariate Time Series Forecasting [16.081071155397186]
本稿では,多変量時系列予測のためのDeep Graph Clustering Transformer (DGCformer)を提案する。
まず、これらの関連する変数をオートエンコーダと統合されたグラフ畳み込みネットワークでグループ化し、その後、以前のラスタマスクによる自己保持機構を検討する。
論文 参考訳(メタデータ) (2024-05-14T09:01:33Z) - Enhancing Multimodal Unified Representations for Cross Modal Generalization [52.16653133604068]
我々は、コードブック(TOC)のトレーニング不要最適化と、FCID(Fin and Coarse Cross-modal Information Disentangling)を提案する。
これらの方法は、各モードの特定の特性に合わせて、事前学習から統一された離散表現を洗練し、きめ細かな情報と粗い情報の絡み合わせを行う。
論文 参考訳(メタデータ) (2024-03-08T09:16:47Z) - Generalizable Heterogeneous Federated Cross-Correlation and Instance
Similarity Learning [60.058083574671834]
本稿では,新しいFCCL+,フェデレーション相関と非ターゲット蒸留との類似性学習を提案する。
不均一な問題に対しては、無関係な公開データを通信に活用する。
局所的な更新段階における破滅的な忘れ物として、FCCL+はFederated Non Target Distillationを導入している。
論文 参考訳(メタデータ) (2023-09-28T09:32:27Z) - Ensembles of Localised Models for Time Series Forecasting [7.199741890914579]
本研究では,一般GFMや一変数モデルを用いたアンサンブル手法の活用について検討する。
私たちの作業は、クラスタリングシリーズやクラスタごとに別々のサブモデルのトレーニングなど、関連する現在のアプローチを体系化し比較します。
複数のGFMを複数のクラスタでトレーニングするクラスタアンサンブルの新しい方法論を提案します。
論文 参考訳(メタデータ) (2020-12-30T06:33:51Z) - Posterior Differential Regularization with f-divergence for Improving
Model Robustness [95.05725916287376]
クリーン入力とノイズ入力のモデル後部差を規則化する手法に着目する。
後微分正則化を$f$-divergencesの族に一般化する。
実験の結果, 後方微分を$f$-divergenceで正規化することで, モデルロバスト性の向上が期待できることがわかった。
論文 参考訳(メタデータ) (2020-10-23T19:58:01Z) - Feature Transformation Ensemble Model with Batch Spectral Regularization
for Cross-Domain Few-Shot Classification [66.91839845347604]
特徴抽出ネットワークの後に多様な特徴変換を行うことにより,アンサンブル予測モデルを提案する。
我々は,事前学習中に特徴行列の特異値を抑制するために,バッチスペクトル正規化項を用い,モデルの一般化能力を向上させる。
提案したモデルは、ターゲット領域で微調整して、数発の分類に対処することができる。
論文 参考訳(メタデータ) (2020-05-18T05:31:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。