論文の概要: CoRA: Covariate-Aware Adaptation of Time Series Foundation Models

• arxiv url: http://arxiv.org/abs/2510.12681v1
• Date: Tue, 14 Oct 2025 16:20:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-15 21:19:14.999258
• Title: CoRA: Covariate-Aware Adaptation of Time Series Foundation Models
• Title（参考訳）: CoRA:時系列基礎モデルの共変量対応
• Authors: Guo Qin, Zhi Chen, Yong Liu, Zhiyuan Shi, Haixuan Liu, Xiangdong Huang, Jianmin Wang, Mingsheng Long,
• Abstract要約: Time Series Foundation Models (TSFM) は、そのモデル容量、スケーラビリティ、ゼロショットの一般化を通じて、大きな影響を与えている。 TSFMのための一般共変量認識適応(CoRA)フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 47.20786327020571
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Time Series Foundation Models (TSFMs) have shown significant impact through their model capacity, scalability, and zero-shot generalization. However, due to the heterogeneity of inter-variate dependencies and the backbone scalability on large-scale multivariate datasets, most TSFMs are typically pre-trained on univariate time series. This limitation renders them oblivious to crucial information from diverse covariates in real-world forecasting tasks. To further enhance the performance of TSFMs, we propose a general covariate-aware adaptation (CoRA) framework for TSFMs. It leverages pre-trained backbones of foundation models while effectively incorporating exogenous covariates from various modalities, including time series, language, and images, to improve the quality of predictions. Technically, CoRA maintains the equivalence of initialization and parameter consistency during adaptation. With preserved backbones of foundation models as frozen feature extractors, the outcome embeddings from foundation models are empirically demonstrated more informative than raw data. Further, CoRA employs a novel Granger Causality Embedding (GCE) to automatically evaluate covariates regarding their causal predictability with respect to the target variate. We incorporate these weighted embeddings with a zero-initialized condition-injection mechanism, avoiding catastrophic forgetting of pre-trained foundation models and gradually integrates exogenous information. Extensive experiments show that CoRA of TSFMs surpasses state-of-the-art covariate-aware deep forecasters with full or few-shot training samples, achieving 31.1% MSE reduction on covariate-aware forecasting. Compared to other adaptation methods, CoRA exhibits strong compatibility with various advanced TSFMs and extends the scope of covariates to other modalities, presenting a practical paradigm for the application of TSFMs.
• Abstract（参考訳）: Time Series Foundation Models (TSFM) は、そのモデル容量、スケーラビリティ、ゼロショットの一般化を通じて、大きな影響を与えている。 しかし、変量依存関係の不均一性と大規模マルチ変量データセットのバックボーンスケーラビリティのため、ほとんどのTSFMは典型的には単変量時系列で事前訓練される。 この制限は、現実世界の予測タスクにおいて、様々な共変量から重要な情報を得るのを妨げる。 TSFMの性能をさらに高めるため, TSFMのための一般共変量対応フレームワーク(CoRA)を提案する。 基礎モデルの事前訓練されたバックボーンを活用し、時系列、言語、画像など様々なモダリティから外因性共変体を効果的に取り入れ、予測の質を向上させる。 技術的には、CoRAは適応時の初期化とパラメータ一貫性の等価性を維持している。 基礎モデルの保存されたバックボーンを凍結した特徴抽出器として、基礎モデルからの成果埋め込みは、生データよりも経験的に有益であることが示される。 さらに、CoRAは新規なGranger Causality Embedding (GCE)を用いて、標的変数に対する因果予測可能性に関する共変量を自動的に評価する。 これらの重み付き埋め込みをゼロ初期化条件注入機構に組み込み、事前訓練された基礎モデルの破滅的な忘れを回避し、徐々に外因性情報を統合する。 大規模な実験により、TSFMのCoRAは最先端のコヴァリエート認識深度予測器を超過し、コヴァリエート認識予測において31.1%のMSE削減を達成した。 他の適応法と比較して、CoRAは様々な高度なTSFMと強い互換性を示し、共変量の範囲を他のモダリティにまで拡張し、TSFMの適用の実践的なパラダイムを提示している。

関連論文リスト

• WSM: Decay-Free Learning Rate Schedule via Checkpoint Merging for LLM Pre-training [64.0932926819307]
  本稿では,学習速度減衰とモデルマージの正式な関係を確立するフレームワークであるWarmup-Stable and Merge(WSM)を紹介する。 WSMは様々な崩壊戦略をエミュレートするための統一された理論基盤を提供する。 私たちのフレームワークは、複数のベンチマークで広く採用されているWarmup-Stable-Decay(WSD)アプローチよりも一貫して優れています。
  論文  参考訳（メタデータ） (2025-07-23T16:02:06Z)
• UniCA: Adapting Time Series Foundation Model to General Covariate-Aware Forecasting [53.39450166672876]
  Time Series Foundation Models (TSFMs) は大規模な事前トレーニングを通じて大きな成功を収めた。 彼らの設計は主に実数値級数をターゲットにしており、一般的な予測タスクを扱う能力を制限する。 我々は、一般共変量認識予測でTSFMをブリッジするフレームワークであるUniCAを提案する。
  論文  参考訳（メタデータ） (2025-06-27T09:35:51Z)
• TS-RAG: Retrieval-Augmented Generation based Time Series Foundation Models are Stronger Zero-Shot Forecaster [14.512119661418522]
  時系列予測のための検索拡張生成フレームワークTS-RAGを提案する。 具体的には、TS-RAGはトレーニング済みの時系列エンコーダを利用して、専用の知識ベースから意味的に関連するセグメントを検索する。 TS-RAG は最先端のゼロショット予測性能を達成し,既存の TSFM を6.84% まで上回った。
  論文  参考訳（メタデータ） (2025-03-06T16:48:48Z)
• Preconditioned Inexact Stochastic ADMM for Deep Model [35.37705488695026]
  本稿では,拡張性のある並列コンピューティングを実現するアルゴリズムであるPISAを開発し,様々な前提条件をサポートする。 これは、有界領域上の勾配のリプシッツ連続性の唯一の仮定の下で収束し、メソッドによって一般的に課される他の条件の必要性を取り除く。 様々な最先端の繰り返しに比べて優れた数値性能を示す。
  論文  参考訳（メタデータ） (2025-02-15T12:28:51Z)
• Ensemble Prediction via Covariate-dependent Stacking [0.0]
  本研究では,CDST (covariate-dependent stacking) という,アンサンブル予測の新しい手法を提案する。 従来の積み重ね法やモデル平均化法とは異なり、CDSTはモデルの重みを共変量の関数として柔軟に変化させることができる。 以上の結果から,CDSTは複雑性・時間的予測問題に特に有用であるが有用ではないことが示唆された。
  論文  参考訳（メタデータ） (2024-08-19T07:31:31Z)
• Model Inversion Attacks Through Target-Specific Conditional Diffusion Models [54.69008212790426]
  モデル反転攻撃(MIA)は、ターゲット分類器のトレーニングセットからプライベートイメージを再構築することを目的としており、それによってAIアプリケーションにおけるプライバシー上の懸念が高まる。 従来のGANベースのMIAは、GANの固有の欠陥と潜伏空間における最適化の偏りにより、劣った遺伝子的忠実度に悩まされる傾向にある。 これらの問題を緩和するために拡散モデル反転(Diff-MI)攻撃を提案する。
  論文  参考訳（メタデータ） (2024-07-16T06:38:49Z)
• Trustworthy Multimodal Regression with Mixture of Normal-inverse Gamma Distributions [91.63716984911278]
  このアルゴリズムは、異なるモードの適応的統合の原理における不確かさを効率的に推定し、信頼できる回帰結果を生成する。 実世界のデータと実世界のデータの両方に対する実験結果から,多モード回帰タスクにおける本手法の有効性と信頼性が示された。
  論文  参考訳（メタデータ） (2021-11-11T14:28:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。