論文の概要: Estimating Time Series Foundation Model Transferability via In-Context Learning

• arxiv url: http://arxiv.org/abs/2509.23695v1
• Date: Sun, 28 Sep 2025 07:07:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-30 22:32:19.383533
• Title: Estimating Time Series Foundation Model Transferability via In-Context Learning
• Title（参考訳）: 文脈学習による時系列モデル転送可能性の推定
• Authors: Qingren Yao, Ming Jin, Chengqi Zhang, Chao-Han Huck Yang, Jun Qi, Shirui Pan,
• Abstract要約: 時系列基礎モデル(TSFM)は、大規模な事前訓練を通じて強力なゼロショット予測を提供する。 微調整は、公開データに制限のあるドメインのパフォーマンス向上に依然として不可欠である。 モデル選択をコンテキスト内学習問題として再キャストする転送可能性推定フレームワークであるTimeTicを紹介する。
• 参考スコア（独自算出の注目度）: 74.65355820906355
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Time series foundation models (TSFMs) offer strong zero-shot forecasting via large-scale pre-training, yet fine-tuning remains critical for boosting performance in domains with limited public data. With the growing number of TSFMs, efficiently identifying the best model for downstream fine-tuning becomes increasingly challenging. In this work, we introduce TimeTic, a transferability estimation framework that recasts model selection as an in-context-learning problem: given observations on known (source) datasets, it predicts how a TSFM will perform after fine-tuning on a downstream (target) dataset. TimeTic flexibly organizes the observed model-data relationships as contextual information, allowing it to adapt seamlessly to various test-time scenarios. Leveraging the natural tabular structure formed by dataset meta-features, model characteristics, and fine-tuned performance, we employ tabular foundation models to serve as in-context learners. We further introduce a novel model characterization based on entropy evolution across model layers, capturing embedding-space distinctions and enabling TimeTic to generalize across arbitrary model sets. We establish a comprehensive benchmark for transferability estimation including 10 datasets, 10 foundation models, and 3 forecasting tasks. On this benchmark, TimeTic's estimation demonstrates strong alignment with actual fine-tuned performance for previously unseen datasets, achieving a mean rank correlation of approximately 0.6 and a 30% improvement compared to using zero-shot performance as the transferability score.
• Abstract（参考訳）: 時系列基礎モデル(TSFM)は、大規模な事前トレーニングを通じて強力なゼロショット予測を提供するが、詳細なチューニングは、限られたパブリックデータを持つドメインのパフォーマンス向上に不可欠である。 TSFMの増加に伴い、下流の微調整に最適なモデルを特定することはますます困難になっている。 本研究では,モデル選択をコンテキスト内学習問題として再キャストする転送可能性推定フレームワークであるTimeTicを紹介する。 既知の(ソース)データセットの観測から,ダウンストリーム(ターゲット)データセットの微調整後にTSFMがどのように実行されるかを予測する。 TimeTicは、観測されたモデルとデータの関係をコンテキスト情報として柔軟に整理し、様々なテスト時間シナリオにシームレスに適応できるようにします。 データセットのメタ機能,モデル特性,微調整性能によって形成される自然な表構造を利用して,テキスト内学習者として表層基礎モデルを用いる。 さらに、モデル層間のエントロピー進化に基づく新しいモデル特徴付けを導入し、埋め込み空間の区別をキャプチャし、任意のモデル集合間でTimeTicを一般化できるようにする。 10のデータセット、10の基盤モデル、3の予測タスクを含む、転送可能性推定のための包括的なベンチマークを確立する。 このベンチマークでは、TimeTicの推定値が、それまで見られなかったデータセットの実際の微調整性能と強く一致していることを示し、転送可能性スコアとしてゼロショット性能を使用する場合と比較して、平均ランク相関が約0.6、30%改善されている。

関連論文リスト

• Measuring Pre-training Data Quality without Labels for Time Series Foundation Models [10.64362760848387]
  基礎モデルで学習した表現空間の質を評価するための新しい尺度であるコントラスト精度を導入する。 実験の結果,提案手法とモデル精度との正の相関関係を下流タスクの集合上で明らかにした。
  論文  参考訳（メタデータ） (2024-12-09T10:38:30Z)
• Drift-Resilient TabPFN: In-Context Learning Temporal Distribution Shifts on Tabular Data [39.40116554523575]
  In-Context Learning with a Prior-Data Fitted Network に基づく新しいアプローチである Drift-Resilient TabPFN を提案する。 先行した合成データセットのベイズ推定を近似することを学ぶ。 精度は0.688から0.744に向上し、OC AUCは0.786から0.832に向上し、キャリブレーションも強化された。
  論文  参考訳（メタデータ） (2024-11-15T23:49:23Z)
• GIFT-Eval: A Benchmark For General Time Series Forecasting Model Evaluation [90.53485251837235]
  時系列基礎モデルはゼロショット予測に優れ、明示的なトレーニングなしで多様なタスクを処理する。 GIFT-Evalは、多様なデータセットに対する評価を促進するための先駆的なベンチマークである。 GIFT-Evalには、144,000の時系列と17700万のデータポイントの23のデータセットが含まれている。
  論文  参考訳（メタデータ） (2024-10-14T11:29:38Z)
• Chronos: Learning the Language of Time Series [79.38691251254173]
  Chronosは事前訓練された確率的時系列モデルのためのフレームワークである。 クロノスモデルでは,様々な領域の時系列データを利用して,未知の予測タスクにおけるゼロショット精度を向上させることができることを示す。
  論文  参考訳（メタデータ） (2024-03-12T16:53:54Z)
• EXPRTS: Exploring and Probing the Robustness of Time Series Forecasting Models [1.23187154417297]
  我々は時系列を生成するための解釈可能でシンプルなフレームワークを開発する。 本手法は時系列分解と解析関数を組み合わせることで,分布内データと分布外データの両方に一致する特性を持つ時系列を生成することができる。 私たちは、モデルロバスト性を改善するために、我々のフレームワークが意味のあるOOD時系列を生成する方法を示します。
  論文  参考訳（メタデータ） (2024-03-06T07:34:47Z)
• TEMPO: Prompt-based Generative Pre-trained Transformer for Time Series Forecasting [24.834846119163885]
  本稿では,時系列表現を効果的に学習できる新しいフレームワークTEMPOを提案する。 TEMPOは、様々な領域のデータから現実世界の時間現象を動的にモデル化する機能を拡張する。
  論文  参考訳（メタデータ） (2023-10-08T00:02:25Z)
• Unified Long-Term Time-Series Forecasting Benchmark [0.6526824510982802]
  本稿では,時系列予測のための包括的データセットを提案する。 多様な動的システムと実生活記録から得られたデータセットのコレクションを組み込んだ。 多様なシナリオにおいて最も効果的なモデルを決定するために、古典的および最先端のモデルを用いて広範なベンチマーク分析を行う。 本研究は,これらのモデルの性能比較を興味深いものにし,モデルの有効性のデータセット依存性を強調した。
  論文  参考訳（メタデータ） (2023-09-27T18:59:00Z)
• Comparing Test Sets with Item Response Theory [53.755064720563]
  我々は,18の事前学習トランスフォーマーモデルから予測した29のデータセットを個別のテスト例で評価した。 Quoref、HellaSwag、MC-TACOは最先端のモデルを区別するのに最適である。 また、QAMRやSQuAD2.0のようなQAデータセットに使用されるスパン選択タスク形式は、強いモデルと弱いモデルとの差別化に有効である。
  論文  参考訳（メタデータ） (2021-06-01T22:33:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。