論文の概要: Evaluating Temporal Plasticity in Foundation Time Series Models for Incremental Fine-tuning

• arxiv url: http://arxiv.org/abs/2504.14677v1
• Date: Sun, 20 Apr 2025 16:43:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-29 20:51:18.159684
• Title: Evaluating Temporal Plasticity in Foundation Time Series Models for Incremental Fine-tuning
• Title（参考訳）: インクリメンタル微調整のための基礎時系列モデルにおける時間的塑性の評価
• Authors: Jia Liu, Cheng Jinguo, Xia Fang, Zhenyuan Ma, Yuankai Wu,
• Abstract要約: 時系列基礎モデルは、様々な時系列予測タスクで優れているが、漸進的な学習による継続的改善の能力は、まだ解明されていない。 本研究は,これらのモデルの時間的可塑性(連続学習による性能向上能力)を調査する最初の包括的研究である。 その結果,従来のモデルでは微調整の微調整で性能劣化に悩まされていたが,Time-MoEやChronosのような基礎モデルでは予測精度が持続的に向上していることがわかった。
• 参考スコア（独自算出の注目度）: 8.191499481025843
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Time series foundation models excel at diverse time series forecasting tasks, but their capacity for continuous improvement through incremental learning remains unexplored. We present the first comprehensive study investigating these models' temporal plasticity - their ability to progressively enhance performance through continual learning while maintaining existing capabilities. Through experiments on real-world datasets exhibiting distribution shifts, we evaluate both conventional deep learning models and foundation models using a novel continual learning framework. Our findings reveal that while traditional models struggle with performance deterioration during incremental fine-tuning, foundation models like Time-MoE and Chronos demonstrate sustained improvement in predictive accuracy. This suggests that optimizing foundation model fine-tuning strategies may be more valuable than developing domain-specific small models. Our research introduces new evaluation methodologies and insights for developing foundation time series models with robust continuous learning capabilities.
• Abstract（参考訳）: 時系列基礎モデルは、様々な時系列予測タスクで優れているが、漸進的な学習による継続的改善の能力は、まだ解明されていない。 本研究は,これらのモデルの時間的可塑性(時間的可塑性)を調査する最初の総合的研究である。 分散シフトを示す実世界のデータセットの実験を通じて,従来のディープラーニングモデルと基礎モデルの両方を,新しい連続学習フレームワークを用いて評価する。 その結果,従来のモデルでは微調整の微調整で性能劣化に悩まされていたが,Time-MoEやChronosのような基礎モデルでは予測精度が持続的に向上していることがわかった。 このことは、基礎モデルの微調整戦略を最適化することは、ドメイン固有の小さなモデルを開発するよりも価値があることを示唆している。 本研究は,堅牢な連続学習機能を持つ基礎時系列モデルを構築するための新しい評価手法と知見を紹介する。

関連論文リスト

• Decoding Latent Spaces: Assessing the Interpretability of Time Series Foundation Models for Visual Analytics [8.924278187470678]
  本研究では,時系列基礎モデルによる潜在空間の解釈可能性について検討する。 我々は,計算,予測,分類,異常検出のためのモデルMOMENTファミリーを評価した。
  論文  参考訳（メタデータ） (2025-04-26T17:24:41Z)
• TimeRAF: Retrieval-Augmented Foundation model for Zero-shot Time Series Forecasting [59.702504386429126]
  TimeRAFは検索拡張技術によるゼロショット時系列予測を強化する検索拡張予測モデルである。 TimeRAFは、エンド・ツー・エンドの学習可能なレトリバーを使用して、知識ベースから貴重な情報を抽出する。
  論文  参考訳（メタデータ） (2024-12-30T09:06:47Z)
• Recurrent Neural Goodness-of-Fit Test for Time Series [8.22915954499148]
  時系列データは、金融や医療など、さまざまな分野において重要である。 従来の評価基準は、時間的依存関係と潜在的な特徴の高次元性のために不足している。 Recurrent Neural (RENAL) Goodness-of-Fit testは,生成時系列モデルを評価するための新しい,統計的に厳密なフレームワークである。
  論文  参考訳（メタデータ） (2024-10-17T19:32:25Z)
• Temporal-Difference Variational Continual Learning [89.32940051152782]
  現実世界のアプリケーションにおける機械学習モデルの重要な機能は、新しいタスクを継続的に学習する能力である。 継続的な学習設定では、モデルは以前の知識を保持することで新しいタスクの学習のバランスをとるのに苦労することが多い。 複数の先行推定の正則化効果を統合する新たな学習目標を提案する。
  論文  参考訳（メタデータ） (2024-10-10T10:58:41Z)
• Zero-shot forecasting of chaotic systems [6.445605125467573]
  多様なドメインからの膨大な時系列データに基づいて事前訓練されたファンデーションモデル。 ゼロショット学習パラダイムがカオスシステムを予測する困難な課題に拡張されるかどうかを評価する。
  論文  参考訳（メタデータ） (2024-09-24T05:56:58Z)
• Implicit Reasoning in Deep Time Series Forecasting [16.750280337155647]
  この研究は、ディープ時系列予測モデルの推論能力を評価するための最初の一歩を踏み出した。 系統的に編成されたアウト・オブ・ディストリビューションシナリオにおいて,ある線形なパッチベーストランスフォーマーモデルが効果的に一般化できることが判明した。
  論文  参考訳（メタデータ） (2024-09-17T02:11:19Z)
• Low-Rank Adaptation of Time Series Foundational Models for Out-of-Domain Modality Forecasting [5.354055742467354]
  Low-Rank Adaptation (LoRA) は、様々なモダリティやタスクにまたがる大規模または基礎的なモデルを微調整する手法である。 本稿では,Lug-Llama,MOIRAI,Chronosといった現代時系列基盤モデルに対するLoRAの影響について検討する。
  論文  参考訳（メタデータ） (2024-05-16T16:05:33Z)
• Predictive Churn with the Set of Good Models [64.05949860750235]
  近似機械学習モデルの集合に対する競合予測の効果について検討する。 ラーショモン集合内のモデル間の係り受けに関する理論的結果を示す。 当社のアプローチは、コンシューマ向けアプリケーションにおいて、より予測し、削減し、混乱を避けるためにどのように使用できるかを示します。
  論文  参考訳（メタデータ） (2024-02-12T16:15:25Z)
• Lag-Llama: Towards Foundation Models for Probabilistic Time Series Forecasting [54.04430089029033]
  本稿では,デコーダのみの変換器アーキテクチャに基づく時系列予測のための汎用基礎モデルであるLag-Llamaを提案する。 Lag-Llamaは、複数のドメインからの多様な時系列データの大規模なコーパスで事前訓練され、強力なゼロショット一般化能力を示す。 このような未確認データセットの比較的小さな部分で微調整を行うと、Lag-Llamaは最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2023-10-12T12:29:32Z)
• Revisiting the Temporal Modeling in Spatio-Temporal Predictive Learning under A Unified View [73.73667848619343]
  UTEP(Unified S-Temporal Predictive Learning)は,マイクロテンポラリスケールとマクロテンポラリスケールを統合した再帰的および再帰的フリーな手法を再構築する,革新的なフレームワークである。
  論文  参考訳（メタデータ） (2023-10-09T16:17:42Z)
• OpenSTL: A Comprehensive Benchmark of Spatio-Temporal Predictive Learning [67.07363529640784]
  提案するOpenSTLは,一般的なアプローチを再帰的モデルと再帰的モデルに分類する。 我々は, 合成移動物体軌道, 人間の動き, 運転シーン, 交通流, 天気予報など, さまざまな領域にわたるデータセットの標準評価を行う。 リカレントフリーモデルは、リカレントモデルよりも効率と性能のバランスが良いことがわかった。
  論文  参考訳（メタデータ） (2023-06-20T03:02:14Z)
• Back2Future: Leveraging Backfill Dynamics for Improving Real-time Predictions in Future [73.03458424369657]
  公衆衛生におけるリアルタイム予測では、データ収集は簡単で要求の多いタスクである。 過去の文献では「バックフィル」現象とそのモデル性能への影響についてはほとんど研究されていない。 我々は、与えられたモデルの予測をリアルタイムで洗練することを目的とした、新しい問題とニューラルネットワークフレームワークBack2Futureを定式化する。
  論文  参考訳（メタデータ） (2021-06-08T14:48:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。