論文の概要: Are Time Series Foundation Models Susceptible to Catastrophic Forgetting?
- arxiv url: http://arxiv.org/abs/2510.00809v2
- Date: Thu, 02 Oct 2025 09:08:29 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-10-03 16:59:20.547058
- Title: Are Time Series Foundation Models Susceptible to Catastrophic Forgetting?
- Title(参考訳): 時系列基礎モデルは破滅的な予測に影響されるか?
- Authors: Nouha Karaouli, Denis Coquenet, Elisa Fromont, Martial Mermillod, Marina Reyboz,
- Abstract要約: Time Series Foundation Models (TSFMs) は様々な予測タスクにまたがるゼロショットの一般化を約束している。
複数のデータセットに対して逐次微調整を行った場合,TSFMが破滅的忘れを負う程度について検討した。
- 参考スコア(独自算出の注目度): 2.692427265051276
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Time Series Foundation Models (TSFMs) have shown promising zero-shot generalization across diverse forecasting tasks. However, their robustness to continual adaptation remains underexplored. In this work, we investigate the extent to which TSFMs suffer from catastrophic forgetting when fine-tuned sequentially on multiple datasets. Using synthetic datasets designed with varying degrees of periodic structure, we measure the trade-off between adaptation to new data and retention of prior knowledge. Our experiments reveal that, while fine-tuning improves performance on new tasks, it often causes significant degradation on previously learned ones, illustrating a fundamental stability-plasticity dilemma.
- Abstract(参考訳): Time Series Foundation Models (TSFMs) は様々な予測タスクにまたがるゼロショットの一般化を約束している。
しかし、その継続的適応に対する頑健さはいまだに解明されていない。
本研究では,複数のデータセット上で逐次微調整を行った場合,TSFMが破滅的忘れを負う程度について検討する。
周期構造の異なる合成データセットを用いて、新しいデータへの適応と事前知識の保持の間のトレードオフを測定する。
実験の結果, 微調整によって新しいタスクの性能が向上する一方で, 従来学習したタスクに顕著な劣化が生じ, 基本的な安定性・塑性ジレンマが説明できることがわかった。
関連論文リスト
- Estimating Time Series Foundation Model Transferability via In-Context Learning [74.65355820906355]
時系列基礎モデル(TSFM)は、大規模な事前訓練を通じて強力なゼロショット予測を提供する。
微調整は、公開データに制限のあるドメインのパフォーマンス向上に依然として不可欠である。
モデル選択をコンテキスト内学習問題として再キャストする転送可能性推定フレームワークであるTimeTicを紹介する。
論文 参考訳(メタデータ) (2025-09-28T07:07:13Z) - Multi-Scale Finetuning for Encoder-based Time Series Foundation Models [56.503053716053]
時系列基礎モデル (TSFM) は, 時系列予測において印象的なゼロショット性能を示す。
我々は、TSFMの能力を十分に活用するに足りず、しばしば過度な適合と準最適性能をもたらすと論じている。
マルチスケールモデリングをファインタニングプロセスに明示的に統合するシンプルなフレームワークであるtextbftextscfinetextbftextsctuning (textbfMSFT)を提案する。
論文 参考訳(メタデータ) (2025-06-17T01:06:01Z) - Less is More: Unlocking Specialization of Time Series Foundation Models via Structured Pruning [27.23328609888911]
時系列基礎モデル 広大なパラメータを事前訓練し、驚くべきゼロショット予測性能を達成する。
驚くべきことに、微調整後も、TSFMは、フルショットダウンストリームデータでトレーニングされた、より小さな、特殊なモデルよりも一貫してパフォーマンスを向上することはできない。
より関連性が高くコンパクトなパラメータ空間に焦点を合わせることにより、その後の微調整プロセスを正規化するための構造化プルーニング法を提案する。
論文 参考訳(メタデータ) (2025-05-29T07:33:49Z) - Empowering Time Series Analysis with Synthetic Data: A Survey and Outlook in the Era of Foundation Models [104.17057231661371]
時系列解析は複雑なシステムの力学を理解するために重要である。
基本モデルの最近の進歩はタスク非依存の時系列基礎モデル (TSFM) と大規模言語モデルベース時系列モデル (TSLLM) につながっている。
彼らの成功は、規制、多様性、品質、量制約のために構築が困難である、大規模で多様で高品質なデータセットに依存する。
本調査では,TSFMとTLLLMの合成データの総合的なレビュー,データ生成戦略の分析,モデル事前学習におけるそれらの役割,微調整,評価,今後の研究方向性の特定について述べる。
論文 参考訳(メタデータ) (2025-03-14T13:53:46Z) - Battling the Non-stationarity in Time Series Forecasting via Test-time Adaptation [39.7344214193566]
時系列予測(TSF)に適した先駆的なテスト時間適応フレームワークを提案する。
TSF-TTAに対する提案手法であるTAFASは、事前学習中に学習したコアセマンティック情報を保存しながら、ソース予測器をフレキシブルに適応してテスト分布を継続的にシフトさせる。
部分的に観測された真実とゲートキャリブレーションモジュールの新たな利用により、ソース予測器のプロアクティブ、ロバスト、モデルに依存しない適応が可能となった。
論文 参考訳(メタデータ) (2025-01-09T04:59:15Z) - Evaluating Time Series Foundation Models on Noisy Periodic Time Series [0.0]
本稿では,雑音周期時系列を構成する2つのデータセットに対して,時系列基礎モデル(TSFM)の性能を評価する実験的検討を行った。
以上の結果から, TSFMは, 周期が制限された時系列に対して, より長い時間, 高い雑音レベル, サンプリング率, より複雑な時系列形状で予測能力が低下することが示唆された。
論文 参考訳(メタデータ) (2025-01-01T16:36:21Z) - Large Continual Instruction Assistant [59.585544987096974]
CIT(Continuous Instruction Tuning)は、大規模モデルにデータによる人間の意図データに従うよう指示するために用いられる。
既存の更新勾配は、CITプロセス中に前のデータセットのパフォーマンスを著しく損なうことになる。
本稿では,この課題に対処する汎用的な連続的命令チューニングフレームワークを提案する。
論文 参考訳(メタデータ) (2024-10-08T11:24:59Z) - Fast-Slow Test-Time Adaptation for Online Vision-and-Language Navigation [67.18144414660681]
オンラインビジョン・アンド・ランゲージナビゲーション(VLN)のためのFSTTA(Fast-Slow Test-Time Adaptation)アプローチを提案する。
提案手法は,4つのベンチマークにおいて顕著な性能向上を実現する。
論文 参考訳(メタデータ) (2023-11-22T07:47:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。