論文の概要: Less is More: Unlocking Specialization of Time Series Foundation Models via Structured Pruning

• arxiv url: http://arxiv.org/abs/2505.23195v1
• Date: Thu, 29 May 2025 07:33:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-30 18:14:07.74617
• Title: Less is More: Unlocking Specialization of Time Series Foundation Models via Structured Pruning
• Title（参考訳）: 詳細:構造化プルーニングによる時系列ファンデーションモデルのアンロック化
• Authors: Lifan Zhao, Yanyan Shen, Zhaoyang Liu, Xue Wang, Jiaji Deng,
• Abstract要約: 時系列基礎モデル 広大なパラメータを事前訓練し、驚くべきゼロショット予測性能を達成する。 驚くべきことに、微調整後も、TSFMは、フルショットダウンストリームデータでトレーニングされた、より小さな、特殊なモデルよりも一貫してパフォーマンスを向上することはできない。 より関連性が高くコンパクトなパラメータ空間に焦点を合わせることにより、その後の微調整プロセスを正規化するための構造化プルーニング法を提案する。
• 参考スコア（独自算出の注目度）: 29.377178687865136
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Scaling laws motivate the development of Time Series Foundation Models (TSFMs) that pre-train vast parameters and achieve remarkable zero-shot forecasting performance. Surprisingly, even after fine-tuning, TSFMs cannot consistently outperform smaller, specialized models trained on full-shot downstream data. A key question is how to realize effective adaptation of TSFMs for a target forecasting task. Through empirical studies on various TSFMs, the pre-trained models often exhibit inherent sparsity and redundancy in computation, suggesting that TSFMs have learned to activate task-relevant network substructures to accommodate diverse forecasting tasks. To preserve this valuable prior knowledge, we propose a structured pruning method to regularize the subsequent fine-tuning process by focusing it on a more relevant and compact parameter space. Extensive experiments on seven TSFMs and six benchmarks demonstrate that fine-tuning a smaller, pruned TSFM significantly improves forecasting performance compared to fine-tuning original models. This "prune-then-finetune" paradigm often enables TSFMs to achieve state-of-the-art performance and surpass strong specialized baselines.
• Abstract（参考訳）: スケーリング法則は、膨大なパラメータを事前訓練し、卓越したゼロショット予測性能を達成する時系列基礎モデル(TSFM)の開発を動機付けている。 驚くべきことに、微調整後も、TSFMは、フルショットダウンストリームデータでトレーニングされた、より小さな、特殊なモデルよりも一貫してパフォーマンスを向上することはできない。 重要な疑問は、ターゲット予測タスクに対するTSFMの効果的な適応を実現する方法である。 様々なTSFMに関する実証研究を通じて、事前訓練されたモデルは、計算において固有の空間性と冗長性を示すことが多く、TSFMは様々な予測タスクに対応するためにタスク関連ネットワークサブ構造を活性化することを学んだことを示唆している。 この価値ある事前知識を維持するために、より関連性が高くコンパクトなパラメータ空間に焦点をあてることで、その後の微調整プロセスを規則化するための構造化プルーニング法を提案する。 7つのTSFMと6つのベンチマークによる大規模な実験により、微調整されたTSFMは、微調整されたオリジナルのモデルと比較して予測性能を著しく向上することが示された。 この「プルー・テン・ファイントゥン」パラダイムは、TSFMが最先端のパフォーマンスを達成し、強力な特殊ベースラインを超えることをしばしば可能にしている。

関連論文リスト

• TS-RAG: Retrieval-Augmented Generation based Time Series Foundation Models are Stronger Zero-Shot Forecaster [14.512119661418522]
  時系列予測のための検索拡張生成フレームワークTS-RAGを提案する。 具体的には、TS-RAGはトレーニング済みの時系列エンコーダを利用して、専用の知識ベースから意味的に関連するセグメントを検索する。 TS-RAG は最先端のゼロショット予測性能を達成し,既存の TSFM を6.84% まで上回った。
  論文  参考訳（メタデータ） (2025-03-06T16:48:48Z)
• Investigating Compositional Reasoning in Time Series Foundation Models [16.421597202235112]
  TSFMアーキテクチャ設計が構成的推論と一般化に与える影響について検討する。 私たちはパッチベースのトランスフォーマーが最高の理由付け性能を持っていることに気付きました。 いくつかのゼロショットのアウト・オブ・ディストリビューションのシナリオでは、これらのモデルは、イン・ディストリビューションデータに基づいてトレーニングされた移動平均と指数的スムーズな統計ベースラインより優れている。
  論文  参考訳（メタデータ） (2025-02-09T21:21:55Z)
• Time Series Foundational Models: Their Role in Anomaly Detection and Prediction [0.0]
  時系列基礎モデル (TSFM) は時系列予測において注目されている。 本稿では,異常検出および予測タスクにおけるTSFMの有効性を批判的に評価する。
  論文  参考訳（メタデータ） (2024-12-26T17:15:30Z)
• Specialized Foundation Models Struggle to Beat Supervised Baselines [60.23386520331143]
  ゲノミクス、衛星画像、時系列の3つのモードを最近のFMで調べ、それらを標準的な教師付き学習ワークフローと比較する。 最新のファンデーションモデルにマッチしたり、性能を上回るような、シンプルな教師付きモデルのトレーニングが一貫して可能であることが分かりました。
  論文  参考訳（メタデータ） (2024-11-05T04:10:59Z)
• Revisiting SMoE Language Models by Evaluating Inefficiencies with Task Specific Expert Pruning [78.72226641279863]
  SMOE(Sparse Mixture of Expert)モデルは、言語モデリングにおける高密度モデルに代わるスケーラブルな代替品として登場した。 本研究は,SMoEアーキテクチャの設計に関する意思決定を行うために,タスク固有のモデルプルーニングについて検討する。 適応型タスク対応プルーニング手法 UNCURL を導入し,MoE 層当たりの専門家数をオフラインで学習する手法を提案する。
  論文  参考訳（メタデータ） (2024-09-02T22:35:03Z)
• Forecast-PEFT: Parameter-Efficient Fine-Tuning for Pre-trained Motion Forecasting Models [68.23649978697027]
  Forecast-PEFTは、モデルのパラメータの大部分を凍結し、新しく導入されたプロンプトとアダプタの調整に集中する微調整戦略である。 実験の結果,Forecast-PEFTは動作予測タスクにおいて従来のフルチューニング手法よりも優れていた。 Forecast-FTは予測性能をさらに改善し、従来のベースライン法よりも最大9.6%向上した。
  論文  参考訳（メタデータ） (2024-07-28T19:18:59Z)
• Parsimony or Capability? Decomposition Delivers Both in Long-term Time Series Forecasting [46.63798583414426]
  時系列予測(LTSF)は時系列分析において重要なフロンティアである。 本研究は, 分析的および実証的な証拠から, 分解が過剰なモデルインフレーションを包含する鍵であることを実証する。 興味深いことに、時系列データの本質的なダイナミクスに分解を合わせることで、提案モデルは既存のベンチマークより優れている。
  論文  参考訳（メタデータ） (2024-01-22T13:15:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。