論文の概要: Distilling Time Series Foundation Models for Efficient Forecasting

• arxiv url: http://arxiv.org/abs/2601.12785v1
• Date: Mon, 19 Jan 2026 07:32:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-21 22:47:22.7904
• Title: Distilling Time Series Foundation Models for Efficient Forecasting
• Title（参考訳）: 効率的な予測のための蒸留時系列基礎モデル
• Authors: Yuqi Li, Kuiye Ding, Chuanguang Yang, Szu-Yu Chen, Yingli Tian,
• Abstract要約: 時系列基礎モデル(TSFM)に特化して設計された最初の蒸留フレームワークであるDistilTSについて紹介する。 DistilTSは,(1)タスクの難しさの相違,すなわち予測に特有な,一様重み付けが短期的地平線に支配されるのに対して,長期的な地平線はより監督が弱い,(2)蒸留におけるアーキテクチャの相違,すなわち時系列予測におけるアライメント機構を設計する,という2つの課題に対処する。 複数のベンチマークの実験では、DistilTSはフルサイズのTSFMに匹敵する予測性能を達成し、パラメータを最大1/150まで削減し、推論を最大6000倍高速化している。
• 参考スコア（独自算出の注目度）: 28.730703685779186
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Time Series foundation models (TSFMs) deliver strong forecasting performance through large-scale pretraining, but their large parameter sizes make deployment costly. While knowledge distillation offers a natural and effective approach for model compression, techniques developed for general machine learning tasks are not directly applicable to time series forecasting due to the unique characteristics. To address this, we present DistilTS, the first distillation framework specifically designed for TSFMs. DistilTS addresses two key challenges: (1) task difficulty discrepancy, specific to forecasting, where uniform weighting makes optimization dominated by easier short-term horizons, while long-term horizons receive weaker supervision; and (2) architecture discrepancy, a general challenge in distillation, for which we design an alignment mechanism in the time series forecasting. To overcome these issues, DistilTS introduces horizon-weighted objectives to balance learning across horizons, and a temporal alignment strategy that reduces architectural mismatch, enabling compact models. Experiments on multiple benchmarks demonstrate that DistilTS achieves forecasting performance comparable to full-sized TSFMs, while reducing parameters by up to 1/150 and accelerating inference by up to 6000x. Code is available at: https://github.com/itsnotacie/DistilTS-ICASSP2026.
• Abstract（参考訳）: 時系列基礎モデル(TSFM)は、大規模な事前トレーニングを通じて強力な予測性能を提供するが、その大きなパラメータサイズは、デプロイメントにコストがかかる。 知識蒸留は、モデル圧縮に自然かつ効果的なアプローチを提供するが、一般的な機械学習タスクのために開発された技術は、独特の特徴から時系列予測に直接適用されない。 そこで本研究では,TSFM向けに設計された最初の蒸留フレームワークであるDistilTSについて述べる。 DistilTSは,(1)タスクの難しさの相違,すなわち予測に特有な,一様重み付けが短期的地平線に支配されるのに対して,長期的な地平線はより監督が弱い,(2)蒸留におけるアーキテクチャの相違,すなわち時系列予測におけるアライメント機構を設計する,という2つの課題に対処する。 これらの問題を克服するために、DistilTSは水平方向の学習のバランスをとるための水平方向重み付けされた目的と、アーキテクチャミスマッチを低減し、コンパクトなモデルを可能にする時間的アライメント戦略を導入した。 複数のベンチマークの実験では、DistilTSはフルサイズのTSFMに匹敵する予測性能を達成し、パラメータを最大1/150まで削減し、推論を最大6000倍高速化している。 コードは、https://github.com/itsnotacie/DistilTS-ICASSP2026で入手できる。

関連論文リスト

• FaST: Efficient and Effective Long-Horizon Forecasting for Large-Scale Spatial-Temporal Graphs via Mixture-of-Experts [49.9321870703948]
  既存のモデルは、主に短期水平予測に焦点を当てており、悪名高い計算コストとメモリ消費に悩まされている。 本稿では,長期・大規模STG予測のためのMixture-of-Experts(MoEs)に基づく,効率的かつ効率的なフレームワークであるFaSTを提案する。 まず、計算負担を軽減するための適応型グラフエージェントアテンション機構を提案する。 第2に,従来のフィードフォワードネットワークを Gated Linear Units (GLUs) に置き換えた新しい並列MoEモジュールを提案する。
  論文  参考訳（メタデータ） (2026-01-08T18:00:58Z)
• TS2Vec-Ensemble: An Enhanced Self-Supervised Framework for Time Series Forecasting [1.2461503242570642]
  本稿では,時系列予測のための新しいハイブリッドフレームワークTS2Vec-Ensembleを紹介する。 我々のアプローチは、周期周期を符号化する明示的でエンジニアリングされた時間特徴を融合することにより、事前訓練されたTS2Vecエンコーダから、強力で暗黙的に学習されたダイナミクスを強化する。 その結果、TS2Vec-Ensembleは標準のTS2Vecベースラインや他の最先端モデルよりも一貫して、大幅に優れていた。
  論文  参考訳（メタデータ） (2025-11-27T12:19:18Z)
• The Curious Case of In-Training Compression of State Space Models [49.819321766705514]
  ステートスペースモデル(SSM)は、並列化可能なトレーニングと高速推論の両方を提供する。 鍵となる設計上の課題は、表現力の最大化と計算負荷の制限の間の適切なバランスを打つことだ。 我々のアプローチである textscCompreSSM はリニアリカレントユニットのような線形時間不変SSMに適用されるが、選択モデルにも拡張可能である。
  論文  参考訳（メタデータ） (2025-10-03T09:02:33Z)
• GateTS: Versatile and Efficient Forecasting via Attention-Inspired routed Mixture-of-Experts [0.0]
  本稿では,一変量時系列予測のためのトレーニングプロセスを単純化するモデルアーキテクチャを提案する。 提案手法は,従来の1層ソフトマックスルータに取って代わる,スパークスMoE計算と,アテンションにインスパイアされた新しいゲーティング機構を組み合わせたものである。
  論文  参考訳（メタデータ） (2025-08-24T20:39:50Z)
• Does Scaling Law Apply in Time Series Forecasting? [2.127584662240465]
  我々は,kレベルパラメータのみを用いて競合性能を実現する超軽量予測モデルであるAlinearを提案する。 7つのベンチマークデータセットの実験では、Alinearが大規模モデルよりも一貫して優れていることが示されている。 この研究は、より大きなモデルが本質的に優れているという一般的な信念に挑戦し、より効率的な時系列モデリングへのパラダイムシフトを示唆している。
  論文  参考訳（メタデータ） (2025-05-15T11:04:39Z)
• SparseTSF: Modeling Long-term Time Series Forecasting with 1k Parameters [16.966008476215258]
  本稿では,長期時系列予測(LTSF)のための新しい,極めて軽量なモデルであるSparseTSFを紹介する。 SparseTSFの中心にはCross-Period Sparse Forecasting技術があり、時系列データの周期性と傾向を分離することで予測タスクを単純化する。 SparseTSFは目覚ましい一般化機能を示しており、限られた計算資源、小さなサンプル、低品質のデータを扱うシナリオに適している。
  論文  参考訳（メタデータ） (2024-05-02T02:15:23Z)
• Timer: Generative Pre-trained Transformers Are Large Time Series Models [83.03091523806668]
  本稿では,大規模時系列モデル(LTSM)の早期開発を目的とした。 事前トレーニング中に、最大10億のタイムポイントを持つ大規模なデータセットをキュレートします。 多様なアプリケーションのニーズを満たすため,予測,計算,時系列の異常検出を統一的な生成タスクに変換する。
  論文  参考訳（メタデータ） (2024-02-04T06:55:55Z)
• Parsimony or Capability? Decomposition Delivers Both in Long-term Time Series Forecasting [46.63798583414426]
  時系列予測(LTSF)は時系列分析において重要なフロンティアである。 本研究は, 分析的および実証的な証拠から, 分解が過剰なモデルインフレーションを包含する鍵であることを実証する。 興味深いことに、時系列データの本質的なダイナミクスに分解を合わせることで、提案モデルは既存のベンチマークより優れている。
  論文  参考訳（メタデータ） (2024-01-22T13:15:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。