論文の概要: Timer-S1: A Billion-Scale Time Series Foundation Model with Serial Scaling

• arxiv url: http://arxiv.org/abs/2603.04791v1
• Date: Thu, 05 Mar 2026 04:13:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-06 22:06:11.063929
• Title: Timer-S1: A Billion-Scale Time Series Foundation Model with Serial Scaling
• Title（参考訳）: Timer-S1: シリアルスケーリングを備えた10億ドル規模の時系列ファンデーションモデル
• Authors: Yong Liu, Xingjian Su, Shiyu Wang, Haoran Zhang, Haixuan Liu, Yuxuan Wang, Zhou Ye, Yang Xiang, Jianmin Wang, Mingsheng Long,
• Abstract要約: 我々は、Timer-S1、強力なMixture-of-Experts(MoE)時系列基礎モデル、合計8.3Bのパラメータ、各トークンの0.75Bのアクティブパラメータ、コンテキスト長11.5Kについて紹介する。 既存のトレーニング済み時系列基盤モデルのスケーラビリティボトルネックを克服するため,シリアルスケーリングを3次元で実施する。
• 参考スコア（独自算出の注目度）: 51.78972657142583
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: We introduce Timer-S1, a strong Mixture-of-Experts (MoE) time series foundation model with 8.3B total parameters, 0.75B activated parameters for each token, and a context length of 11.5K. To overcome the scalability bottleneck in existing pre-trained time series foundation models, we perform Serial Scaling in three dimensions: model architecture, dataset, and training pipeline. Timer-S1 integrates sparse TimeMoE blocks and generic TimeSTP blocks for Serial-Token Prediction (STP), a generic training objective that adheres to the serial nature of forecasting. The proposed paradigm introduces serial computations to improve long-term predictions while avoiding costly rolling-style inference and pronounced error accumulation in the standard next-token prediction. Pursuing a high-quality and unbiased training dataset, we curate TimeBench, a corpus with one trillion time points, and apply meticulous data augmentation to mitigate predictive bias. We further pioneer a post-training stage, including continued pre-training and long-context extension, to enhance short-term and long-context performance. Evaluated on the large-scale GIFT-Eval leaderboard, Timer-S1 achieves state-of-the-art forecasting performance, attaining the best MASE and CRPS scores as a pre-trained model. Timer-S1 will be released to facilitate further research.
• Abstract（参考訳）: 我々は、Timer-S1、強力なMixture-of-Experts(MoE)時系列基礎モデル、合計8.3Bのパラメータ、各トークンの0.75Bのアクティブパラメータ、コンテキスト長11.5Kについて紹介する。 既存のトレーニング済み時系列基盤モデルのスケーラビリティボトルネックを克服するため、モデルアーキテクチャ、データセット、トレーニングパイプラインの3次元でシリアルスケーリングを実行しています。 Timer-S1は、Serial-Token Prediction (STP)のためのスパースTimeMoEブロックと一般的なTimeSTPブロックを統合している。 提案手法は,コストのかかるローリングスタイルの推論と,標準次点予測におけるエラーの蓄積を回避しつつ,長期予測を改善するためのシリアル計算を導入している。 高品質でバイアスのないトレーニングデータセットを使用して、1兆のタイムポイントを持つコーパスであるTimeBenchをキュレートし、詳細なデータ拡張を適用して予測バイアスを軽減する。 さらに,短期・長期の学習性能を高めるために,継続した事前学習と長期学習の拡張を含む訓練後のステージを開拓した。 大規模GIFT-Evalリーダーボードで評価されたTimer-S1は、最先端の予測性能を達成し、トレーニング済みモデルとして最高のMASEとCRPSのスコアを得る。 Timer-S1はさらなる研究を促進するためにリリースされる。

関連論文リスト

• Enhancing Foundation Models for Time Series Forecasting via Wavelet-based Tokenization [74.3339999119713]
  我々はウェーブレットベースのトークンーザを開発し、時間局所化周波数の空間でモデルが複雑な表現を直接学習できるようにする。 提案手法は,まず入力時系列をスケール・分解し,次に閾値を設定し,ウェーブレット係数を定量化し,最後に予測水平方向の係数を予測する自己回帰モデルを事前学習する。
  論文  参考訳（メタデータ） (2024-12-06T18:22:59Z)
• Timer-XL: Long-Context Transformers for Unified Time Series Forecasting [67.83502953961505]
  我々は時系列の統一予測のための因果変換器Timer-XLを提案する。 大規模な事前トレーニングに基づいて、Timer-XLは最先端のゼロショット性能を達成する。
  論文  参考訳（メタデータ） (2024-10-07T07:27:39Z)
• Time-MoE: Billion-Scale Time Series Foundation Models with Mixture of Experts [25.503695417712997]
  Time-MoEは、より大きく、より有能な基礎モデルを予測するために設計された、スケーラブルで統一されたアーキテクチャである。 Time-MoEは、予測毎にネットワークのサブセットだけを活性化することで、計算効率を向上させる。 時系列基礎モデルを24億のパラメータに拡張し,予測精度を大幅に向上させた。
  論文  参考訳（メタデータ） (2024-09-24T12:42:18Z)
• Test Time Learning for Time Series Forecasting [1.4605709124065924]
  テストタイムトレーニング(TTT)モジュールは、MambaベースのTimeMachineなど、最先端モデルよりも一貫して優れている。 その結果,平均二乗誤差 (MSE) と平均絶対誤差 (MAE) に有意な改善が認められた。 この研究は、時系列予測の新しいベンチマークを設定し、スケーラブルで高性能な予測モデルにおける将来の研究の基礎を定めている。
  論文  参考訳（メタデータ） (2024-09-21T04:40:08Z)
• Unified Training of Universal Time Series Forecasting Transformers [104.56318980466742]
  マスク型ユニバーサル時系列予測変換器(モイライ)について述べる。 Moiraiは、新たに導入された大規模オープンタイムシリーズアーカイブ(LOTSA)で訓練されており、9つのドメインで27億以上の観測が行われた。 Moiraiは、フルショットモデルと比較してゼロショットの予測器として、競争力や優れたパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2024-02-04T20:00:45Z)
• Timer: Generative Pre-trained Transformers Are Large Time Series Models [83.03091523806668]
  本稿では,大規模時系列モデル(LTSM)の早期開発を目的とした。 事前トレーニング中に、最大10億のタイムポイントを持つ大規模なデータセットをキュレートします。 多様なアプリケーションのニーズを満たすため,予測,計算,時系列の異常検出を統一的な生成タスクに変換する。
  論文  参考訳（メタデータ） (2024-02-04T06:55:55Z)
• Pushing the Limits of Pre-training for Time Series Forecasting in the CloudOps Domain [54.67888148566323]
  クラウドオペレーションドメインから,大規模時系列予測データセットを3つ導入する。 強力なゼロショットベースラインであり、モデルとデータセットサイズの両方において、さらなるスケーリングの恩恵を受けています。 これらのデータセットと結果を取得することは、古典的および深層学習のベースラインを事前訓練された方法と比較した総合的なベンチマーク結果の集合である。
  論文  参考訳（メタデータ） (2023-10-08T08:09:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。