論文の概要: Sundial: A Family of Highly Capable Time Series Foundation Models

• arxiv url: http://arxiv.org/abs/2502.00816v2
• Date: Fri, 30 May 2025 14:52:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-02 17:26:04.933256
• Title: Sundial: A Family of Highly Capable Time Series Foundation Models
• Title（参考訳）: Sundial:高機能な時系列ファンデーションモデルのファミリー
• Authors: Yong Liu, Guo Qin, Zhiyuan Shi, Zhi Chen, Caiyin Yang, Xiangdong Huang, Jianmin Wang, Mingsheng Long,
• Abstract要約: Sundialはネイティブでフレキシブルでスケーラブルな時系列基盤モデルのファミリーです。 我々のモデルは、事前の分布を指定せずに事前訓練されており、複数の確率予測を生成することができる。 Sundialは、ジャスト・イン・タイムの推論速度で、ポイントと確率予測ベンチマークの両方で最先端の結果を達成する。
• 参考スコア（独自算出の注目度）: 64.6322079384575
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: We introduce Sundial, a family of native, flexible, and scalable time series foundation models. To predict the next-patch's distribution, we propose a TimeFlow Loss based on flow-matching, which facilitates native pre-training of Transformers on continuous-valued time series without discrete tokenization. Conditioned on arbitrary-length time series, our models are pre-trained without specifying any prior distribution and can generate multiple probable predictions, achieving more flexibility in representation learning than using parametric densities. Towards time series foundation models, we leverage minimal but crucial adaptations of Transformers and curate TimeBench with one trillion time points, comprising mostly real-world datasets and synthetic data. By mitigating mode collapse via TimeFlow Loss, we pre-train a family of Sundial models on TimeBench, which achieve unprecedented model capacity and generalization performance. In addition to excellent scalability, Sundial achieves state-of-the-art results on both point and probabilistic forecasting benchmarks with a just-in-time inference speed, i.e., making zero-shot predictions within a few milliseconds. We believe that Sundial's pioneering generative forecasting capability can improve model reliability in real-world decision-making. Code is available at: https://github.com/thuml/Sundial.
• Abstract（参考訳）: Sundialはネイティブでフレキシブルでスケーラブルな時系列基盤モデルのファミリーです。 本稿では,フローマッチングに基づくTimeFlow Lossを提案する。これは,離散トークン化を伴わない連続値時系列上でのトランスフォーマーのネイティブ事前学習を容易にする。 任意の長さの時系列を条件としたモデルでは、事前分布を指定せずに事前学習を行い、複数の確率予測を生成でき、パラメトリック密度よりも表現学習の柔軟性が向上する。 時系列基礎モデルに向けて、トランスフォーマーの最小でも重要な適応を活用し、1兆のタイムポイントでTimeBenchをキュレートします。 TimeFlow Loss によるモード崩壊を緩和することにより、TimeBench 上で Sundial モデルのファミリーを事前訓練し、前例のないモデルキャパシティと一般化性能を実現する。 優れたスケーラビリティに加えて、サンディアルは、ジャスト・イン・タイムの推論速度、すなわち数ミリ秒以内にゼロショット予測を行うような、ポイントと確率予測のベンチマークで最先端の結果を達成する。 Sundialの先駆的な生成予測能力は、現実の意思決定におけるモデルの信頼性を向上させることができると信じている。 コードは、https://github.com/thuml/Sundial.comで入手できる。

関連論文リスト

• Enhancing Foundation Models for Time Series Forecasting via Wavelet-based Tokenization [74.3339999119713]
  我々はウェーブレットベースのトークンーザを開発し、時間局所化周波数の空間でモデルが複雑な表現を直接学習できるようにする。 提案手法は,まず入力時系列をスケール・分解し,次に閾値を設定し,ウェーブレット係数を定量化し,最後に予測水平方向の係数を予測する自己回帰モデルを事前学習する。
  論文  参考訳（メタデータ） (2024-12-06T18:22:59Z)
• Timer-XL: Long-Context Transformers for Unified Time Series Forecasting [67.83502953961505]
  我々は時系列の統一予測のための因果変換器Timer-XLを提案する。 大規模な事前トレーニングに基づいて、Timer-XLは最先端のゼロショット性能を達成する。
  論文  参考訳（メタデータ） (2024-10-07T07:27:39Z)
• Unified Training of Universal Time Series Forecasting Transformers [104.56318980466742]
  マスク型ユニバーサル時系列予測変換器(モイライ)について述べる。 Moiraiは、新たに導入された大規模オープンタイムシリーズアーカイブ(LOTSA)で訓練されており、9つのドメインで27億以上の観測が行われた。 Moiraiは、フルショットモデルと比較してゼロショットの予測器として、競争力や優れたパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2024-02-04T20:00:45Z)
• Timer: Generative Pre-trained Transformers Are Large Time Series Models [83.03091523806668]
  本稿では,大規模時系列モデル(LTSM)の早期開発を目的とした。 事前トレーニング中に、最大10億のタイムポイントを持つ大規模なデータセットをキュレートします。 多様なアプリケーションのニーズを満たすため,予測,計算,時系列の異常検出を統一的な生成タスクに変換する。
  論文  参考訳（メタデータ） (2024-02-04T06:55:55Z)
• Lag-Llama: Towards Foundation Models for Probabilistic Time Series Forecasting [54.04430089029033]
  本稿では,デコーダのみの変換器アーキテクチャに基づく時系列予測のための汎用基礎モデルであるLag-Llamaを提案する。 Lag-Llamaは、複数のドメインからの多様な時系列データの大規模なコーパスで事前訓練され、強力なゼロショット一般化能力を示す。 このような未確認データセットの比較的小さな部分で微調整を行うと、Lag-Llamaは最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2023-10-12T12:29:32Z)
• Split Time Series into Patches: Rethinking Long-term Series Forecasting with Dateformer [17.454822366228335]
  時間は時系列の最も重要な特徴の1つだが、あまり注目されていない。 本稿では、上記のプラクティスに従うのではなく、モデリング時間に注意を向けるDateformerを提案する。 ディザフォーマーは、40%の顕著な相対的な改善で最先端の精度を達成し、最大信頼性予測範囲を半年レベルに拡大する。
  論文  参考訳（メタデータ） (2022-07-12T08:58:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。