論文の概要: Sundial: A Family of Highly Capable Time Series Foundation Models

• arxiv url: http://arxiv.org/abs/2502.00816v1
• Date: Sun, 02 Feb 2025 14:52:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-05 14:58:08.060826
• Title: Sundial: A Family of Highly Capable Time Series Foundation Models
• Title（参考訳）: Sundial:高機能な時系列ファンデーションモデルのファミリー
• Authors: Yong Liu, Guo Qin, Zhiyuan Shi, Zhi Chen, Caiyin Yang, Xiangdong Huang, Jianmin Wang, Mingsheng Long,
• Abstract要約: Sundialはネイティブでフレキシブルでスケーラブルな時系列基盤モデルのファミリーです。 本モデルでは,事前分布を指定せずに事前学習を行い,複数の予測予測を生成できる。 TimeFlow Loss を通じてモード崩壊を緩和することにより、TimeBench 上で Sundial モデルのファミリーを事前訓練し、前例のないモデルキャパシティと一般化性能を示す。
• 参考スコア（独自算出の注目度）: 64.6322079384575
• License:
• Abstract: We introduce Sundial, a family of native, flexible, and scalable time series foundation models. To predict the next-patch's distribution, we propose a TimeFlow Loss based on flow-matching, which facilitates native pre-training of Transformers on time series without discrete tokenization. Conditioned on arbitrary-length time series, our model is pre-trained without specifying any prior distribution and can generate multiple probable predictions, achieving flexibility in representation learning beyond using parametric densities. Towards time series foundation models, we leverage minimal but crucial adaptations of Transformers and curate TimeBench with 1 trillion time points, comprising mostly real-world datasets and synthetic data. By mitigating mode collapse through TimeFlow Loss, we pre-train a family of Sundial models on TimeBench, which exhibit unprecedented model capacity and generalization performance on zero-shot forecasting. In addition to presenting good scaling behavior, Sundial achieves new state-of-the-art on both point forecasting and probabilistic forecasting benchmarks. We believe that Sundial's pioneering generative paradigm will facilitate a wide variety of forecasting scenarios.
• Abstract（参考訳）: Sundialはネイティブでフレキシブルでスケーラブルな時系列基盤モデルのファミリーです。 次パッチの分布を予測するため,フローマッチングに基づくTimeFlow Lossを提案する。 任意の長さの時系列を条件とし、事前分布を指定せずに事前学習を行い、複数の予測予測を生成でき、パラメトリック密度以外の表現学習の柔軟性を実現する。 時系列基礎モデルに向けて、トランスフォーマーの最小でも重要な適応を活用し、1兆のタイムポイントでTimeBenchをキュレートします。 TimeFlow Lossを通じてモード崩壊を緩和することにより、ゼロショット予測において前例のないモデルキャパシティと一般化性能を示すTimeBench上のサンディアルモデルのファミリーを事前訓練する。 優れたスケーリングの振る舞いを示すことに加えて、Sundialは、ポイント予測と確率予測のベンチマークの両方において、新しい最先端を達成している。 Sundialの先駆的な生成パラダイムは、さまざまな予測シナリオを促進するだろうと考えています。

関連論文リスト

• Enhancing Foundation Models for Time Series Forecasting via Wavelet-based Tokenization [74.3339999119713]
  我々はウェーブレットベースのトークンーザを開発し、時間局所化周波数の空間でモデルが複雑な表現を直接学習できるようにする。 提案手法は,まず入力時系列をスケール・分解し,次に閾値を設定し,ウェーブレット係数を定量化し,最後に予測水平方向の係数を予測する自己回帰モデルを事前学習する。
  論文  参考訳（メタデータ） (2024-12-06T18:22:59Z)
• Timer-XL: Long-Context Transformers for Unified Time Series Forecasting [67.83502953961505]
  我々は時系列の統一予測のための生成変換器Timer-XLを提案する。 Timer-XLは、統一されたアプローチにより、挑戦的な予測ベンチマークで最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2024-10-07T07:27:39Z)
• Unified Training of Universal Time Series Forecasting Transformers [104.56318980466742]
  マスク型ユニバーサル時系列予測変換器(モイライ)について述べる。 Moiraiは、新たに導入された大規模オープンタイムシリーズアーカイブ(LOTSA)で訓練されており、9つのドメインで27億以上の観測が行われた。 Moiraiは、フルショットモデルと比較してゼロショットの予測器として、競争力や優れたパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2024-02-04T20:00:45Z)
• Timer: Generative Pre-trained Transformers Are Large Time Series Models [83.03091523806668]
  本稿では,大規模時系列モデル(LTSM)の早期開発を目的とした。 事前トレーニング中に、最大10億のタイムポイントを持つ大規模なデータセットをキュレートします。 多様なアプリケーションのニーズを満たすため,予測,計算,時系列の異常検出を統一的な生成タスクに変換する。
  論文  参考訳（メタデータ） (2024-02-04T06:55:55Z)
• Lag-Llama: Towards Foundation Models for Probabilistic Time Series Forecasting [54.04430089029033]
  本稿では,デコーダのみの変換器アーキテクチャに基づく時系列予測のための汎用基礎モデルであるLag-Llamaを提案する。 Lag-Llamaは、複数のドメインからの多様な時系列データの大規模なコーパスで事前訓練され、強力なゼロショット一般化能力を示す。 このような未確認データセットの比較的小さな部分で微調整を行うと、Lag-Llamaは最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2023-10-12T12:29:32Z)
• Split Time Series into Patches: Rethinking Long-term Series Forecasting with Dateformer [17.454822366228335]
  時間は時系列の最も重要な特徴の1つだが、あまり注目されていない。 本稿では、上記のプラクティスに従うのではなく、モデリング時間に注意を向けるDateformerを提案する。 ディザフォーマーは、40%の顕著な相対的な改善で最先端の精度を達成し、最大信頼性予測範囲を半年レベルに拡大する。
  論文  参考訳（メタデータ） (2022-07-12T08:58:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。