論文の概要: GIFT-Eval: A Benchmark For General Time Series Forecasting Model Evaluation

• arxiv url: http://arxiv.org/abs/2410.10393v1
• Date: Mon, 14 Oct 2024 11:29:38 GMT
• ステータス: 処理完了
• システム内更新日: 2024-10-29 21:54:49.457986
• Title: GIFT-Eval: A Benchmark For General Time Series Forecasting Model Evaluation
• Title（参考訳）: GIFT-Eval: 時系列予測モデル評価のためのベンチマーク
• Authors: Taha Aksu, Gerald Woo, Juncheng Liu, Xu Liu, Chenghao Liu, Silvio Savarese, Caiming Xiong, Doyen Sahoo,
• Abstract要約: GIFT-Evalは、多様なデータセットに対する評価を促進するための先駆的なベンチマークである。 GIFT-Evalには、144,000の時系列と17700万のデータポイントに28のデータセットが含まれている。 また、約2300億のデータポイントを含む非学習事前学習データセットも提供します。
• 参考スコア（独自算出の注目度）: 90.53485251837235
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Time series foundation models excel in zero-shot forecasting, handling diverse tasks without explicit training. However, the advancement of these models has been hindered by the lack of comprehensive benchmarks. To address this gap, we introduce the General Time Series Forecasting Model Evaluation, GIFT-Eval, a pioneering benchmark aimed at promoting evaluation across diverse datasets. GIFT-Eval encompasses 28 datasets over 144,000 time series and 177 million data points, spanning seven domains, 10 frequencies, multivariate inputs, and prediction lengths ranging from short to long-term forecasts. To facilitate the effective pretraining and evaluation of foundation models, we also provide a non-leaking pretraining dataset containing approximately 230 billion data points. Additionally, we provide a comprehensive analysis of 17 baselines, which includes statistical models, deep learning models, and foundation models. We discuss each model in the context of various benchmark characteristics and offer a qualitative analysis that spans both deep learning and foundation models. We believe the insights from this analysis, along with access to this new standard zero-shot time series forecasting benchmark, will guide future developments in time series foundation models. The codebase, datasets, and a leaderboard showing all the results in detail will be available soon.
• Abstract（参考訳）: 時系列基礎モデルはゼロショット予測に優れ、明示的なトレーニングなしで多様なタスクを処理する。 しかし、これらのモデルの進歩は、包括的なベンチマークの欠如によって妨げられている。 このギャップに対処するために,さまざまなデータセットを対象とした評価促進を目的とした先駆的ベンチマークである GIFT-Eval のGeneral Time Series Forecasting Model Evaluation を紹介した。 GIFT-Evalは、144,000の時系列と17700万のデータポイントにまたがる28のデータセットを含む。 基礎モデルの効果的な事前学習と評価を容易にするため,約2300億のデータポイントを含む非学習事前学習データセットも提供する。 さらに、統計モデル、ディープラーニングモデル、基礎モデルを含む17のベースラインを包括的に分析する。 様々なベンチマーク特性の文脈で各モデルを議論し、ディープラーニングモデルと基礎モデルの両方にまたがる定性的な分析を提供する。 この分析から得られた知見は、新しい標準のゼロショット時系列予測ベンチマークへのアクセスとともに、時系列基礎モデルにおける将来の発展を導くだろうと考えている。 コードベース、データセット、およびすべての結果を詳細に示すリーダボードが近く提供される。

関連論文リスト

• In-Context Fine-Tuning for Time-Series Foundation Models [18.348874079298298]
  特に、複数の時系列例でトリガーできる事前訓練された基礎モデルを設計する。 我々の基礎モデルは、コンテキストウィンドウ内の複数の関連する時系列の例を利用するように特別に訓練されている。 本研究では,テキスト内サンプルを推論時に使用する基盤モデルにより,一般的な予測ベンチマークにおいて,より優れた性能が得られることを示す。
  論文  参考訳（メタデータ） (2024-10-31T16:20:04Z)
• FoundTS: Comprehensive and Unified Benchmarking of Foundation Models for Time Series Forecasting [44.33565276128137]
  時系列予測(TSF)は、金融、気象サービス、エネルギー管理など、多くの分野で重要な機能である。 ファンデーションモデルは、新しいまたは見えないデータで有望な推論機能を示す。 そこで我々は,そのようなモデルの徹底的かつ公平な評価と比較を可能にする新しいベンチマーク FoundTS を提案する。
  論文  参考訳（メタデータ） (2024-10-15T17:23:49Z)
• Deep Time Series Models: A Comprehensive Survey and Benchmark [74.28364194333447]
  時系列データは、現実世界のシナリオにおいて非常に重要である。 近年、時系列コミュニティで顕著なブレークスルーが見られた。 多様な分析タスクのためのディープ時系列モデルの公正なベンチマークとして、時系列ライブラリ(TSLib)をリリースします。
  論文  参考訳（メタデータ） (2024-07-18T08:31:55Z)
• No "Zero-Shot" Without Exponential Data: Pretraining Concept Frequency Determines Multimodal Model Performance [68.18779562801762]
  マルチモーダルモデルは、下流の"ゼロショット"のパフォーマンスを線形改善するために、指数関数的に多くのデータを必要とする。 本研究は,大規模な訓練パラダイムの下での「ゼロショット」一般化能力の鍵となる訓練データに対する指数関数的要求を明らかにする。
  論文  参考訳（メタデータ） (2024-04-04T17:58:02Z)
• Chronos: Learning the Language of Time Series [79.38691251254173]
  Chronosは事前訓練された確率的時系列モデルのためのフレームワークである。 クロノスモデルでは,様々な領域の時系列データを利用して,未知の予測タスクにおけるゼロショット精度を向上させることができることを示す。
  論文  参考訳（メタデータ） (2024-03-12T16:53:54Z)
• A Scalable and Transferable Time Series Prediction Framework for Demand Forecasting [24.06534393565697]
  時系列予測は多くのビジネス問題において最も不可欠でユビキタスなタスクの1つである。 本稿では,多種多様なアイテムの今後の需要を正確に予測できる,シンプルかつ強力なフレームワークであるフォレスティング・オーケストラ(Forchestra)を提案する。
  論文  参考訳（メタデータ） (2024-02-29T18:01:07Z)
• Lag-Llama: Towards Foundation Models for Probabilistic Time Series Forecasting [54.04430089029033]
  本稿では,デコーダのみの変換器アーキテクチャに基づく時系列予測のための汎用基礎モデルであるLag-Llamaを提案する。 Lag-Llamaは、複数のドメインからの多様な時系列データの大規模なコーパスで事前訓練され、強力なゼロショット一般化能力を示す。 このような未確認データセットの比較的小さな部分で微調整を行うと、Lag-Llamaは最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2023-10-12T12:29:32Z)
• Pushing the Limits of Pre-training for Time Series Forecasting in the CloudOps Domain [54.67888148566323]
  クラウドオペレーションドメインから,大規模時系列予測データセットを3つ導入する。 強力なゼロショットベースラインであり、モデルとデータセットサイズの両方において、さらなるスケーリングの恩恵を受けています。 これらのデータセットと結果を取得することは、古典的および深層学習のベースラインを事前訓練された方法と比較した総合的なベンチマーク結果の集合である。
  論文  参考訳（メタデータ） (2023-10-08T08:09:51Z)
• Unified Long-Term Time-Series Forecasting Benchmark [0.6526824510982802]
  本稿では,時系列予測のための包括的データセットを提案する。 多様な動的システムと実生活記録から得られたデータセットのコレクションを組み込んだ。 多様なシナリオにおいて最も効果的なモデルを決定するために、古典的および最先端のモデルを用いて広範なベンチマーク分析を行う。 本研究は,これらのモデルの性能比較を興味深いものにし,モデルの有効性のデータセット依存性を強調した。
  論文  参考訳（メタデータ） (2023-09-27T18:59:00Z)
• Monash Time Series Forecasting Archive [6.0617755214437405]
  各種ドメインから利用可能な20の時系列データセットを含む総合時系列予測アーカイブを提案する。 特徴分析を行うことで,データセットを特徴付け,それらの類似点と相違点を識別する。 本論文では,8つの誤差指標にまたがる全データセットに対する標準ベースライン予測手法の性能について述べる。
  論文  参考訳（メタデータ） (2021-05-14T04:49:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。