論文の概要: FoundTS: Comprehensive and Unified Benchmarking of Foundation Models for Time Series Forecasting
- arxiv url: http://arxiv.org/abs/2410.11802v2
- Date: Mon, 21 Oct 2024 07:11:07 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-22 13:17:48.695974
- Title: FoundTS: Comprehensive and Unified Benchmarking of Foundation Models for Time Series Forecasting
- Title(参考訳): FoundTS: 時系列予測のための基礎モデルの総合的で統一されたベンチマーク
- Authors: Zhe Li, Xiangfei Qiu, Peng Chen, Yihang Wang, Hanyin Cheng, Yang Shu, Jilin Hu, Chenjuan Guo, Aoying Zhou, Qingsong Wen, Christian S. Jensen, Bin Yang,
- Abstract要約: 時系列予測(TSF)は、金融、気象サービス、エネルギー管理など、多くの分野で重要な機能である。
ファンデーションモデルは、新しいまたは見えないデータで有望な推論機能を示す。
そこで我々は,そのようなモデルの徹底的かつ公平な評価と比較を可能にする新しいベンチマーク FoundTS を提案する。
- 参考スコア(独自算出の注目度): 44.33565276128137
- License:
- Abstract: Time Series Forecasting (TSF) is key functionality in numerous fields, including in finance, weather services, and energy management. While TSF methods are emerging these days, many of them require domain-specific data collection and model training and struggle with poor generalization performance on new domains. Foundation models aim to overcome this limitation. Pre-trained on large-scale language or time series data, they exhibit promising inferencing capabilities in new or unseen data. This has spurred a surge in new TSF foundation models. We propose a new benchmark, FoundTS, to enable thorough and fair evaluation and comparison of such models. FoundTS covers a variety of TSF foundation models, including those based on large language models and those pretrained on time series. Next, FoundTS supports different forecasting strategies, including zero-shot, few-shot, and full-shot, thereby facilitating more thorough evaluations. Finally, FoundTS offers a pipeline that standardizes evaluation processes such as dataset splitting, loading, normalization, and few-shot sampling, thereby facilitating fair evaluations. Building on this, we report on an extensive evaluation of TSF foundation models on a broad range of datasets from diverse domains and with different statistical characteristics. Specifically, we identify pros and cons and inherent limitations of existing foundation models, and we identify directions for future model design. We make our code and datasets available at https://anonymous.4open.science/r/FoundTS-C2B0.
- Abstract(参考訳): 時系列予測(TSF)は、金融、気象サービス、エネルギー管理など、多くの分野で重要な機能である。
TSFメソッドは近年出現しているが、その多くはドメイン固有のデータ収集とモデルトレーニングを必要とし、新しいドメイン上での一般化性能の低下に悩まされている。
基礎モデルは、この制限を克服することを目指している。
大規模言語や時系列データに基づいて事前トレーニングされた彼らは、新しいデータや目に見えないデータに有望な推論機能を示す。
これにより、新たなTSFファンデーションモデルが急増した。
そこで我々は,そのようなモデルの徹底的かつ公平な評価と比較を可能にする新しいベンチマーク FoundTS を提案する。
FoundTSは、大規模な言語モデルに基づくものや、時系列で事前訓練されたものなど、様々なTSFファンデーションモデルをカバーする。
次に、FoundTSはゼロショット、少数ショット、フルショットなど、さまざまな予測戦略をサポートし、より詳細な評価を容易にする。
最後に、FoundTSはデータセット分割、ローディング、正規化、少数ショットサンプリングなどの評価プロセスを標準化し、公正な評価を容易にするパイプラインを提供する。
そこで本研究では,多様な領域のデータセットと,異なる統計特性を持つTSF基盤モデルの広範な評価について報告する。
具体的には、既存の基礎モデルの長所と短所と固有の制約を特定し、将来のモデル設計の方向性を特定する。
コードとデータセットはhttps://anonymous.4open.science/r/FoundTS-C2B0.orgで公開しています。
関連論文リスト
- Deep Time Series Models: A Comprehensive Survey and Benchmark [74.28364194333447]
時系列データは、現実世界のシナリオにおいて非常に重要である。
近年、時系列コミュニティで顕著なブレークスルーが見られた。
多様な分析タスクのためのディープ時系列モデルの公正なベンチマークとして、時系列ライブラリ(TSLib)をリリースします。
論文 参考訳(メタデータ) (2024-07-18T08:31:55Z) - Understanding Different Design Choices in Training Large Time Series Models [71.20102277299445]
不均一な時系列データに基づく大規模時系列モデル(LTSMs)のトレーニングには,ユニークな課題が伴う。
本稿では,時系列データに合わせた新しい統計プロンプトである,時系列プロンプトを提案する。
textttLTSM-bundleを導入します。
論文 参考訳(メタデータ) (2024-06-20T07:09:19Z) - UNITS: A Unified Multi-Task Time Series Model [31.675845788410246]
タスクトークン化を用いたマルチタスク時系列モデルUniTSを導入し,予測および生成タスクを単一モデル内で表現する。
人間の活動センサー、医療、エンジニアリング、ファイナンスドメインにまたがる38のデータセットに対して、UniTSモデルは12の予測モデル、20の分類モデル、18の異常検出モデル、16の計算モデルに対して好意的に機能する。
論文 参考訳(メタデータ) (2024-02-29T21:25:58Z) - Finding Foundation Models for Time Series Classification with a PreText
Task [7.197233473373693]
本稿では,時系列分類のための事前訓練済みドメイン基盤モデルを提案する。
我々の方法論の重要な側面は、複数のデータセットにまたがる新しいプリテキストタスクである。
UCRアーカイブの実験では,この事前学習戦略が,事前学習を伴わずに従来の訓練方法よりも有意に優れていたことが示されている。
論文 参考訳(メタデータ) (2023-11-24T15:03:55Z) - Lag-Llama: Towards Foundation Models for Probabilistic Time Series
Forecasting [54.04430089029033]
本稿では,デコーダのみの変換器アーキテクチャに基づく時系列予測のための汎用基礎モデルであるLag-Llamaを提案する。
Lag-Llamaは、複数のドメインからの多様な時系列データの大規模なコーパスで事前訓練され、強力なゼロショット一般化能力を示す。
このような未確認データセットの比較的小さな部分で微調整を行うと、Lag-Llamaは最先端のパフォーマンスを達成する。
論文 参考訳(メタデータ) (2023-10-12T12:29:32Z) - Toward a Foundation Model for Time Series Data [34.1973242428317]
基礎モデルは、大規模で多様なデータセットに基づいてトレーニングされた機械学習モデルである。
複数のドメインのラベルのないサンプルを活用することで,効率的な時系列基礎モデルを構築する。
論文 参考訳(メタデータ) (2023-10-05T21:44:50Z) - Unified Long-Term Time-Series Forecasting Benchmark [0.6526824510982802]
本稿では,時系列予測のための包括的データセットを提案する。
多様な動的システムと実生活記録から得られたデータセットのコレクションを組み込んだ。
多様なシナリオにおいて最も効果的なモデルを決定するために、古典的および最先端のモデルを用いて広範なベンチマーク分析を行う。
本研究は,これらのモデルの性能比較を興味深いものにし,モデルの有効性のデータセット依存性を強調した。
論文 参考訳(メタデータ) (2023-09-27T18:59:00Z) - The Languini Kitchen: Enabling Language Modelling Research at Different
Scales of Compute [66.84421705029624]
本稿では,アクセル時間で測定された等価計算に基づくモデル比較を可能にする実験的プロトコルを提案する。
私たちは、既存の学術的ベンチマークを上回り、品質、多様性、文書の長さで上回る、大規模で多様で高品質な書籍データセットを前処理します。
この研究は、GPT-2アーキテクチャから派生したフィードフォワードモデルと、10倍のスループットを持つ新しいLSTMの形式でのリカレントモデルという2つのベースラインモデルも提供する。
論文 参考訳(メタデータ) (2023-09-20T10:31:17Z) - Universal Domain Adaptation from Foundation Models: A Baseline Study [58.51162198585434]
基礎モデルを用いた最先端UniDA手法の実証的研究を行った。
CLIPモデルからターゲット知識を抽出するためのパラメータフリーな手法であるtextitCLIP 蒸留を導入する。
単純な手法ではあるが、ほとんどのベンチマークタスクでは従来の手法よりも優れている。
論文 参考訳(メタデータ) (2023-05-18T16:28:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。