論文の概要: TFB: Towards Comprehensive and Fair Benchmarking of Time Series Forecasting Methods

• arxiv url: http://arxiv.org/abs/2403.20150v3
• Date: Wed, 19 Jun 2024 03:29:46 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-22 04:30:07.842801
• Title: TFB: Towards Comprehensive and Fair Benchmarking of Time Series Forecasting Methods
• Title（参考訳）: TFB:時系列予測手法の総合的・公正なベンチマークに向けて
• Authors: Xiangfei Qiu, Jilin Hu, Lekui Zhou, Xingjian Wu, Junyang Du, Buang Zhang, Chenjuan Guo, Aoying Zhou, Christian S. Jensen, Zhenli Sheng, Bin Yang,
• Abstract要約: 時系列は、経済、交通、健康、エネルギーといった様々な領域で生成される。 本稿では,時系列予測(TSF)手法の自動ベンチマークであるTFBを提案する。
• 参考スコア（独自算出の注目度）: 27.473935782550388
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Time series are generated in diverse domains such as economic, traffic, health, and energy, where forecasting of future values has numerous important applications. Not surprisingly, many forecasting methods are being proposed. To ensure progress, it is essential to be able to study and compare such methods empirically in a comprehensive and reliable manner. To achieve this, we propose TFB, an automated benchmark for Time Series Forecasting (TSF) methods. TFB advances the state-of-the-art by addressing shortcomings related to datasets, comparison methods, and evaluation pipelines: 1) insufficient coverage of data domains, 2) stereotype bias against traditional methods, and 3) inconsistent and inflexible pipelines. To achieve better domain coverage, we include datasets from 10 different domains: traffic, electricity, energy, the environment, nature, economic, stock markets, banking, health, and the web. We also provide a time series characterization to ensure that the selected datasets are comprehensive. To remove biases against some methods, we include a diverse range of methods, including statistical learning, machine learning, and deep learning methods, and we also support a variety of evaluation strategies and metrics to ensure a more comprehensive evaluations of different methods. To support the integration of different methods into the benchmark and enable fair comparisons, TFB features a flexible and scalable pipeline that eliminates biases. Next, we employ TFB to perform a thorough evaluation of 21 Univariate Time Series Forecasting (UTSF) methods on 8,068 univariate time series and 14 Multivariate Time Series Forecasting (MTSF) methods on 25 datasets. The benchmark code and data are available at https://github.com/decisionintelligence/TFB.
• Abstract（参考訳）: 時系列は、経済、交通、健康、エネルギーといった様々な領域で生成され、将来の価値の予測には多くの重要な応用がある。 驚くことではないが、多くの予測方法が提案されている。 進展を確実にするためには、このような手法を包括的で信頼性の高い方法で実証的に研究・比較できることが不可欠である。 そこで本研究では,時系列予測(TSF)手法の自動ベンチマークであるTFBを提案する。 TFBは、データセット、比較方法、評価パイプラインに関連する欠点に対処することで、最先端の技術を進化させる。 1) データドメインのカバー不足。 2伝統的な方法に対するステレオタイプバイアス及び 3)無矛盾で柔軟性のないパイプライン。 よりよいドメインカバレッジを達成するために、トラフィック、電気、エネルギー、環境、自然、経済、株式市場、銀行、健康、ウェブの10の異なるドメインからのデータセットを含めます。 また、選択したデータセットが包括的であることを確実にするための時系列のキャラクタリゼーションも提供します。 いくつかの手法に対するバイアスを取り除くために,統計的学習,機械学習,深層学習など,さまざまな手法を含めるとともに,さまざまな評価戦略やメトリクスをサポートし,さまざまな手法のより包括的な評価を確実にする。 ベンチマークへのさまざまなメソッドの統合をサポートし、公正な比較を可能にするため、TFBは、バイアスを排除したフレキシブルでスケーラブルなパイプラインを備えている。 次に,21種類の一変量時系列予測(UTSF)法を8,068個の一変量時系列に対して,14個の多変量時系列予測(MTSF)法を25個のデータセット上で徹底的に評価するためにTFBを用いる。 ベンチマークコードとデータはhttps://github.com/decisionintelligence/TFBで公開されている。

関連論文リスト

• Context is Key: A Benchmark for Forecasting with Essential Textual Information [87.3175915185287]
  コンテキスト・イズ・キー (Context is Key) (CiK) は、時系列予測ベンチマークであり、様々な種類のテキストコンテキストと数値データをペアリングする。 我々は,統計モデル,時系列基礎モデル,LLMに基づく予測モデルなど,さまざまなアプローチを評価する。 実験では、文脈情報の導入の重要性を強調し、LLMに基づく予測モデルを用いた場合の驚くべき性能を示すとともに、それらの重要な欠点を明らかにした。
  論文  参考訳（メタデータ） (2024-10-24T17:56:08Z)
• FoundTS: Comprehensive and Unified Benchmarking of Foundation Models for Time Series Forecasting [44.33565276128137]
  時系列予測(TSF)は、金融、気象サービス、エネルギー管理など、多くの分野で重要な機能である。 ファンデーションモデルは、新しいまたは見えないデータで有望な推論機能を示す。 そこで我々は,そのようなモデルの徹底的かつ公平な評価と比較を可能にする新しいベンチマーク FoundTS を提案する。
  論文  参考訳（メタデータ） (2024-10-15T17:23:49Z)
• UniTTA: Unified Benchmark and Versatile Framework Towards Realistic Test-Time Adaptation [66.05528698010697]
  Test-Time Adaptationは、テスト中にトレーニング済みのモデルを対象のドメインに適応させることを目的としている。 研究者は様々な挑戦シナリオを特定し、これらの課題に対処するための様々な方法を開発した。 本稿では,包括的かつ広く適用可能な統一テスト時間適応ベンチマークを提案する。
  論文  参考訳（メタデータ） (2024-07-29T15:04:53Z)
• TSI-Bench: Benchmarking Time Series Imputation [52.27004336123575]
  TSI-Benchは、ディープラーニング技術を利用した時系列計算のための総合ベンチマークスイートである。 TSI-Benchパイプラインは、実験的な設定を標準化し、計算アルゴリズムの公平な評価を可能にする。 TSI-Benchは、計算目的のために時系列予測アルゴリズムを調整するための体系的なパラダイムを革新的に提供する。
  論文  参考訳（メタデータ） (2024-06-18T16:07:33Z)
• Time Evidence Fusion Network: Multi-source View in Long-Term Time Series Forecasting [22.550778677778112]
  本稿では,情報融合の観点から,Time Evidence Fusion Network (TEFN) という新しいバックボーンアーキテクチャを提案する。 提案したTEFNは精度、効率、安定性、解釈可能性のバランスをとり、時系列予測に望ましい解である。
  論文  参考訳（メタデータ） (2024-05-10T12:10:22Z)
• TSGBench: Time Series Generation Benchmark [11.199605025284185]
  textsfTSGBenchは、合成時系列生成法の統一的で包括的な評価である。 1)TSG用に調整された公開データセットの収集と標準化された前処理パイプライン、(2)バニラ測度、新しい距離ベースアセスメント、可視化ツールを含む総合的な評価スイート、(3)ドメイン適応(DA)に根ざした先駆的な一般化テストである。 我々は,10の高度なTSG手法と12の評価尺度を用いて,多様な領域から10の現実世界データセットのスペクトルにわたってテキストfTSGBenchを用いて実験を行った。
  論文  参考訳（メタデータ） (2023-09-07T14:51:42Z)
• Benchmarking Test-Time Adaptation against Distribution Shifts in Image Classification [77.0114672086012]
  テスト時間適応(TTA)は、予測時にのみラベルのないサンプルを活用することにより、モデルの一般化性能を向上させる技術である。 本稿では,広く使用されている5つの画像分類データセット上で,13のTTA手法とその変種を体系的に評価するベンチマークを提案する。
  論文  参考訳（メタデータ） (2023-07-06T16:59:53Z)
• On Pitfalls of Test-Time Adaptation [82.8392232222119]
  TTA(Test-Time Adaptation)は、分散シフトの下で堅牢性に取り組むための有望なアプローチとして登場した。 TTABは,10の最先端アルゴリズム,多種多様な分散シフト,および2つの評価プロトコルを含むテスト時間適応ベンチマークである。
  論文  参考訳（メタデータ） (2023-06-06T09:35:29Z)
• Quantifying Uncertainty in Deep Spatiotemporal Forecasting [67.77102283276409]
  本稿では,正規格子法とグラフ法という2種類の予測問題について述べる。 我々はベイジアンおよび頻繁な視点からUQ法を解析し、統計的決定理論を通じて統一的な枠組みを提示する。 実際の道路ネットワークのトラフィック、疫病、空気質予測タスクに関する広範な実験を通じて、異なるUQ手法の統計計算トレードオフを明らかにする。
  論文  参考訳（メタデータ） (2021-05-25T14:35:46Z)
• Interpretable Feature Construction for Time Series Extrinsic Regression [0.028675177318965035]
  一部のアプリケーション領域では、対象変数が数値であり、その問題は時系列外部回帰(TSER)として知られている。 TSERの文脈における頑健で解釈可能な特徴構築と選択のためのベイズ法の拡張を提案する。 私たちのアプローチは、TSERに取り組むためのリレーショナルな方法を利用します:(i)、リレーショナルデータスキームに格納されている時系列の多様で単純な表現を構築し、(ii)二次テーブルからデータを「フラット化」するために解釈可能な機能を構築するためにプロポジション化技術を適用します。
  論文  参考訳（メタデータ） (2021-03-15T08:12:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。