論文の概要: Forecasting with Deep Learning: Beyond Average of Average of Average Performance
- arxiv url: http://arxiv.org/abs/2406.16590v1
- Date: Mon, 24 Jun 2024 12:28:22 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-25 14:54:27.345898
- Title: Forecasting with Deep Learning: Beyond Average of Average of Average Performance
- Title（参考訳）: ディープラーニングによる予測 - 平均的な平均的パフォーマンスを超える
- Authors: Vitor Cerqueira, Luis Roque, Carlos Soares,
- Abstract要約: 予測モデルの評価と比較の現在のプラクティスは、パフォーマンスを1つのスコアにまとめることに集中しています。
複数の視点からモデルを評価するための新しいフレームワークを提案する。
このフレームワークの利点は、最先端のディープラーニングアプローチと古典的な予測手法を比較して示す。
- 参考スコア（独自算出の注目度）: 0.393259574660092
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Accurate evaluation of forecasting models is essential for ensuring reliable predictions. Current practices for evaluating and comparing forecasting models focus on summarising performance into a single score, using metrics such as SMAPE. We hypothesize that averaging performance over all samples dilutes relevant information about the relative performance of models. Particularly, conditions in which this relative performance is different than the overall accuracy. We address this limitation by proposing a novel framework for evaluating univariate time series forecasting models from multiple perspectives, such as one-step ahead forecasting versus multi-step ahead forecasting. We show the advantages of this framework by comparing a state-of-the-art deep learning approach with classical forecasting techniques. While classical methods (e.g. ARIMA) are long-standing approaches to forecasting, deep neural networks (e.g. NHITS) have recently shown state-of-the-art forecasting performance in benchmark datasets. We conducted extensive experiments that show NHITS generally performs best, but its superiority varies with forecasting conditions. For instance, concerning the forecasting horizon, NHITS only outperforms classical approaches for multi-step ahead forecasting. Another relevant insight is that, when dealing with anomalies, NHITS is outperformed by methods such as Theta. These findings highlight the importance of aspect-based model evaluation.
- Abstract（参考訳）: 予測モデルの正確な評価は、信頼性の高い予測を保証するために不可欠である。
予測モデルの評価と比較の現在のプラクティスは、SMAPEのようなメトリクスを使用して、パフォーマンスを1つのスコアにまとめることに重点を置いている。
モデルの相対的性能について,全てのサンプルの平均性能は関連情報を希釈する,という仮説を立てる。
特に、この相対的な性能が全体的な精度と異なる条件である。
本研究では,複数視点から一段階予測モデルを評価するための新しい枠組みを提案し,一段階予測モデルと多段階予測モデルを提案する。
このフレームワークの利点は、最先端のディープラーニングアプローチと古典的な予測手法を比較して示す。
古典的手法(例えばARIMA)は予測に対する長年のアプローチであるが、ディープニューラルネットワーク(例えばNHITS)は、最近、ベンチマークデータセットで最先端の予測性能を示している。
我々はNHITSが一般的に最も優れていることを示す広範な実験を行ったが、その優位性は予測条件によって異なる。
例えば、予測の地平線については、NHITSはマルチステップ予測において古典的なアプローチよりも優れている。
もう1つの関連する洞察は、異常を扱う場合、NHITSはThetaのような手法で優れるということである。
これらの知見はアスペクトベースのモデル評価の重要性を浮き彫りにした。
関連論文リスト
- Loss Shaping Constraints for Long-Term Time Series Forecasting [79.3533114027664]
本稿では,長期時系列予測のための制約付き学習手法を提案する。
提案手法は, 予測ウィンドウ上でエラーを発生させながら, 時系列ベンチマークにおける競合平均性能を示すことを示すための, 実用的なプリマル・デュアルアルゴリズムを提案する。
論文 参考訳（メタデータ） (2024-02-14T18:20:44Z) - Predictive Churn with the Set of Good Models [64.05949860750235]
近似機械学習モデルの集合に対する競合予測の効果について検討する。
ラーショモン集合内のモデル間の係り受けに関する理論的結果を示す。
当社のアプローチは、コンシューマ向けアプリケーションにおいて、より予測し、削減し、混乱を避けるためにどのように使用できるかを示します。
論文 参考訳（メタデータ） (2024-02-12T16:15:25Z) - ExtremeCast: Boosting Extreme Value Prediction for Global Weather Forecast [57.6987191099507]
非対称な最適化を行い、極端な天気予報を得るために極端な値を強調する新しい損失関数であるExlossを導入する。
また,複数のランダムサンプルを用いて予測結果の不確かさをキャプチャするExBoosterについても紹介する。
提案手法は,上位中距離予測モデルに匹敵する全体的な予測精度を維持しつつ,極端気象予測における最先端性能を達成することができる。
論文 参考訳（メタデータ） (2024-02-02T10:34:13Z) - Counterfactual Explanations for Time Series Forecasting [14.03870816983583]
本稿では,時系列予測における対実生成の新たな問題を定式化し,ForecastCFと呼ばれるアルゴリズムを提案する。
ForecastCFは、勾配に基づく摂動を元の時系列に適用することで、この問題を解決する。
以上の結果から,ForecastCFは,逆ファクト的妥当性とデータ多様体の近接性の観点から,ベースラインよりも優れていた。
論文 参考訳（メタデータ） (2023-10-12T08:51:59Z) - Forecasting inflation using disaggregates and machine learning [0.0]
我々は、インフレーションの異なる分散レベルを考慮し、線形および非線形機械学習(ML)モデルと同様に、様々な伝統的な時系列技術を用いて、より多くの予測値を扱う。
多くの予測地平線において、非凝集予測の集計は、この集計を用いて直接予測を生成するサーベイベースの予測とモデルと同様に実行される。
本研究は,ML手法による非凝集予測の集約を含む,データ豊富な環境下でのインフレーション予測におけるモデルの活用のメリットを裏付けるものである。
論文 参考訳（メタデータ） (2023-08-22T04:01:40Z) - Forecast reconciliation for vaccine supply chain optimization [61.13962963550403]
ワクチンサプライチェーン最適化は階層的な時系列予測の恩恵を受けることができる。
異なる階層レベルの予測は、上位レベルの予測が下位レベルの予測の総和と一致しないときに不整合となる。
我々は2010年から2021年にかけてのGSKの販売データを階層的時系列としてモデル化し,ワクチン販売予測問題に取り組む。
論文 参考訳（メタデータ） (2023-05-02T14:34:34Z) - Prediction-Oriented Bayesian Active Learning [51.426960808684655]
予測情報ゲイン(EPIG)は、パラメータではなく予測空間における情報ゲインを測定する。
EPIGは、さまざまなデータセットやモデルにわたるBALDと比較して、予測パフォーマンスが向上する。
論文 参考訳（メタデータ） (2023-04-17T10:59:57Z) - Evaluation of Time-Series Forecasting Models for Chickenpox Cases
Estimation in Hungary [0.0]
我々は時系列予測技術を用いて,ニワトリの今後の発生をモデル化し,予測する。
ハンガリーが収集したデータセット上で,複数のモデルとデータ前処理技術を実装し,シミュレーションする。
論文 参考訳（メタデータ） (2022-09-28T14:27:07Z) - Long Range Probabilistic Forecasting in Time-Series using High Order
Statistics [19.12411040726229]
本稿では,ベースレベルとアグリゲーション統計量で一致した予測を生成する新しい確率予測手法を提案する。
提案手法は,3つの領域にまたがる実際のデータセットにおいて,ベースレベルと非表示アグリゲーションの両方で予測性能を向上することを示す。
論文 参考訳（メタデータ） (2021-11-05T11:10:35Z) - Back2Future: Leveraging Backfill Dynamics for Improving Real-time
Predictions in Future [73.03458424369657]
公衆衛生におけるリアルタイム予測では、データ収集は簡単で要求の多いタスクである。
過去の文献では「バックフィル」現象とそのモデル性能への影響についてはほとんど研究されていない。
我々は、与えられたモデルの予測をリアルタイムで洗練することを目的とした、新しい問題とニューラルネットワークフレームワークBack2Futureを定式化する。
論文 参考訳（メタデータ） (2021-06-08T14:48:20Z) - Learning Prediction Intervals for Model Performance [1.433758865948252]
モデル性能の予測間隔を計算する手法を提案する。
我々は,幅広いドリフト条件におけるアプローチを評価し,競合ベースラインよりも大幅に改善することを示す。
論文 参考訳（メタデータ） (2020-12-15T21:32:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。