論文の概要: ModelRadar: Aspect-based Forecast Evaluation
- arxiv url: http://arxiv.org/abs/2504.00059v1
- Date: Mon, 31 Mar 2025 11:50:45 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-04-03 13:20:33.957629
- Title: ModelRadar: Aspect-based Forecast Evaluation
- Title（参考訳）: ModelRadar: アスペクトベースの予測評価
- Authors: Vitor Cerqueira, Luis Roque, Carlos Soares,
- Abstract要約: 予測モデルの評価と比較の現在のプラクティスは、パフォーマンスを1つのスコアにまとめることに重点を置いています。
この制限は、平均的な複数のレイヤ – データセット内の時間ステップ、地平線、および複数の時系列 – が関連するパフォーマンスの変動を隠蔽する、時系列予測において特に問題となる。
定常性,異常の有無,地平線予測など,多面にわたる一変量時系列予測モデルを評価するためのフレームワークであるModelRadarを提案する。
- 参考スコア（独自算出の注目度）: 0.393259574660092
- License:
- Abstract: Accurate evaluation of forecasting models is essential for ensuring reliable predictions. Current practices for evaluating and comparing forecasting models focus on summarising performance into a single score, using metrics such as SMAPE. While convenient, averaging performance over all samples dilutes relevant information about model behavior under varying conditions. This limitation is especially problematic for time series forecasting, where multiple layers of averaging--across time steps, horizons, and multiple time series in a dataset--can mask relevant performance variations. We address this limitation by proposing ModelRadar, a framework for evaluating univariate time series forecasting models across multiple aspects, such as stationarity, presence of anomalies, or forecasting horizons. We demonstrate the advantages of this framework by comparing 24 forecasting methods, including classical approaches and different machine learning algorithms. NHITS, a state-of-the-art neural network architecture, performs best overall but its superiority varies with forecasting conditions. For instance, concerning the forecasting horizon, we found that NHITS (and also other neural networks) only outperforms classical approaches for multi-step ahead forecasting. Another relevant insight is that classical approaches such as ETS or Theta are notably more robust in the presence of anomalies. These and other findings highlight the importance of aspect-based model evaluation for both practitioners and researchers. ModelRadar is available as a Python package.
- Abstract（参考訳）: 予測モデルの正確な評価は、信頼性の高い予測を保証するために不可欠である。
予測モデルの評価と比較の現在のプラクティスは、SMAPEのようなメトリクスを使用して、パフォーマンスを1つのスコアにまとめることに重点を置いている。
便利ではあるが、全てのサンプルに対する平均的なパフォーマンスは、異なる条件下でのモデル行動に関する関連情報を希釈する。
この制限は、平均的な複数のレイヤ – データセット内の時間ステップ、地平線、および複数の時系列 – が関連するパフォーマンスの変動を隠蔽する、時系列予測において特に問題となる。
モデルRadarは、定常性、異常の有無、水平方向の予測など、複数の側面にわたる一変量時系列予測モデルを評価するためのフレームワークである。
古典的アプローチや異なる機械学習アルゴリズムを含む24の予測手法を比較することで,このフレームワークの利点を実証する。
NHITSは最先端のニューラルネットワークアーキテクチャであり、全体的な性能は優れているが、その優位性は予測条件によって異なる。
例えば、予測の地平線に関して、NHITS(および他のニューラルネットワーク)は、マルチステップ予測において古典的なアプローチよりも優れていることがわかった。
もう1つの関連する洞察は、ETSやThetaのような古典的なアプローチは、異常の存在下で顕著に堅牢であるということである。
これらの知見は,実践者,研究者双方にとってアスペクトベースモデル評価の重要性を浮き彫りにしている。
ModelRadarはPythonパッケージとして利用できる。
関連論文リスト
- On conditional diffusion models for PDE simulations [53.01911265639582]
スパース観測の予測と同化のためのスコアベース拡散モデルについて検討した。
本稿では,予測性能を大幅に向上させる自動回帰サンプリング手法を提案する。
また,条件付きスコアベースモデルに対する新たなトレーニング戦略を提案する。
論文 参考訳（メタデータ） (2024-10-21T18:31:04Z) - Forecasting with Deep Learning: Beyond Average of Average of Average Performance [0.393259574660092]
予測モデルの評価と比較の現在のプラクティスは、パフォーマンスを1つのスコアにまとめることに集中しています。
複数の視点からモデルを評価するための新しいフレームワークを提案する。
このフレームワークの利点は、最先端のディープラーニングアプローチと古典的な予測手法を比較して示す。
論文 参考訳（メタデータ） (2024-06-24T12:28:22Z) - Predictive Churn with the Set of Good Models [64.05949860750235]
近似機械学習モデルの集合に対する競合予測の効果について検討する。
ラーショモン集合内のモデル間の係り受けに関する理論的結果を示す。
当社のアプローチは、コンシューマ向けアプリケーションにおいて、より予測し、削減し、混乱を避けるためにどのように使用できるかを示します。
論文 参考訳（メタデータ） (2024-02-12T16:15:25Z) - Lag-Llama: Towards Foundation Models for Probabilistic Time Series
Forecasting [54.04430089029033]
本稿では,デコーダのみの変換器アーキテクチャに基づく時系列予測のための汎用基礎モデルであるLag-Llamaを提案する。
Lag-Llamaは、複数のドメインからの多様な時系列データの大規模なコーパスで事前訓練され、強力なゼロショット一般化能力を示す。
このような未確認データセットの比較的小さな部分で微調整を行うと、Lag-Llamaは最先端のパフォーマンスを達成する。
論文 参考訳（メタデータ） (2023-10-12T12:29:32Z) - Counterfactual Explanations for Time Series Forecasting [14.03870816983583]
本稿では,時系列予測における対実生成の新たな問題を定式化し,ForecastCFと呼ばれるアルゴリズムを提案する。
ForecastCFは、勾配に基づく摂動を元の時系列に適用することで、この問題を解決する。
以上の結果から,ForecastCFは,逆ファクト的妥当性とデータ多様体の近接性の観点から,ベースラインよりも優れていた。
論文 参考訳（メタデータ） (2023-10-12T08:51:59Z) - Evaluation of Time-Series Forecasting Models for Chickenpox Cases
Estimation in Hungary [0.0]
我々は時系列予測技術を用いて,ニワトリの今後の発生をモデル化し,予測する。
ハンガリーが収集したデータセット上で,複数のモデルとデータ前処理技術を実装し,シミュレーションする。
論文 参考訳（メタデータ） (2022-09-28T14:27:07Z) - Feature-weighted Stacking for Nonseasonal Time Series Forecasts: A Case
Study of the COVID-19 Epidemic Curves [0.0]
本研究では,非シーズン時間帯での利用可能性について,予測におけるアンサンブル手法について検討する。
予備予測段階における予測能力を証明する2つの予測モデルと2つのメタ機能からなる重畳アンサンブルを用いて遅延データ融合を提案する。
論文 参考訳（メタデータ） (2021-08-19T14:44:46Z) - Back2Future: Leveraging Backfill Dynamics for Improving Real-time
Predictions in Future [73.03458424369657]
公衆衛生におけるリアルタイム予測では、データ収集は簡単で要求の多いタスクである。
過去の文献では「バックフィル」現象とそのモデル性能への影響についてはほとんど研究されていない。
我々は、与えられたモデルの予測をリアルタイムで洗練することを目的とした、新しい問題とニューラルネットワークフレームワークBack2Futureを定式化する。
論文 参考訳（メタデータ） (2021-06-08T14:48:20Z) - Simultaneously Reconciled Quantile Forecasting of Hierarchically Related
Time Series [11.004159006784977]
本稿では,階層間の予測の整合性を維持するために,量子レグレッション損失を最適化するフレキシブル非線形モデルを提案する。
ここで導入された理論的枠組みは、下層の微分可微分損失関数を持つ任意の予測モデルに適用できる。
論文 参考訳（メタデータ） (2021-02-25T00:59:01Z) - Learning Interpretable Deep State Space Model for Probabilistic Time
Series Forecasting [98.57851612518758]
確率的時系列予測は、その歴史に基づいて将来の分布を推定する。
本稿では,非線形エミッションモデルと遷移モデルとをネットワークによってパラメータ化した,確率的時系列予測のための深部状態空間モデルを提案する。
実験では,我々のモデルが正確かつ鋭い確率予測を生成することを示す。
論文 参考訳（メタデータ） (2021-01-31T06:49:33Z) - A Multi-Channel Neural Graphical Event Model with Negative Evidence [76.51278722190607]
イベントデータセットは、タイムライン上で不規則に発生するさまざまなタイプのイベントのシーケンスである。
基礎となる強度関数を推定するために,非パラメトリックディープニューラルネットワーク手法を提案する。
論文 参考訳（メタデータ） (2020-02-21T23:10:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。