論文の概要: Overlay\_dx - Automating forecasting evaluation
- arxiv url: http://arxiv.org/abs/2609.24586v1
- Date: Mon, 21 Sep 2026 13:47:58 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-22 20:29:01.307204
- Title: Overlay\_dx - Automating forecasting evaluation
- Title(参考訳): Overlay\_dx - 予測評価を自動化する
- Abstract要約: 本稿では,時系列予測モデルの性能を計測する新しい評価指標であるoverlay_dxを紹介する。
Overlay_dxは、実際の値の周りの信頼区間内にある予測の割合を表すビジュアルメトリックである。
評価結果がプロットされると、オーバーレイ_dxはオーバーレイ曲線の下で領域を演算し、予測値と実際の値とのアライメントの定量的尺度を提供する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Traditional evaluation metrics provides numerical values but often lack comprehensibility, hindering effective differentiation of model performances. Our work addresses this challenge by introducing overlay\_dx, a novel evaluation metric measuring the performance of time series prediction models. Overlay\_dx is a visual metric that represents the percentage of predictions falling within a confidence interval around actual values. Additionally, once evaluation results are plotted, overlay\_dx computes the area under the overlay curve, providing a quantitative measure of alignment between predicted and actual values across different thresholds and predictions. Through extensive experiments, we demonstrate that our approach offers a unified evaluation framework that combines both visual and numerical assessments, enabling improved model comparison and providing valuable insights for further research and optimization efforts in time series prediction.
- Abstract(参考訳): 従来の評価指標は数値を提供するが、しばしば理解性に欠け、モデル性能の効果的な分化を妨げる。
本研究は,時系列予測モデルの性能を計測する新しい評価指標であるoverlay\_dxを導入することで,この問題に対処する。
Overlay\_dxは、実際の値の周りの信頼区間内にある予測の割合を表すビジュアルメトリックである。
さらに、評価結果がプロットされると、オーバーレイ\_dxはオーバーレイ曲線の下で領域を計算し、予測値と実際の値とのアライメントの定量的な測定値を提供する。
広範にわたる実験を通じて,本手法は,視覚的評価と数値的評価を組み合わせた統合評価フレームワークを提供し,モデル比較の改善を実現し,時系列予測におけるさらなる研究・最適化に有用な洞察を提供することを示す。
関連論文リスト
- Conformal Reliability: A New Evaluation Metric for Conditional Generation [62.761166941396844]
条件付き生成モデルは、近年、様々な応用において顕著な成功を収めている。
本稿では,信頼度を事前に設定した予測値に基づいて,信頼度という新たな評価指標を提案する。
本稿では, 予測セットの構築と, (ii) 構築した予測セット内の信頼性スコアを正確に最適化するフレームワークであるConformal Reliability(CReL)を紹介する。
論文 参考訳(メタデータ) (2026-05-29T03:52:44Z) - TFRBench: A Reasoning Benchmark for Evaluating Forecasting Systems [52.91956121737963]
我々は,予測システムの推論能力を評価するための最初のベンチマークであるTFRBenchを紹介する。
本稿では,反復的検証ループを用いて,数値的に基底となる推論トレースを合成するマルチエージェント・フレームワークを提案する。
評価は,この推論が因果的に有効であること,評価に有用であること,生成したトレースでLSMを誘導することにより,予測精度が大幅に向上することを確認した。
論文 参考訳(メタデータ) (2026-04-07T03:04:45Z) - ModelRadar: Aspect-based Forecast Evaluation [0.393259574660092]
予測モデルの評価と比較の現在のプラクティスは、パフォーマンスを1つのスコアにまとめることに重点を置いています。
この制限は、平均的な複数のレイヤ – データセット内の時間ステップ、地平線、および複数の時系列 – が関連するパフォーマンスの変動を隠蔽する、時系列予測において特に問題となる。
定常性,異常の有無,地平線予測など,多面にわたる一変量時系列予測モデルを評価するためのフレームワークであるModelRadarを提案する。
論文 参考訳(メタデータ) (2025-03-31T11:50:45Z) - Lifted Coefficient of Determination: Fast model-free prediction intervals and likelihood-free model comparison [0.0]
予測値と観測値の相関が大きくなるにつれて、モデルフリーな予測間隔がより強くなる。
これらの区間は、任意の損失関数のモデル比較基準である決定の$textitLifted係数を動機付けている。
予測区間をより一般的な誤差分布に拡張し、回帰のための高速モデルフリーな外乱検出アルゴリズムを提案する。
論文 参考訳(メタデータ) (2024-10-11T16:27:31Z) - Experimental Comparison of Ensemble Methods and Time-to-Event Analysis
Models Through Integrated Brier Score and Concordance Index [2.3411633024711573]
本稿では,時間-時間解析のための予測モデルの性能について検討・比較する。
本研究では,時間-時間分析においてまだ研究されていないアンサンブル法が,予測精度を向上し,予測性能の堅牢性を高める方法を示す。
論文 参考訳(メタデータ) (2024-03-12T09:57:45Z) - Loss Shaping Constraints for Long-Term Time Series Forecasting [79.3533114027664]
本稿では,長期時系列予測のための制約付き学習手法を提案する。
提案手法は, 予測ウィンドウ上でエラーを発生させながら, 時系列ベンチマークにおける競合平均性能を示すことを示すための, 実用的なプリマル・デュアルアルゴリズムを提案する。
論文 参考訳(メタデータ) (2024-02-14T18:20:44Z) - New Perspectives on the Evaluation of Link Prediction Algorithms for
Dynamic Graphs [12.987894327817159]
本稿では,予測性能と時間ネットワークのダイナミックスに関する洞察を得られる新しい可視化手法を提案する。
我々は、最近のベンチマークから抽出されたデータセットに対して、エラーが通常、異なるデータセグメントに均等に分散されていないことを実証的に検証する。
論文 参考訳(メタデータ) (2023-11-30T11:57:07Z) - Unifying Gradient Estimators for Meta-Reinforcement Learning via
Off-Policy Evaluation [53.83642844626703]
オフ・ポリシー評価に基づいて,高次値関数の高次微分を推定するための統一フレームワークを提供する。
本フレームワークは, ヘッセン推定の偏りと分散トレードオフを解明する特別事例として, 多くの先行的アプローチを解釈する。
論文 参考訳(メタデータ) (2021-06-24T15:58:01Z) - Visual Time Series Forecasting: An Image-driven Approach [16.57996422431636]
エージェントが決定を下すためには時系列予測が不可欠である。
実践者からインスパイアされた我々は、視覚的な予測を生成する新しいフレームワークを作成することで、このトピックを再想像する。
論文 参考訳(メタデータ) (2020-11-18T02:51:37Z) - Performance metrics for intervention-triggering prediction models do not
reflect an expected reduction in outcomes from using the model [71.9860741092209]
臨床研究者はしばしばリスク予測モデルの中から選択し評価する。
振り返りデータから算出される標準メトリクスは、特定の仮定の下でのみモデルユーティリティに関係します。
予測が時間を通して繰り返し配信される場合、標準メトリクスとユーティリティの関係はさらに複雑になる。
論文 参考訳(メタデータ) (2020-06-02T16:26:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。