論文の概要: Regions of Reliability in the Evaluation of Multivariate Probabilistic Forecasts

• arxiv url: http://arxiv.org/abs/2304.09836v2
• Date: Tue, 6 Jun 2023 15:39:51 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-07 20:06:12.079701
• Title: Regions of Reliability in the Evaluation of Multivariate Probabilistic Forecasts
• Title（参考訳）: 多変量確率予測の評価における信頼性領域
• Authors: \'Etienne Marcotte, Valentina Zantedeschi, Alexandre Drouin, Nicolas Chapados
• Abstract要約: 時系列予測評価のための適切なスコアリングルールに関する最初の体系的な有限サンプル研究を提供する。 本研究では, 地中構造と予測分布のいくつかの重要な相違点をテストするために, 総合的な総合的合成ベンチマークを用いて解析を行った。
• 参考スコア（独自算出の注目度）: 73.33395097728128
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multivariate probabilistic time series forecasts are commonly evaluated via proper scoring rules, i.e., functions that are minimal in expectation for the ground-truth distribution. However, this property is not sufficient to guarantee good discrimination in the non-asymptotic regime. In this paper, we provide the first systematic finite-sample study of proper scoring rules for time-series forecasting evaluation. Through a power analysis, we identify the "region of reliability" of a scoring rule, i.e., the set of practical conditions where it can be relied on to identify forecasting errors. We carry out our analysis on a comprehensive synthetic benchmark, specifically designed to test several key discrepancies between ground-truth and forecast distributions, and we gauge the generalizability of our findings to real-world tasks with an application to an electricity production problem. Our results reveal critical shortcomings in the evaluation of multivariate probabilistic forecasts as commonly performed in the literature.
• Abstract（参考訳）: 多変量確率時系列予測は、適切なスコアリング規則、すなわち地上分布への期待を最小にする関数によって一般的に評価される。 しかし、この性質は非漸近的体制における良質な差別を保証するには不十分である。 本稿では,時系列予測評価のための適切なスコアリングルールの体系的有限サンプル実験を行う。 パワー分析により、スコアリングルールの「信頼性の領域」、すなわち予測誤差の特定に頼り得る実用的な条件の集合を同定する。 我々は,地上分布と予測分布のいくつかの重要な差異を具体的にテストするために設計された総合的ベンチマークの分析を行い,電気生産問題に適用した実世界課題に対する実験結果の一般化可能性を評価する。 本研究は,多変量確率予測の評価における批判的欠点を明らかにしている。

関連論文リスト

• Probabilistic Conformal Prediction with Approximate Conditional Validity [81.30551968980143]
  本研究では,共形手法の柔軟性と条件分布の推定を組み合わせ,予測セットを生成する手法を開発した。 我々の手法は、条件付きカバレッジの観点から既存の手法よりも一貫して優れています。
  論文  参考訳（メタデータ） (2024-07-01T20:44:48Z)
• Enhancing reliability in prediction intervals using point forecasters: Heteroscedastic Quantile Regression and Width-Adaptive Conformal Inference [0.0]
  一組のインターバルを評価する際には、従来の対策だけでは不十分である、と我々は主張する。 間隔は長さによって変化しなければならないが、この変化は予測の難しさに直接関係している。 本稿では,HQRモデルとWidth-Adaptive Conformal Inference(WACI)手法を提案する。
  論文  参考訳（メタデータ） (2024-06-21T06:51:13Z)
• When Rigidity Hurts: Soft Consistency Regularization for Probabilistic Hierarchical Time Series Forecasting [69.30930115236228]
  確率的階層的時系列予測は時系列予測の重要な変種である。 ほとんどの手法は点予測に焦点を絞っており、確率的確率分布を十分に調整していない。 ProFHiTは,階層全体の予測分布を共同でモデル化する完全確率的階層予測モデルである。
  論文  参考訳（メタデータ） (2023-10-17T20:30:16Z)
• Proper Scoring Rules for Survival Analysis [0.07614628596146598]
  生存分析のための4つの厳密なスコアリングルールの拡張について検討した。 これらの拡張は、確率分布の推定の離散化から生じる特定の条件下では適切であることを示す。
  論文  参考訳（メタデータ） (2023-05-01T01:50:24Z)
• Creating Probabilistic Forecasts from Arbitrary Deterministic Forecasts using Conditional Invertible Neural Networks [0.19573380763700712]
  我々は、条件付き可逆ニューラルネットワーク(cINN)を用いて、データの基盤となる分布を学習し、この分布からの不確実性を任意の決定論的予測と組み合わせる。 我々のアプローチは、複雑な統計的損失関数やさらなる仮定を伴わずに、確率的予測を簡単に作成できる。
  論文  参考訳（メタデータ） (2023-02-03T15:11:39Z)
• When Rigidity Hurts: Soft Consistency Regularization for Probabilistic Hierarchical Time Series Forecasting [69.30930115236228]
  確率的階層的時系列予測は時系列予測の重要な変種である。 ほとんどの手法は点予測に焦点を絞っており、確率的確率分布を十分に調整していない。 ProFHiTは,階層全体の予測分布を共同でモデル化する完全確率的階層予測モデルである。
  論文  参考訳（メタデータ） (2022-06-16T06:13:53Z)
• Probabilistic Forecasting with Generative Networks via Scoring Rule Minimization [5.5643498845134545]
  生成ニューラルネットワークを用いて高次元空間上の分布をパラメトリズする。 生成ネットワークをトレーニングし、関心の現象の時間的シーケンスの記録に基づいて、予測順序(または前順序)のスコアリングルールを最小化する。 本手法は,特に確率的キャリブレーションにおいて,最先端の対角法よりも優れている。
  論文  参考訳（メタデータ） (2021-12-15T15:51:12Z)
• Quantifying Uncertainty in Deep Spatiotemporal Forecasting [67.77102283276409]
  本稿では,正規格子法とグラフ法という2種類の予測問題について述べる。 我々はベイジアンおよび頻繁な視点からUQ法を解析し、統計的決定理論を通じて統一的な枠組みを提示する。 実際の道路ネットワークのトラフィック、疫病、空気質予測タスクに関する広範な実験を通じて、異なるUQ手法の統計計算トレードオフを明らかにする。
  論文  参考訳（メタデータ） (2021-05-25T14:35:46Z)
• GenDICE: Generalized Offline Estimation of Stationary Values [108.17309783125398]
  重要なアプリケーションでは,効果的な推定が依然として可能であることを示す。 我々のアプローチは、定常分布と経験分布の差を補正する比率を推定することに基づいている。 結果として得られるアルゴリズム、GenDICEは単純で効果的である。
  論文  参考訳（メタデータ） (2020-02-21T00:27:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。