論文の概要: Evaluating probabilistic classifiers: Reliability diagrams and score decompositions revisited

• arxiv url: http://arxiv.org/abs/2008.03033v1
• Date: Fri, 7 Aug 2020 08:22:26 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-02 01:02:54.115902
• Title: Evaluating probabilistic classifiers: Reliability diagrams and score decompositions revisited
• Title（参考訳）: 確率的分類器の評価:信頼性図とスコア分解再検討
• Authors: Timo Dimitriadis, Tilmann Gneiting, Alexander I. Jordan
• Abstract要約: 確率的に統計的に一貫性があり、最適に結合し、再現可能な信頼性図を自動生成するCORP手法を導入する。 コーパスは非パラメトリックアイソトニック回帰に基づいており、プール・アジャセント・ヴァイオレータ(PAV)アルゴリズムによって実装されている。
• 参考スコア（独自算出の注目度）: 68.8204255655161
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: A probability forecast or probabilistic classifier is reliable or calibrated if the predicted probabilities are matched by ex post observed frequencies, as examined visually in reliability diagrams. The classical binning and counting approach to plotting reliability diagrams has been hampered by a lack of stability under unavoidable, ad hoc implementation decisions. Here we introduce the CORP approach, which generates provably statistically Consistent, Optimally binned, and Reproducible reliability diagrams in an automated way. CORP is based on non-parametric isotonic regression and implemented via the Pool-adjacent-violators (PAV) algorithm - essentially, the CORP reliability diagram shows the graph of the PAV- (re)calibrated forecast probabilities. The CORP approach allows for uncertainty quantification via either resampling techniques or asymptotic theory, furnishes a new numerical measure of miscalibration, and provides a CORP based Brier score decomposition that generalizes to any proper scoring rule. We anticipate that judicious uses of the PAV algorithm yield improved tools for diagnostics and inference for a very wide range of statistical and machine learning methods.
• Abstract（参考訳）: 確率予測や確率分類器は、予測された確率が観測後の観測周波数で一致した場合、信頼性または校正される。 信頼性図をプロットする古典的なバイナリとカウントのアプローチは、避けられないアドホックな実装決定の下での安定性の欠如によって妨げられている。 本稿では、統計的に一貫性があり、最適にバイナリ化され、再現可能な信頼性図を自動で生成するplcアプローチを紹介する。 CORPは非パラメトリックな等方性回帰に基づいており、Pool-adjacent-violators (PAV)アルゴリズムを用いて実装されている。 CORPアプローチは、再サンプリング技術または漸近理論による不確実な定量化を可能にし、新しい数値的な誤校正尺度を作成し、CORPベースのブリアスコア分解を提供し、任意の適切なスコアリング規則に一般化する。 我々は,PAVアルゴリズムの偏見的利用により,非常に幅広い統計的・機械学習手法の診断・推論ツールの改善が期待できる。

関連論文リスト

• Calibrated Probabilistic Forecasts for Arbitrary Sequences [58.54729945445505]
  実際のデータストリームは、分散シフトやフィードバックループ、敵アクターによって予測不可能に変化する可能性がある。 データがどのように進化するかに関わらず、有効な不確実性推定を保証するための予測フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-09-27T21:46:42Z)
• Probabilistic Scores of Classifiers, Calibration is not Enough [0.32985979395737786]
  二項分類タスクでは、確率的予測の正確な表現が実世界の様々な応用に不可欠である。 本研究では,予測スコアと真の確率分布の一致を優先するアプローチを強調した。 その結果,従来の校正基準の限界が明らかとなり,重要な意思決定のための予測モデルの信頼性を損なう可能性が示唆された。
  論文  参考訳（メタデータ） (2024-08-06T19:53:00Z)
• When Rigidity Hurts: Soft Consistency Regularization for Probabilistic Hierarchical Time Series Forecasting [69.30930115236228]
  確率的階層的時系列予測は時系列予測の重要な変種である。 ほとんどの手法は点予測に焦点を絞っており、確率的確率分布を十分に調整していない。 ProFHiTは,階層全体の予測分布を共同でモデル化する完全確率的階層予測モデルである。
  論文  参考訳（メタデータ） (2023-10-17T20:30:16Z)
• On Uncertainty Calibration and Selective Generation in Probabilistic Neural Summarization: A Benchmark Study [14.041071717005362]
  要約のための最新のディープモデルは、優れたベンチマーク性能を得るが、誤校正された予測の不確実性を生成する傾向にある。 これは、低品質の予測に高い信頼性を割り当て、現実世界のアプリケーションにおける信頼性と信頼性を損なうことを意味する。 確率的深層学習法は誤校正問題の一般的な解法であるが, 複雑な自己回帰的要約タスクにおける相対的有効性はよく理解されていない。
  論文  参考訳（メタデータ） (2023-04-17T23:06:28Z)
• Evaluating Probabilistic Classifiers: The Triptych [62.997667081978825]
  本稿では,予測性能の異なる相補的な側面に焦点をあてた診断グラフィックのトリチチを提案し,研究する。 信頼性図は校正に対処し、受信動作特性(ROC)曲線は識別能力を診断し、マーフィー図は全体的な予測性能と価値を視覚化する。
  論文  参考訳（メタデータ） (2023-01-25T19:35:23Z)
• When Rigidity Hurts: Soft Consistency Regularization for Probabilistic Hierarchical Time Series Forecasting [69.30930115236228]
  確率的階層的時系列予測は時系列予測の重要な変種である。 ほとんどの手法は点予測に焦点を絞っており、確率的確率分布を十分に調整していない。 ProFHiTは,階層全体の予測分布を共同でモデル化する完全確率的階層予測モデルである。
  論文  参考訳（メタデータ） (2022-06-16T06:13:53Z)
• Random Noise vs State-of-the-Art Probabilistic Forecasting Methods : A Case Study on CRPS-Sum Discrimination Ability [4.9449660544238085]
  対象データの統計的特性がCRPS-Sumの識別能力に影響を及ぼすことを示す。 CRPS-Sum計算は各次元におけるモデルの性能を見落としている。 ダミーモデルに対して,ランダムノイズのように見える,より優れたCRPS-Sumを持つことが容易に可能であることを示す。
  論文  参考訳（メタデータ） (2022-01-21T12:36:58Z)
• Unlabelled Data Improves Bayesian Uncertainty Calibration under Covariate Shift [100.52588638477862]
  後続正則化に基づく近似ベイズ推定法を開発した。 前立腺癌の予後モデルを世界規模で導入する上で,本手法の有用性を実証する。
  論文  参考訳（メタデータ） (2020-06-26T13:50:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。