論文の概要: Evaluating Probabilistic Classifiers: The Triptych
- arxiv url: http://arxiv.org/abs/2301.10803v1
- Date: Wed, 25 Jan 2023 19:35:23 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-27 15:16:04.562863
- Title: Evaluating Probabilistic Classifiers: The Triptych
- Title(参考訳): 確率的分類器の評価:トリプティッチ
- Authors: Timo Dimitriadis, Tilmann Gneiting, Alexander I. Jordan, Peter Vogel
- Abstract要約: 本稿では,予測性能の異なる相補的な側面に焦点をあてた診断グラフィックのトリチチを提案し,研究する。
信頼性図は校正に対処し、受信動作特性(ROC)曲線は識別能力を診断し、マーフィー図は全体的な予測性能と価値を視覚化する。
- 参考スコア(独自算出の注目度): 62.997667081978825
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Probability forecasts for binary outcomes, often referred to as probabilistic
classifiers or confidence scores, are ubiquitous in science and society, and
methods for evaluating and comparing them are in great demand. We propose and
study a triptych of diagnostic graphics that focus on distinct and
complementary aspects of forecast performance: The reliability diagram
addresses calibration, the receiver operating characteristic (ROC) curve
diagnoses discrimination ability, and the Murphy diagram visualizes overall
predictive performance and value. A Murphy curve shows a forecast's mean
elementary scores, including the widely used misclassification rate, and the
area under a Murphy curve equals the mean Brier score. For a calibrated
forecast, the reliability curve lies on the diagonal, and for competing
calibrated forecasts, the ROC and Murphy curves share the same number of
crossing points. We invoke the recently developed CORP (Consistent, Optimally
binned, Reproducible, and Pool-Adjacent-Violators (PAV) algorithm based)
approach to craft reliability diagrams and decompose a mean score into
miscalibration (MCB), discrimination (DSC), and uncertainty (UNC) components.
Plots of the DSC measure of discrimination ability versus the calibration
metric MCB visualize classifier performance across multiple competitors. The
proposed tools are illustrated in empirical examples from astrophysics,
economics, and social science.
- Abstract(参考訳): 確率的分類器や信頼スコアと呼ばれる二項結果の確率予測は科学や社会においてユビキタスであり、それらを評価・比較する方法は大きな需要がある。
本稿では,予測性能の個別的かつ相補的な側面に着目した診断グラフィックスの提案と検討を行う。信頼性図は校正に対処し,受信者動作特性(roc)曲線は識別能力の診断を行い,マーフィー図は全体的な予測性能と価値を可視化する。
マーフィー曲線は、広く使われている誤分類率を含む予測の平均初等スコアを示し、マーフィー曲線の下の領域は平均ブライアスコアと等しい。
キャリブレーション予測では、信頼性曲線は対角線上にあり、競合するキャリブレーション予測では、ROC曲線とマーフィー曲線は同じ交差点数を共有する。
最近開発された CORP (Consistent, Optimally binned, Reproducible, Pool-Adjacent-Violators) アルゴリズムを用いて信頼性図を作成し,平均スコアを誤校正 (MCB), 識別 (DSC), 不確実 (UNC) コンポーネントに分解する。
識別能力のdsc指標とキャリブレーションメトリックmcbのプロットは、複数の競合相手間での分類器の性能を可視化する。
提案したツールは、天体物理学、経済学、社会科学の実証的な例で説明されている。
関連論文リスト
- Calibration by Distribution Matching: Trainable Kernel Calibration
Metrics [56.629245030893685]
カーネルベースのキャリブレーションメトリクスを導入し、分類と回帰の両方で一般的なキャリブレーションの形式を統一・一般化する。
これらの指標は、異なるサンプル推定を許容しており、キャリブレーションの目的を経験的リスク最小化に組み込むのが容易である。
決定タスクにキャリブレーションメトリクスを調整し、正確な損失推定を行ない、後悔しない決定を行うための直感的なメカニズムを提供する。
論文 参考訳(メタデータ) (2023-10-31T06:19:40Z) - ARBEx: Attentive Feature Extraction with Reliability Balancing for
Robust Facial Expression Learning [1.9844265130823329]
ARBExはVision Transformerによって駆動される新しい注意的特徴抽出フレームワークである。
ラベル分布とマルチヘッド自己保持機構を備えた埋め込み空間において学習可能なアンカーポイントを用いて、弱い予測に対する性能を最適化する。
我々の戦略は、様々な文脈で実施された広範な実験により、現在の最先端の方法論よりも優れています。
論文 参考訳(メタデータ) (2023-05-02T15:10:01Z) - Calibrate: Interactive Analysis of Probabilistic Model Output [5.444048397001003]
従来の手法の欠点に耐性のある,インタラクティブな信頼性図であるCalibrateを提示する。
実世界のデータと合成データの両方のユースケースを通じて、Calibrateの実用性を実証する。
論文 参考訳(メタデータ) (2022-07-27T20:01:27Z) - Never mind the metrics -- what about the uncertainty? Visualising
confusion matrix metric distributions [6.566615606042994]
本稿では,不確実性の異なるモデル下での分布を明らかにすることにより,分類器の性能指標について,よりバランスのとれた視点を求める。
我々は、このROC空間内の(そしてそれ以上の)パフォーマンスメトリクスの輪郭の方程式、アニメーション、インタラクティブな可視化を開発します。
私たちの期待は、これらの洞察と視覚化によって、パフォーマンス指標の推定における実質的な不確実性に対する認識がより高くなることです。
論文 参考訳(メタデータ) (2022-06-05T11:54:59Z) - Random Noise vs State-of-the-Art Probabilistic Forecasting Methods : A
Case Study on CRPS-Sum Discrimination Ability [4.9449660544238085]
対象データの統計的特性がCRPS-Sumの識別能力に影響を及ぼすことを示す。
CRPS-Sum計算は各次元におけるモデルの性能を見落としている。
ダミーモデルに対して,ランダムノイズのように見える,より優れたCRPS-Sumを持つことが容易に可能であることを示す。
論文 参考訳(メタデータ) (2022-01-21T12:36:58Z) - Probabilistic Gradient Boosting Machines for Large-Scale Probabilistic
Regression [51.770998056563094]
PGBM(Probabilistic Gradient Boosting Machines)は、確率的予測を生成する手法である。
既存の最先端手法と比較してPGBMの利点を実証的に示す。
論文 参考訳(メタデータ) (2021-06-03T08:32:13Z) - Learning Accurate Dense Correspondences and When to Trust Them [161.76275845530964]
2つの画像に関連する密度の高い流れ場と、堅牢な画素方向の信頼度マップの推定を目指しています。
フロー予測とその不確実性を共同で学習するフレキシブルな確率的アプローチを開発する。
本手法は,幾何学的マッチングと光フローデータセットに挑戦する最新の結果を得る。
論文 参考訳(メタデータ) (2021-01-05T18:54:11Z) - Trust but Verify: Assigning Prediction Credibility by Counterfactual
Constrained Learning [123.3472310767721]
予測信頼性尺度は統計学と機械学習において基本的なものである。
これらの措置は、実際に使用される多種多様なモデルを考慮に入れるべきである。
この研究で開発されたフレームワークは、リスクフィットのトレードオフとして信頼性を表現している。
論文 参考訳(メタデータ) (2020-11-24T19:52:38Z) - Evaluating probabilistic classifiers: Reliability diagrams and score
decompositions revisited [68.8204255655161]
確率的に統計的に一貫性があり、最適に結合し、再現可能な信頼性図を自動生成するCORP手法を導入する。
コーパスは非パラメトリックアイソトニック回帰に基づいており、プール・アジャセント・ヴァイオレータ(PAV)アルゴリズムによって実装されている。
論文 参考訳(メタデータ) (2020-08-07T08:22:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。