論文の概要: Evaluating Probabilistic Classifiers: The Triptych

• arxiv url: http://arxiv.org/abs/2301.10803v1
• Date: Wed, 25 Jan 2023 19:35:23 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-27 15:16:04.562863
• Title: Evaluating Probabilistic Classifiers: The Triptych
• Title（参考訳）: 確率的分類器の評価:トリプティッチ
• Authors: Timo Dimitriadis, Tilmann Gneiting, Alexander I. Jordan, Peter Vogel
• Abstract要約: 本稿では,予測性能の異なる相補的な側面に焦点をあてた診断グラフィックのトリチチを提案し,研究する。 信頼性図は校正に対処し、受信動作特性(ROC)曲線は識別能力を診断し、マーフィー図は全体的な予測性能と価値を視覚化する。
• 参考スコア（独自算出の注目度）: 62.997667081978825
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Probability forecasts for binary outcomes, often referred to as probabilistic classifiers or confidence scores, are ubiquitous in science and society, and methods for evaluating and comparing them are in great demand. We propose and study a triptych of diagnostic graphics that focus on distinct and complementary aspects of forecast performance: The reliability diagram addresses calibration, the receiver operating characteristic (ROC) curve diagnoses discrimination ability, and the Murphy diagram visualizes overall predictive performance and value. A Murphy curve shows a forecast's mean elementary scores, including the widely used misclassification rate, and the area under a Murphy curve equals the mean Brier score. For a calibrated forecast, the reliability curve lies on the diagonal, and for competing calibrated forecasts, the ROC and Murphy curves share the same number of crossing points. We invoke the recently developed CORP (Consistent, Optimally binned, Reproducible, and Pool-Adjacent-Violators (PAV) algorithm based) approach to craft reliability diagrams and decompose a mean score into miscalibration (MCB), discrimination (DSC), and uncertainty (UNC) components. Plots of the DSC measure of discrimination ability versus the calibration metric MCB visualize classifier performance across multiple competitors. The proposed tools are illustrated in empirical examples from astrophysics, economics, and social science.
• Abstract（参考訳）: 確率的分類器や信頼スコアと呼ばれる二項結果の確率予測は科学や社会においてユビキタスであり、それらを評価・比較する方法は大きな需要がある。 本稿では,予測性能の個別的かつ相補的な側面に着目した診断グラフィックスの提案と検討を行う。信頼性図は校正に対処し,受信者動作特性(roc)曲線は識別能力の診断を行い,マーフィー図は全体的な予測性能と価値を可視化する。 マーフィー曲線は、広く使われている誤分類率を含む予測の平均初等スコアを示し、マーフィー曲線の下の領域は平均ブライアスコアと等しい。 キャリブレーション予測では、信頼性曲線は対角線上にあり、競合するキャリブレーション予測では、ROC曲線とマーフィー曲線は同じ交差点数を共有する。 最近開発された CORP (Consistent, Optimally binned, Reproducible, Pool-Adjacent-Violators) アルゴリズムを用いて信頼性図を作成し,平均スコアを誤校正 (MCB), 識別 (DSC), 不確実 (UNC) コンポーネントに分解する。 識別能力のdsc指標とキャリブレーションメトリックmcbのプロットは、複数の競合相手間での分類器の性能を可視化する。 提案したツールは、天体物理学、経済学、社会科学の実証的な例で説明されている。

関連論文リスト

• Calibrated Probabilistic Forecasts for Arbitrary Sequences [58.54729945445505]
  実際のデータストリームは、分散シフトやフィードバックループ、敵アクターによって予測不可能に変化する可能性がある。 データがどのように進化するかに関わらず、有効な不確実性推定を保証するための予測フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-09-27T21:46:42Z)
• Probabilistic Scores of Classifiers, Calibration is not Enough [0.32985979395737786]
  二項分類タスクでは、確率的予測の正確な表現が実世界の様々な応用に不可欠である。 本研究では,予測スコアと真の確率分布の一致を優先するアプローチを強調した。 その結果,従来の校正基準の限界が明らかとなり,重要な意思決定のための予測モデルの信頼性を損なう可能性が示唆された。
  論文  参考訳（メタデータ） (2024-08-06T19:53:00Z)
• Uncertainty Calibration for Counterfactual Propensity Estimation in Recommendation [22.67361489565711]
  inverse propensity score (IPS) は、観測された各インスタンスの予測誤差を重み付けするために用いられる。 IPSベースのレコメンデーションは、確率推定における誤校正によって妨げられる。 本稿では,CVR予測の妥当性に基づくデバイアス化のためのモデルに依存しないキャリブレーションフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-03-23T00:42:48Z)
• Towards Reliable Medical Image Segmentation by utilizing Evidential Calibrated Uncertainty [52.03490691733464]
  本稿では,医療画像セグメンテーションネットワークにシームレスに統合可能な,実装が容易な基礎モデルであるDEviSを紹介する。 主観的論理理論を利用して、医用画像分割の問題に対する確率と不確実性を明示的にモデル化する。 DeviSには不確実性を考慮したフィルタリングモジュールが組み込まれている。
  論文  参考訳（メタデータ） (2023-01-01T05:02:46Z)
• Never mind the metrics -- what about the uncertainty? Visualising confusion matrix metric distributions [6.566615606042994]
  本稿では,不確実性の異なるモデル下での分布を明らかにすることにより,分類器の性能指標について,よりバランスのとれた視点を求める。 我々は、このROC空間内の(そしてそれ以上の)パフォーマンスメトリクスの輪郭の方程式、アニメーション、インタラクティブな可視化を開発します。 私たちの期待は、これらの洞察と視覚化によって、パフォーマンス指標の推定における実質的な不確実性に対する認識がより高くなることです。
  論文  参考訳（メタデータ） (2022-06-05T11:54:59Z)
• Random Noise vs State-of-the-Art Probabilistic Forecasting Methods : A Case Study on CRPS-Sum Discrimination Ability [4.9449660544238085]
  対象データの統計的特性がCRPS-Sumの識別能力に影響を及ぼすことを示す。 CRPS-Sum計算は各次元におけるモデルの性能を見落としている。 ダミーモデルに対して,ランダムノイズのように見える,より優れたCRPS-Sumを持つことが容易に可能であることを示す。
  論文  参考訳（メタデータ） (2022-01-21T12:36:58Z)
• Probabilistic Gradient Boosting Machines for Large-Scale Probabilistic Regression [51.770998056563094]
  PGBM(Probabilistic Gradient Boosting Machines)は、確率的予測を生成する手法である。 既存の最先端手法と比較してPGBMの利点を実証的に示す。
  論文  参考訳（メタデータ） (2021-06-03T08:32:13Z)
• Trust but Verify: Assigning Prediction Credibility by Counterfactual Constrained Learning [123.3472310767721]
  予測信頼性尺度は統計学と機械学習において基本的なものである。 これらの措置は、実際に使用される多種多様なモデルを考慮に入れるべきである。 この研究で開発されたフレームワークは、リスクフィットのトレードオフとして信頼性を表現している。
  論文  参考訳（メタデータ） (2020-11-24T19:52:38Z)
• Evaluating probabilistic classifiers: Reliability diagrams and score decompositions revisited [68.8204255655161]
  確率的に統計的に一貫性があり、最適に結合し、再現可能な信頼性図を自動生成するCORP手法を導入する。 コーパスは非パラメトリックアイソトニック回帰に基づいており、プール・アジャセント・ヴァイオレータ(PAV)アルゴリズムによって実装されている。
  論文  参考訳（メタデータ） (2020-08-07T08:22:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。