論文の概要: Evaluation: from precision, recall and F-measure to ROC, informedness,
markedness and correlation
- arxiv url: http://arxiv.org/abs/2010.16061v1
- Date: Sun, 11 Oct 2020 02:15:11 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-08 13:14:45.840783
- Title: Evaluation: from precision, recall and F-measure to ROC, informedness,
markedness and correlation
- Title(参考訳): 評価:精度・リコール・F測定からROC・情報・マーキング・相関まで
- Authors: David M. W. Powers
- Abstract要約: Recall、Precision、F-Measure、Rand Accuracyといった尺度はバイアスがあり、バイアスを明確に理解しなければ使用できない。
予測と確率の確率を反映したいくつかの概念と測度について論じる。
- 参考スコア(独自算出の注目度): 3.7819322027528113
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Commonly used evaluation measures including Recall, Precision, F-Measure and
Rand Accuracy are biased and should not be used without clear understanding of
the biases, and corresponding identification of chance or base case levels of
the statistic. Using these measures a system that performs worse in the
objective sense of Informedness, can appear to perform better under any of
these commonly used measures. We discuss several concepts and measures that
reflect the probability that prediction is informed versus chance. Informedness
and introduce Markedness as a dual measure for the probability that prediction
is marked versus chance. Finally we demonstrate elegant connections between the
concepts of Informedness, Markedness, Correlation and Significance as well as
their intuitive relationships with Recall and Precision, and outline the
extension from the dichotomous case to the general multi-class case.
- Abstract(参考訳): Recall、Precision、F-Measure、Rand Accuracyなどの一般的な評価尺度はバイアスがあり、バイアスを明確に理解せずには使用すべきではない。
これらの尺度を用いることで、客観的なインフォメーションの感覚でより良くなるシステムが、これらの一般的に使用されるいずれかの措置でより良く機能するように見える。
予測と確率の確率を反映したいくつかの概念と測度について論じる。
予測が偶然に対してマークされる確率の2つの尺度として、インフォームドネスとマークネスを導入する。
最後に, インフォームドネス, マーク性, 相関性, 重要性, およびリコールと精度との直観的関係との関係をエレガントに表現し, ディコトナスの場合から一般マルチクラスの場合への拡張を概説する。
関連論文リスト
- Revisiting Confidence Estimation: Towards Reliable Failure Prediction [53.79160907725975]
多くの信頼度推定法は誤分類誤りを検出するのに有害である。
本稿では, 最先端の故障予測性能を示す平坦な最小値を求めることにより, 信頼性ギャップを拡大することを提案する。
論文 参考訳(メタデータ) (2024-03-05T11:44:14Z) - Interpretable Distribution-Invariant Fairness Measures for Continuous
Scores [4.711430413139392]
本稿では、ワッサーシュタイン距離に基づく合理的な解釈を伴う連続的なスコアに対する公平度尺度の分布不変バージョンを提案する。
グループ格差の強さの定量化と解釈には, 計算が容易であり, 適している。
提案した分布不変フェアネス尺度は,より明示的で,ROCに基づくフェアネス尺度が欠落する有意なバイアスを定量化できるため,ROCに基づくフェアネス尺度よりも優れていることを示す。
論文 参考訳(メタデータ) (2023-08-22T12:01:49Z) - Model-free generalized fiducial inference [0.0]
本稿では,不正確な確率的予測推定のためのモデルフリー統計フレームワークの提案と開発を行う。
このフレームワークは、タイプ1エラーの有限サンプル制御を提供する予測セットの形式での不確実性定量化を促進する。
モデルフリー不正確なフレームワークに対する正確な確率近似の理論的および経験的特性について考察する。
論文 参考訳(メタデータ) (2023-07-24T01:58:48Z) - From Classification Accuracy to Proper Scoring Rules: Elicitability of
Probabilistic Top List Predictions [0.0]
単クラス予測と予測分布のギャップを埋める新しいタイプの分類予測法を提案する。
提案した評価指標は,対称的固有スコアリングルールに基づいて,様々な種類の予測の比較を許容する。
論文 参考訳(メタデータ) (2023-01-27T15:55:01Z) - Evaluating Probabilistic Classifiers: The Triptych [62.997667081978825]
本稿では,予測性能の異なる相補的な側面に焦点をあてた診断グラフィックのトリチチを提案し,研究する。
信頼性図は校正に対処し、受信動作特性(ROC)曲線は識別能力を診断し、マーフィー図は全体的な予測性能と価値を視覚化する。
論文 参考訳(メタデータ) (2023-01-25T19:35:23Z) - Usable Region Estimate for Assessing Practical Usability of Medical
Image Segmentation Models [32.56957759180135]
医療画像セグメンテーションモデルの実用的ユーザビリティを定量的に測定することを目的としている。
まず、予測者の信頼度がランクの正確度スコアとどのように相関しているかを推定する尺度であるCCRC(Correctness-Confidence Rank correlation)を提案する。
次に、予測の正しさと信頼度を同時に定量化するURE(Usable Region Estimate)を提案する。
論文 参考訳(メタデータ) (2022-07-01T02:33:44Z) - Measuring Fairness of Text Classifiers via Prediction Sensitivity [63.56554964580627]
加速度予測感度は、入力特徴の摂動に対するモデルの予測感度に基づいて、機械学習モデルの公正度を測定する。
この計量は、群フェアネス(統計パリティ)と個人フェアネスという特定の概念と理論的に関連付けられることを示す。
論文 参考訳(メタデータ) (2022-03-16T15:00:33Z) - Uncertainty Estimation for Heatmap-based Landmark Localization [4.673063715963989]
推定誤差境界を持つ不確実性によって予測を分類するデータ駆動手法であるQuantile Binningを提案する。
この枠組みは,3つの不確実性対策を比較し,対比することによって実証する。
我々は、Quantile Binsで捕捉された大まかな誤予測をフィルタリングすることで、許容可能なエラー閾値下での予測の割合を大幅に改善する、という結論を導いた。
論文 参考訳(メタデータ) (2022-03-04T14:40:44Z) - DEUP: Direct Epistemic Uncertainty Prediction [56.087230230128185]
認識の不確実性は、学習者の知識の欠如によるサンプル外の予測エラーの一部である。
一般化誤差の予測を学習し, aleatoric uncertaintyの推定を減算することで, 認識的不確かさを直接推定する原理的アプローチを提案する。
論文 参考訳(メタデータ) (2021-02-16T23:50:35Z) - Learning Accurate Dense Correspondences and When to Trust Them [161.76275845530964]
2つの画像に関連する密度の高い流れ場と、堅牢な画素方向の信頼度マップの推定を目指しています。
フロー予測とその不確実性を共同で学習するフレキシブルな確率的アプローチを開発する。
本手法は,幾何学的マッチングと光フローデータセットに挑戦する最新の結果を得る。
論文 参考訳(メタデータ) (2021-01-05T18:54:11Z) - Trust but Verify: Assigning Prediction Credibility by Counterfactual
Constrained Learning [123.3472310767721]
予測信頼性尺度は統計学と機械学習において基本的なものである。
これらの措置は、実際に使用される多種多様なモデルを考慮に入れるべきである。
この研究で開発されたフレームワークは、リスクフィットのトレードオフとして信頼性を表現している。
論文 参考訳(メタデータ) (2020-11-24T19:52:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。