論文の概要: Evaluation: from precision, recall and F-measure to ROC, informedness,
markedness and correlation
- arxiv url: http://arxiv.org/abs/2010.16061v1
- Date: Sun, 11 Oct 2020 02:15:11 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-08 13:14:45.840783
- Title: Evaluation: from precision, recall and F-measure to ROC, informedness,
markedness and correlation
- Title（参考訳）: 評価:精度・リコール・F測定からROC・情報・マーキング・相関まで
- Authors: David M. W. Powers
- Abstract要約: Recall、Precision、F-Measure、Rand Accuracyといった尺度はバイアスがあり、バイアスを明確に理解しなければ使用できない。
予測と確率の確率を反映したいくつかの概念と測度について論じる。
- 参考スコア（独自算出の注目度）: 3.7819322027528113
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Commonly used evaluation measures including Recall, Precision, F-Measure and
Rand Accuracy are biased and should not be used without clear understanding of
the biases, and corresponding identification of chance or base case levels of
the statistic. Using these measures a system that performs worse in the
objective sense of Informedness, can appear to perform better under any of
these commonly used measures. We discuss several concepts and measures that
reflect the probability that prediction is informed versus chance. Informedness
and introduce Markedness as a dual measure for the probability that prediction
is marked versus chance. Finally we demonstrate elegant connections between the
concepts of Informedness, Markedness, Correlation and Significance as well as
their intuitive relationships with Recall and Precision, and outline the
extension from the dichotomous case to the general multi-class case.
- Abstract（参考訳）: Recall、Precision、F-Measure、Rand Accuracyなどの一般的な評価尺度はバイアスがあり、バイアスを明確に理解せずには使用すべきではない。
これらの尺度を用いることで、客観的なインフォメーションの感覚でより良くなるシステムが、これらの一般的に使用されるいずれかの措置でより良く機能するように見える。
予測と確率の確率を反映したいくつかの概念と測度について論じる。
予測が偶然に対してマークされる確率の2つの尺度として、インフォームドネスとマークネスを導入する。
最後に, インフォームドネス, マーク性, 相関性, 重要性, およびリコールと精度との直観的関係との関係をエレガントに表現し, ディコトナスの場合から一般マルチクラスの場合への拡張を概説する。
関連論文リスト
- On Information-Theoretic Measures of Predictive Uncertainty [5.8034373350518775]
その重要性にも拘わらず、予測の不確実性の正しい測定に関するコンセンサスはいまだに解明されていない。
提案手法は, 予測の不確かさを, (I) 予測モデル (II) 真の予測分布の近似の2つの要因により分類する。
本研究では, 誤分類検出, 選択的予測, アウト・オブ・ディストリビューション検出など, 典型的な不確実性推定設定において, これらの指標を実証的に評価する。
論文 参考訳（メタデータ） (2024-10-14T17:52:18Z) - Beyond Calibration: Assessing the Probabilistic Fit of Neural Regressors via Conditional Congruence [2.2359781747539396]
ディープネットワークは、しばしば過剰な自信と不一致な予測分布に悩まされる。
本稿では,条件付きカーネルの平均埋め込みを用いて,学習した予測分布とデータセットにおける経験的条件分布との距離を推定する,条件付きコングルーエンス誤差(CCE)について紹介する。
本研究では,1)データ生成プロセスが知られている場合の分布間の不一致を正確に定量化し,2)実世界の高次元画像回帰タスクに効果的にスケールし,3)未知のインスタンス上でのモデルの信頼性を評価することができることを示す。
論文 参考訳（メタデータ） (2024-05-20T23:30:07Z) - Revisiting Confidence Estimation: Towards Reliable Failure Prediction [53.79160907725975]
多くの信頼度推定法は誤分類誤りを検出するのに有害である。
本稿では, 最先端の故障予測性能を示す平坦な最小値を求めることにより, 信頼性ギャップを拡大することを提案する。
論文 参考訳（メタデータ） (2024-03-05T11:44:14Z) - Standardized Interpretable Fairness Measures for Continuous Risk Scores [4.192037827105842]
本稿では、ワッサーシュタイン距離に基づく合理的な解釈を伴う連続的なスコアに対する公正度尺度の標準化版を提案する。
我々の測度は計算が容易で、グループ格差の強さを定量化し、解釈するのにも適しており、異なるモデル、データセット、タイムポイントのバイアスを比較するのにも適しています。
論文 参考訳（メタデータ） (2023-08-22T12:01:49Z) - Model-free generalized fiducial inference [0.0]
本稿では,不正確な確率的予測推定のためのモデルフリー統計フレームワークの提案と開発を行う。
このフレームワークは、タイプ1エラーの有限サンプル制御を提供する予測セットの形式での不確実性定量化を促進する。
モデルフリー不正確なフレームワークに対する正確な確率近似の理論的および経験的特性について考察する。
論文 参考訳（メタデータ） (2023-07-24T01:58:48Z) - Evaluating Probabilistic Classifiers: The Triptych [62.997667081978825]
本稿では,予測性能の異なる相補的な側面に焦点をあてた診断グラフィックのトリチチを提案し,研究する。
信頼性図は校正に対処し、受信動作特性(ROC)曲線は識別能力を診断し、マーフィー図は全体的な予測性能と価値を視覚化する。
論文 参考訳（メタデータ） (2023-01-25T19:35:23Z) - Measuring Fairness of Text Classifiers via Prediction Sensitivity [63.56554964580627]
加速度予測感度は、入力特徴の摂動に対するモデルの予測感度に基づいて、機械学習モデルの公正度を測定する。
この計量は、群フェアネス(統計パリティ)と個人フェアネスという特定の概念と理論的に関連付けられることを示す。
論文 参考訳（メタデータ） (2022-03-16T15:00:33Z) - Uncertainty Estimation for Heatmap-based Landmark Localization [4.673063715963989]
推定誤差境界を持つ不確実性によって予測を分類するデータ駆動手法であるQuantile Binningを提案する。
この枠組みは,3つの不確実性対策を比較し,対比することによって実証する。
我々は、Quantile Binsで捕捉された大まかな誤予測をフィルタリングすることで、許容可能なエラー閾値下での予測の割合を大幅に改善する、という結論を導いた。
論文 参考訳（メタデータ） (2022-03-04T14:40:44Z) - DEUP: Direct Epistemic Uncertainty Prediction [56.087230230128185]
認識の不確実性は、学習者の知識の欠如によるサンプル外の予測エラーの一部である。
一般化誤差の予測を学習し, aleatoric uncertaintyの推定を減算することで, 認識的不確かさを直接推定する原理的アプローチを提案する。
論文 参考訳（メタデータ） (2021-02-16T23:50:35Z) - Learning Accurate Dense Correspondences and When to Trust Them [161.76275845530964]
2つの画像に関連する密度の高い流れ場と、堅牢な画素方向の信頼度マップの推定を目指しています。
フロー予測とその不確実性を共同で学習するフレキシブルな確率的アプローチを開発する。
本手法は,幾何学的マッチングと光フローデータセットに挑戦する最新の結果を得る。
論文 参考訳（メタデータ） (2021-01-05T18:54:11Z) - Trust but Verify: Assigning Prediction Credibility by Counterfactual
Constrained Learning [123.3472310767721]
予測信頼性尺度は統計学と機械学習において基本的なものである。
これらの措置は、実際に使用される多種多様なモデルを考慮に入れるべきである。
この研究で開発されたフレームワークは、リスクフィットのトレードオフとして信頼性を表現している。
論文 参考訳（メタデータ） (2020-11-24T19:52:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。