論文の概要: Performance Metrics for Probabilistic Ordinal Classifiers

• arxiv url: http://arxiv.org/abs/2309.08701v1
• Date: Fri, 15 Sep 2023 18:45:15 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-19 19:53:31.721631
• Title: Performance Metrics for Probabilistic Ordinal Classifiers
• Title（参考訳）: 確率順序分類器の性能指標
• Authors: Adrian Galdran
• Abstract要約: 通常の分類モデルは、真のクラスからさらに離れた予測により高い罰則を割り当てる。 本稿では,階層化確率スコア(RPS, Ranked Probability Score)を画像グレーティングに活用することを提唱する。
• 参考スコア（独自算出の注目度）: 1.6653762541912462
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Ordinal classification models assign higher penalties to predictions further away from the true class. As a result, they are appropriate for relevant diagnostic tasks like disease progression prediction or medical image grading. The consensus for assessing their categorical predictions dictates the use of distance-sensitive metrics like the Quadratic-Weighted Kappa score or the Expected Cost. However, there has been little discussion regarding how to measure performance of probabilistic predictions for ordinal classifiers. In conventional classification, common measures for probabilistic predictions are Proper Scoring Rules (PSR) like the Brier score, or Calibration Errors like the ECE, yet these are not optimal choices for ordinal classification. A PSR named Ranked Probability Score (RPS), widely popular in the forecasting field, is more suitable for this task, but it has received no attention in the image analysis community. This paper advocates the use of the RPS for image grading tasks. In addition, we demonstrate a counter-intuitive and questionable behavior of this score, and propose a simple fix for it. Comprehensive experiments on four large-scale biomedical image grading problems over three different datasets show that the RPS is a more suitable performance metric for probabilistic ordinal predictions. Code to reproduce our experiments can be found at https://github.com/agaldran/prob_ord_metrics .
• Abstract（参考訳）: 通常の分類モデルは、真のクラスからさらに離れた予測により高い罰則を割り当てる。 その結果, 疾患進展予測や画像評価などの関連診断に適していると考えられた。 カテゴリー予測を評価するためのコンセンサスは、二次重み付きkappaスコアや期待コストのような距離に敏感なメトリクスの使用を決定する。 しかし,順序分類器の確率的予測性能についてはほとんど議論されていない。 従来の分類では、確率的予測のための一般的な尺度は、ブライアスコアのような適切なスコア規則(PSR)や、ECEのような校正誤差であるが、順序的分類には最適ではない。 予測分野で広く普及しているPSR Ranked Probability Score (RPS)は、この課題に適しているが、画像分析コミュニティでは注目されていない。 本稿では、画像グレーディングタスクにおけるRSSの利用を提唱する。 さらに,このスコアの直感的かつ疑わしい動作を示すとともに,簡単な修正を提案する。 3つの異なるデータセット上での4つの大規模バイオメディカルイメージグレーディング問題に対する総合的な実験により、RPSは確率的順序予測に最適なパフォーマンス指標であることが示された。 実験を再現するコードはhttps://github.com/agaldran/prob_ord_metrics にある。

関連論文リスト

• Semiparametric conformal prediction [79.6147286161434]
  リスクに敏感なアプリケーションは、複数の、潜在的に相関したターゲット変数に対して、よく校正された予測セットを必要とする。 スコアをランダムなベクトルとして扱い、それらの連接関係構造を考慮した予測セットを構築することを目的とする。 実世界のレグレッション問題に対して,所望のカバレッジと競争効率について報告する。
  論文  参考訳（メタデータ） (2024-11-04T14:29:02Z)
• On Temperature Scaling and Conformal Prediction of Deep Classifiers [9.975341265604577]
  この目的のための2つの一般的なアプローチは、(1)最大値が正当性確率をより正確に推定するように分類器のソフトマックス値を変更すること、(2)整形予測(CP):真のラベルを含む候補ラベルの予測セットをユーザ特定確率で生成することである。 実際には、どちらの種類の表示も望ましいが、今のところ両者の相互作用は研究されていない。
  論文  参考訳（メタデータ） (2024-02-08T16:45:12Z)
• From Classification Accuracy to Proper Scoring Rules: Elicitability of Probabilistic Top List Predictions [0.0]
  単クラス予測と予測分布のギャップを埋める新しいタイプの分類予測法を提案する。 提案した評価指標は,対称的固有スコアリングルールに基づいて,様々な種類の予測の比較を許容する。
  論文  参考訳（メタデータ） (2023-01-27T15:55:01Z)
• Evaluating Probabilistic Classifiers: The Triptych [62.997667081978825]
  本稿では,予測性能の異なる相補的な側面に焦点をあてた診断グラフィックのトリチチを提案し,研究する。 信頼性図は校正に対処し、受信動作特性(ROC)曲線は識別能力を診断し、マーフィー図は全体的な予測性能と価値を視覚化する。
  論文  参考訳（メタデータ） (2023-01-25T19:35:23Z)
• Parametric Classification for Generalized Category Discovery: A Baseline Study [70.73212959385387]
  Generalized Category Discovery (GCD)は、ラベル付きサンプルから学習した知識を用いて、ラベルなしデータセットで新しいカテゴリを発見することを目的としている。 パラメトリック分類器の故障を調査し,高品質な監視が可能であった場合の過去の設計選択の有効性を検証し,信頼性の低い疑似ラベルを重要課題として同定する。 エントロピー正規化の利点を生かし、複数のGCDベンチマークにおける最先端性能を実現し、未知のクラス数に対して強いロバスト性を示す、単純で効果的なパラメトリック分類法を提案する。
  論文  参考訳（メタデータ） (2022-11-21T18:47:11Z)
• Optimizing Partial Area Under the Top-k Curve: Theory and Practice [151.5072746015253]
  トップk曲線下部分領域(AUTKC)と呼ばれる新しい計量法を開発した。 AUTKCはより優れた識別能力を持ち、ベイズ最適スコア関数は条件付き確率に対して正しいトップKランクを与えることができる。 提案手法を最適化するために,実証的なサロゲートリスク最小化フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-09-03T11:09:13Z)
• Efficient and Differentiable Conformal Prediction with General Function Classes [96.74055810115456]
  本稿では,複数の学習可能なパラメータに対する共形予測の一般化を提案する。 本研究は, クラス内において, ほぼ有効な人口被覆率, ほぼ最適効率を実現していることを示す。 実験の結果,提案アルゴリズムは有効な予測セットを学習し,効率を著しく向上できることがわかった。
  論文  参考訳（メタデータ） (2022-02-22T18:37:23Z)
• When in Doubt: Improving Classification Performance with Alternating Normalization [57.39356691967766]
  分類のための非パラメトリック後処理ステップである交互正規化(CAN)を用いた分類を導入する。 CANは、予測されたクラス確率分布を再調整することで、挑戦的な例の分類精度を向上させる。 多様な分類課題にまたがってその効果を実証的に示す。
  論文  参考訳（メタデータ） (2021-09-28T02:55:42Z)
• Training conformal predictors [0.0]
  共形予測の効率基準は、一般に、与えられた共形予測器の性能を評価するために用いられる。 そこで本研究では,そのような基準をエンフラーン分類器に活用できるかどうかを考察する。
  論文  参考訳（メタデータ） (2020-05-14T14:47:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。