論文の概要: Outperformance Score: A Universal Standardization Method for Confusion-Matrix-Based Classification Performance Metrics

• arxiv url: http://arxiv.org/abs/2505.07033v1
• Date: Sun, 11 May 2025 16:07:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-13 20:21:49.171409
• Title: Outperformance Score: A Universal Standardization Method for Confusion-Matrix-Based Classification Performance Metrics
• Title（参考訳）: Out Performance Score: Confusion-Matrix-based Classification Performance Metrics の共通標準化手法
• Authors: Ningsheng Zhao, Trang Bui, Jia Yuan Yu, Krzysztof Dzieciolowski,
• Abstract要約: 混乱行列に基づく分類性能指標の共通標準化手法であるアウトパフォーマンススコア関数を導入する。 アウトパフォーマンススコアは、可能な性能の基準分布における観察された分類性能のパーセンタイルランクを表す。
• 参考スコア（独自算出の注目度）: 1.5186937600119894
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Many classification performance metrics exist, each suited to a specific application. However, these metrics often differ in scale and can exhibit varying sensitivity to class imbalance rates in the test set. As a result, it is difficult to use the nominal values of these metrics to interpret and evaluate classification performances, especially when imbalance rates vary. To address this problem, we introduce the outperformance score function, a universal standardization method for confusion-matrix-based classification performance (CMBCP) metrics. It maps any given metric to a common scale of $[0,1]$, while providing a clear and consistent interpretation. Specifically, the outperformance score represents the percentile rank of the observed classification performance within a reference distribution of possible performances. This unified framework enables meaningful comparison and monitoring of classification performance across test sets with differing imbalance rates. We illustrate how the outperformance scores can be applied to a variety of commonly used classification performance metrics and demonstrate the robustness of our method through experiments on real-world datasets spanning multiple classification applications.
• Abstract（参考訳）: 多くの分類性能指標が存在し、それぞれが特定のアプリケーションに適している。 しかしながら、これらの指標はスケールにおいてしばしば異なり、テストセットのクラス不均衡率に対して様々な感度を示す可能性がある。 その結果、特に不均衡率が異なる場合、これらの指標の固有値を用いて分類性能を解釈し評価することは困難である。 この問題に対処するために,混乱行列に基づく分類性能(CMBCP)の共通標準化手法であるアウトパフォーマンススコア関数を導入する。 任意の計量を$[0,1]$の共通スケールにマッピングし、明確で一貫した解釈を提供する。 特に、アウトパフォーマンススコアは、可能な性能の基準分布における観察された分類性能のパーセンタイルランクを表す。 この統合されたフレームワークは、異なる不均衡率でテストセット間での分類性能の有意義な比較とモニタリングを可能にする。 そこで本研究では,複数の分類アプリケーションにまたがる実世界のデータセットを用いた実験により,様々な分類性能指標にアウトパフォーマンススコアを適用できることを示し,本手法のロバスト性を示す。

関連論文リスト

• Improving the classification of extreme classes by means of loss regularisation and generalised beta distributions [8.640930010669042]
  本稿では,一級・一級の分類性能を向上させるための一級正規化手法を提案する。 極端なクラスのパフォーマンスは、その感度を考慮に入れた新しいメトリクスを使って比較される。 提案手法により, 一般化されたベータ分布は, 極端なクラスにおける分類性能を向上することが示された。
  論文  参考訳（メタデータ） (2024-07-17T08:57:42Z)
• Bipartite Ranking Fairness through a Model Agnostic Ordering Adjustment [54.179859639868646]
  本稿では,二部類ランキングにおける公平性を実現するためのモデルに依存しない後処理フレームワークxOrderを提案する。 xOrderは、教師なしおよび教師なしの公正度メトリックを含む、さまざまな分類モデルとランキングフェアネスメトリクスと互換性がある。 提案アルゴリズムを,4つのベンチマークデータセットと2つの実世界の患者電子健康記録リポジトリ上で評価した。
  論文  参考訳（メタデータ） (2023-07-27T07:42:44Z)
• Class-Conditional Conformal Prediction with Many Classes [60.8189977620604]
  類似した共形スコアを持つクラスをクラスタ化するクラスタ化共形予測法を提案する。 クラスタ化されたコンフォメーションは、クラス条件カバレッジとセットサイズメトリクスの点で、既存のメソッドよりも一般的に優れています。
  論文  参考訳（メタデータ） (2023-06-15T17:59:02Z)
• When in Doubt: Improving Classification Performance with Alternating Normalization [57.39356691967766]
  分類のための非パラメトリック後処理ステップである交互正規化(CAN)を用いた分類を導入する。 CANは、予測されたクラス確率分布を再調整することで、挑戦的な例の分類精度を向上させる。 多様な分類課題にまたがってその効果を実証的に示す。
  論文  参考訳（メタデータ） (2021-09-28T02:55:42Z)
• Appropriateness of Performance Indices for Imbalanced Data Classification: An Analysis [15.85259386116784]
  性能指標が満たさなければならない2つの基本的な条件は、各クラスからのテストインスタンスの数とテストセット内のクラス数を変更することでそれぞれ回復力を持つ必要がある。 分類器がいくつかのクラスに対して極端な性能を示す場合でも,すべてのクラスに対して分類性能に関する情報を保持する指標の能力について検討する。
  論文  参考訳（メタデータ） (2020-08-26T18:23:36Z)
• Classification Performance Metric for Imbalance Data Based on Recall and Selectivity Normalized in Class Labels [0.0]
  クラスラベルに正規化されたリコールと選択率の調和平均に基づく新しいパフォーマンス指標を提案する。 本稿では,提案手法が不均衡なデータセットに対して適切な特性を持つことを示す。
  論文  参考訳（メタデータ） (2020-06-23T20:38:48Z)
• Classifier uncertainty: evidence, potential impact, and probabilistic treatment [0.0]
  本稿では,混乱行列の確率モデルに基づいて,分類性能指標の不確かさを定量化する手法を提案する。 我々は、不確実性は驚くほど大きく、性能評価を制限できることを示した。
  論文  参考訳（メタデータ） (2020-06-19T12:49:19Z)
• Towards Model-Agnostic Post-Hoc Adjustment for Balancing Ranking Fairness and Algorithm Utility [54.179859639868646]
  Bipartiteランキングは、ラベル付きデータから正の個人よりも上位の個人をランク付けするスコアリング機能を学ぶことを目的としている。 学習したスコアリング機能が、異なる保護グループ間で体系的な格差を引き起こすのではないかという懸念が高まっている。 本稿では、二部構成のランキングシナリオにおいて、それらのバランスをとるためのモデル後処理フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-06-15T10:08:39Z)
• An Effectiveness Metric for Ordinal Classification: Formal Properties and Experimental Results [9.602361044877426]
  本稿では,測定理論と情報理論に根ざした正規分類・閉度評価尺度の新しい尺度を提案する。 NLP共有タスクの合成データとデータの両方に対する理論的解析と実験結果から,提案手法が従来のタスクから品質面を同時に捉えていることが示唆された。
  論文  参考訳（メタデータ） (2020-06-01T20:35:46Z)
• Certified Robustness to Label-Flipping Attacks via Randomized Smoothing [105.91827623768724]
  機械学習アルゴリズムは、データ中毒攻撃の影響を受けやすい。 任意の関数に対するランダム化スムージングの統一的なビューを示す。 本稿では,一般的なデータ中毒攻撃に対して,ポイントワイズで確実に堅牢な分類器を構築するための新しい戦略を提案する。
  論文  参考訳（メタデータ） (2020-02-07T21:28:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。