論文の概要: Robust performance metrics for imbalanced classification problems

• arxiv url: http://arxiv.org/abs/2404.07661v1
• Date: Thu, 11 Apr 2024 11:50:05 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-12 14:19:15.577235
• Title: Robust performance metrics for imbalanced classification problems
• Title（参考訳）: 不均衡分類問題に対するロバスト性能指標
• Authors: Hajo Holzmann, Bernhard Klar,
• Abstract要約: Fスコアのようなバイナリ分類における確立された性能指標は、クラス不均衡に対して堅牢ではないことを示す。 我々は、FスコアとMCCの堅牢な修正を導入し、強い不均衡な設定であっても、TPRは0ドルから切り離される。
• 参考スコア（独自算出の注目度）: 2.07180164747172
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We show that established performance metrics in binary classification, such as the F-score, the Jaccard similarity coefficient or Matthews' correlation coefficient (MCC), are not robust to class imbalance in the sense that if the proportion of the minority class tends to $0$, the true positive rate (TPR) of the Bayes classifier under these metrics tends to $0$ as well. Thus, in imbalanced classification problems, these metrics favour classifiers which ignore the minority class. To alleviate this issue we introduce robust modifications of the F-score and the MCC for which, even in strongly imbalanced settings, the TPR is bounded away from $0$. We numerically illustrate the behaviour of the various performance metrics in simulations as well as on a credit default data set. We also discuss connections to the ROC and precision-recall curves and give recommendations on how to combine their usage with performance metrics.
• Abstract（参考訳）: 我々は、Fスコア、ジャカード類似係数、マシューズ相関係数(MCC)のような二項分類における確立された性能指標が、マイノリティクラスの割合が0$である場合、ベイズ分類器の真正率(TPR)が0$であるという意味で、クラス不均衡に頑健でないことを示す。 したがって、不均衡な分類問題では、これらの指標はマイノリティクラスを無視した分類器を好む。 この問題を緩和するために、FスコアとMCCの堅牢な修正を導入します。 シミュレーションや信用デフォルトデータセットにおいて,様々なパフォーマンス指標の挙動を数値的に説明する。 また、ROCと精度-リコール曲線との関係についても論じ、それらの使用法とパフォーマンス指標を組み合わせる方法について推奨する。

関連論文リスト

• Noisy Correspondence Learning with Self-Reinforcing Errors Mitigation [63.180725016463974]
  クロスモーダル検索は、実際は精力的な、十分に整合した大規模データセットに依存している。 我々は、新しい雑音対応学習フレームワーク、textbfSelf-textbfReinforcing textbfErrors textbfMitigation(SREM)を導入する。
  論文  参考訳（メタデータ） (2023-12-27T09:03:43Z)
• Balanced Classification: A Unified Framework for Long-Tailed Object Detection [74.94216414011326]
  従来の検出器は、分類バイアスによる長期データを扱う際の性能劣化に悩まされる。 本稿では,カテゴリ分布の格差に起因する不平等の適応的是正を可能にする,BAlanced CLassification (BACL) と呼ばれる統一フレームワークを提案する。 BACLは、さまざまなバックボーンとアーキテクチャを持つさまざまなデータセット間で、一貫してパフォーマンス改善を実現している。
  論文  参考訳（メタデータ） (2023-08-04T09:11:07Z)
• Improving Multi-class Classifier Using Likelihood Ratio Estimation with Regularization [0.0]
  確率比 (LRs) を用いて定義された広義ベイズ分類器 (UNB)cite Komiya:13 は不均衡な分類問題に対処するために提案された。 UNBで使用されるLR推定器は、低周波データに対してLRを過大評価し、分類性能を低下させる。 不均衡データを用いた実験により,正規化パラメータを用いてクラスバランスに応じて分類スコアを効果的に調整できることが判明した。
  論文  参考訳（メタデータ） (2022-10-28T10:07:53Z)
• Never mind the metrics -- what about the uncertainty? Visualising confusion matrix metric distributions [6.566615606042994]
  本稿では,不確実性の異なるモデル下での分布を明らかにすることにより,分類器の性能指標について,よりバランスのとれた視点を求める。 我々は、このROC空間内の(そしてそれ以上の)パフォーマンスメトリクスの輪郭の方程式、アニメーション、インタラクティブな可視化を開発します。 私たちの期待は、これらの洞察と視覚化によって、パフォーマンス指標の推定における実質的な不確実性に対する認識がより高くなることです。
  論文  参考訳（メタデータ） (2022-06-05T11:54:59Z)
• PLM: Partial Label Masking for Imbalanced Multi-label Classification [59.68444804243782]
  長いラベルの分布を持つ実世界のデータセットで訓練されたニューラルネットワークは、頻繁なクラスに偏りがあり、頻繁なクラスでは不十分である。 本稿では,この比率を利用したPLM(Partial Label Masking)を提案する。 本手法は,マルチラベル (MultiMNIST と MSCOCO) とシングルラベル (CIFAR-10 と CIFAR-100) の2つの画像分類データセットにおいて,既存の手法と比較して高い性能を実現する。
  論文  参考訳（メタデータ） (2021-05-22T18:07:56Z)
• Deconfounding Scores: Feature Representations for Causal Effect Estimation with Weak Overlap [140.98628848491146]
  推定対象の偏りを伴わずに高い重なりを生じさせる,デコンファウンディングスコアを導入する。 分離スコアは観測データで識別可能なゼロ共分散条件を満たすことを示す。 特に,この手法が標準正規化の魅力的な代替となることを示す。
  論文  参考訳（メタデータ） (2021-04-12T18:50:11Z)
• Intra-Class Uncertainty Loss Function for Classification [6.523198497365588]
  特にアンバランスクラスを含むデータセットでは、クラス内の不確実性/可変性は考慮されない。 本フレームワークでは,各クラスの深いネットワークによって抽出された特徴を,独立なガウス分布によって特徴付ける。 提案手法は,より優れたクラス表現を学習することで,分類性能の向上を示す。
  論文  参考訳（メタデータ） (2021-04-12T09:02:41Z)
• Label-Imbalanced and Group-Sensitive Classification under Overparameterization [32.923780772605596]
  ラベルの不均衡でグループに敏感な分類は、関連するメトリクスを最適化するための標準トレーニングアルゴリズムを適切に修正することを目指す。 標準実証的リスク最小化に対するロジット調整による損失修正は,一般的には効果がない可能性がある。 本研究では, 2つの共通する不均衡(ラベル/グループ)を統一的に処理し, 敏感群の二値分類に自然に適用できることを示した。
  論文  参考訳（メタデータ） (2021-03-02T08:09:43Z)
• Re-Assessing the "Classify and Count" Quantification Method [88.60021378715636]
  分類とカウント(CC)は、しばしば偏りのある推定器である。 以前の作業では、CCの適切に最適化されたバージョンを適切に使用できなかった。 最先端の手法に劣っているものの、ほぼ最先端の精度を実現している、と我々は主張する。
  論文  参考訳（メタデータ） (2020-11-04T21:47:39Z)
• Pointwise Binary Classification with Pairwise Confidence Comparisons [97.79518780631457]
  ペアワイズ比較(Pcomp)分類を提案し、ラベルのないデータのペアしか持たない。 我々はPcomp分類をノイズラベル学習に結びつけて、進歩的UREを開発し、一貫性の正則化を課すことにより改善する。
  論文  参考訳（メタデータ） (2020-10-05T09:23:58Z)
• Classification Performance Metric for Imbalance Data Based on Recall and Selectivity Normalized in Class Labels [0.0]
  クラスラベルに正規化されたリコールと選択率の調和平均に基づく新しいパフォーマンス指標を提案する。 本稿では,提案手法が不均衡なデータセットに対して適切な特性を持つことを示す。
  論文  参考訳（メタデータ） (2020-06-23T20:38:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。