論文の概要: The MCC-F1 curve: a performance evaluation technique for binary
classification
- arxiv url: http://arxiv.org/abs/2006.11278v1
- Date: Wed, 17 Jun 2020 15:39:08 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-19 20:00:20.848480
- Title: The MCC-F1 curve: a performance evaluation technique for binary
classification
- Title(参考訳): MCC-F1曲線:二項分類の性能評価手法
- Authors: Chang Cao, Davide Chicco, Michael M. Hoffman
- Abstract要約: 本稿では,ROCとPR解析の欠点に対処するMCC-F1曲線を提案する。
MCC-F1曲線は、不均衡な基底真理であっても、良い分類器と悪い分類器をより明確に区別する。
我々はMCC-F1曲線をプロットし、関連するメトリクスを計算するRパッケージを提供する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Many fields use the ROC curve and the PR curve as standard evaluations of
binary classification methods. Analysis of ROC and PR, however, often gives
misleading and inflated performance evaluations, especially with an imbalanced
ground truth. Here, we demonstrate the problems with ROC and PR analysis
through simulations, and propose the MCC-F1 curve to address these drawbacks.
The MCC-F1 curve combines two informative single-threshold metrics, MCC and the
F1 score. The MCC-F1 curve more clearly differentiates good and bad
classifiers, even with imbalanced ground truths. We also introduce the MCC-F1
metric, which provides a single value that integrates many aspects of
classifier performance across the whole range of classification thresholds.
Finally, we provide an R package that plots MCC-F1 curves and calculates
related metrics.
- Abstract(参考訳): 多くの分野では、二進分類法の標準評価としてROC曲線とPR曲線を用いる。
しかし、ROC と PR の分析は、特に不均衡な基底真理を伴って、誤解を招き、膨らませた性能評価を与えることが多い。
本稿では,シミュレーションによるROCとPR解析の問題点を実証し,これらの欠点に対処するMCC-F1曲線を提案する。
MCC-F1曲線は、MCCとF1スコアの2つの情報的単一閾値指標を組み合わせたものである。
MCC-F1曲線は、不均衡な基底真理であっても、良い分類器と悪い分類器をより明確に区別する。
MCC-F1測定値も導入し,分類しきい値全体にわたって,分類器性能の多くの側面を統合する単一の値を提供する。
最後に、MCC-F1曲線をプロットし、関連するメトリクスを計算するRパッケージを提供する。
関連論文リスト
- MetaCoCo: A New Few-Shot Classification Benchmark with Spurious Correlation [46.50551811108464]
実世界のシナリオから収集したスプリアス相関シフトを用いたベンチマークを提案する。
また,CLIPを事前学習した視覚言語モデルとして用いたメトリクスを提案する。
実験結果から,既存手法の性能はスプリアス相関シフトの有無で著しく低下することがわかった。
論文 参考訳(メタデータ) (2024-04-30T15:45:30Z) - Robust performance metrics for imbalanced classification problems [2.07180164747172]
Fスコアのようなバイナリ分類における確立された性能指標は、クラス不均衡に対して堅牢ではないことを示す。
我々は、FスコアとMCCの堅牢な修正を導入し、強い不均衡な設定であっても、TPRは0ドルから切り離される。
論文 参考訳(メタデータ) (2024-04-11T11:50:05Z) - Balanced Classification: A Unified Framework for Long-Tailed Object
Detection [74.94216414011326]
従来の検出器は、分類バイアスによる長期データを扱う際の性能劣化に悩まされる。
本稿では,カテゴリ分布の格差に起因する不平等の適応的是正を可能にする,BAlanced CLassification (BACL) と呼ばれる統一フレームワークを提案する。
BACLは、さまざまなバックボーンとアーキテクチャを持つさまざまなデータセット間で、一貫してパフォーマンス改善を実現している。
論文 参考訳(メタデータ) (2023-08-04T09:11:07Z) - Interactive Segmentation as Gaussian Process Classification [58.44673380545409]
クリックベースのインタラクティブセグメンテーション(IS)は、ユーザインタラクション下で対象オブジェクトを抽出することを目的としている。
現在のディープラーニング(DL)ベースの手法のほとんどは、主にセマンティックセグメンテーションの一般的なパイプラインに従っている。
本稿では,各画像上でガウス過程(GP)に基づく画素単位のバイナリ分類モデルとしてISタスクを定式化することを提案する。
論文 参考訳(メタデータ) (2023-02-28T14:01:01Z) - Evaluating Probabilistic Classifiers: The Triptych [62.997667081978825]
本稿では,予測性能の異なる相補的な側面に焦点をあてた診断グラフィックのトリチチを提案し,研究する。
信頼性図は校正に対処し、受信動作特性(ROC)曲線は識別能力を診断し、マーフィー図は全体的な予測性能と価値を視覚化する。
論文 参考訳(メタデータ) (2023-01-25T19:35:23Z) - Compound Batch Normalization for Long-tailed Image Classification [77.42829178064807]
本稿では,ガウス混合に基づく複合バッチ正規化法を提案する。
機能空間をより包括的にモデル化し、ヘッドクラスの優位性を減らすことができる。
提案手法は,画像分類における既存の手法よりも優れている。
論文 参考訳(メタデータ) (2022-12-02T07:31:39Z) - Learnable Distribution Calibration for Few-Shot Class-Incremental
Learning [122.2241120474278]
FSCIL(Few-shot class-incremental Learning)は、古いクラス分布を記憶し、少数のトレーニングサンプルから新しいクラス分布を推定するという課題に直面している。
本稿では,これら2つの課題を統一フレームワークを用いて体系的に解決することを目的とした,学習可能な分布校正手法を提案する。
論文 参考訳(メタデータ) (2022-10-01T09:40:26Z) - Why only Micro-F1? Class Weighting of Measures for Relation
Classification [13.925280574174831]
不均衡なデータセットに対するマイクロやマクロなどの重み付け方式を解析する。
重み付け方式の違いによるレポート結果が,モデルの強みや弱みをより強調することを示す。
論文 参考訳(メタデータ) (2022-05-19T10:33:28Z) - Learning with Multiclass AUC: Theory and Algorithms [141.63211412386283]
ROC曲線 (AUC) の下の領域は、不均衡学習やレコメンダシステムといった問題に対するよく知られたランキング基準である。
本稿では,マルチクラスAUCメトリクスを最適化することで,多クラススコアリング関数を学習する問題について検討する。
論文 参考訳(メタデータ) (2021-07-28T05:18:10Z) - FROCC: Fast Random projection-based One-Class Classification [4.312746668772342]
高速ランダムプロジェクションに基づく一クラス分類(FROCC)は一クラス分類の効率的な方法である。
FROCCは最大3.1%向上し、トレーニング時間とテスト時間では1.2-67.8倍のスピードアップを達成した。
論文 参考訳(メタデータ) (2020-11-29T08:56:59Z) - CinC-GAN for Effective F0 prediction for Whisper-to-Normal Speech
Conversion [15.962908864494745]
WHSP2SPCH変換のためのCycle-in-Cycle GAN(CinC-GAN)を提案する。
MCCマッピングの精度を損なうことなくF0予測の有効性を高めるように設計されている。
提案手法を非並列設定で評価し、話者特化タスクとジェンダー特化タスクに基づいて分析する。
論文 参考訳(メタデータ) (2020-08-18T07:56:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。