論文の概要: Multiclass ROC
- arxiv url: http://arxiv.org/abs/2404.13147v1
- Date: Fri, 19 Apr 2024 19:25:10 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-23 20:18:24.694801
- Title: Multiclass ROC
- Title（参考訳）: マルチクラスROC
- Authors: Liang Wang, Luis Carvalho,
- Abstract要約: ペアワイズ・マルチクラス・True Positive Rate(TPR)とFalse Positive Rate(FPR)を要約した評価指標を提供する。
これらの分解ベクターに対する統合は、パフォーマンスに関する2値のAUC等価サマリを提供する。
提案手法をベンチマークデータセット上でのペア平均AUC統計値と比較した。
- 参考スコア（独自算出の注目度）: 6.941573057921458
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Model evaluation is of crucial importance in modern statistics application. The construction of ROC and calculation of AUC have been widely used for binary classification evaluation. Recent research generalizing the ROC/AUC analysis to multi-class classification has problems in at least one of the four areas: 1. failure to provide sensible plots 2. being sensitive to imbalanced data 3. unable to specify mis-classification cost and 4. unable to provide evaluation uncertainty quantification. Borrowing from a binomial matrix factorization model, we provide an evaluation metric summarizing the pair-wise multi-class True Positive Rate (TPR) and False Positive Rate (FPR) with one-dimensional vector representation. Visualization on the representation vector measures the relative speed of increment between TPR and FPR across all the classes pairs, which in turns provides a ROC plot for the multi-class counterpart. An integration over those factorized vector provides a binary AUC-equivalent summary on the classifier performance. Mis-clasification weights specification and bootstrapped confidence interval are also enabled to accommodate a variety of of evaluation criteria. To support our findings, we conducted extensive simulation studies and compared our method to the pair-wise averaged AUC statistics on benchmark datasets.
- Abstract（参考訳）: モデル評価は、現代の統計応用において重要である。
ROCの構築とAUCの計算は二項分類評価に広く利用されている。
ROC/AUC分析を多クラス分類に一般化する最近の研究は、以下の4つの領域のうちの少なくとも1つに問題がある。
1. 合理的なプロットの提供に失敗したこと
2.不均衡なデータに敏感であること
3. 誤分類コストの特定ができず
4. 評価の不確実性定量化を提供できない。
二項行列因数分解モデルから引用し、一次元ベクトル表現でペアワイズ多クラス正の正の値(TPR)と偽の正の値(FPR)を要約する評価指標を提供する。
表現ベクトルの可視化は、全てのクラス対にわたるTPRとFPRの間の相対的な増加速度を測る。
これらの分解ベクトルに対する積分は、分類器の性能について、AUCと等価な2値の要約を提供する。
様々な評価基準を満たすために、ミスクラシフィケーションウェイト仕様とブートストラップされた信頼区間も有効である。
提案手法をベンチマークデータセット上でのペア平均AUC統計値と比較した。
関連論文リスト
- Area under the ROC Curve has the Most Consistent Evaluation for Binary Classification [3.1850615666574806]
本研究では、異なるデータシナリオ下で異なるモデルを評価する上で、一貫性のあるメトリクスがどのように存在するかを検討する。
バイナリ分類タスクの場合、有病率の影響を受けない評価指標は、異なるモデルの集合の一貫性のあるランキングを提供する。
論文 参考訳（メタデータ） (2024-08-19T17:52:38Z) - A structured regression approach for evaluating model performance across intersectional subgroups [53.91682617836498]
分散評価(disaggregated evaluation)は、AIフェアネスアセスメントにおける中心的なタスクであり、AIシステムのさまざまなサブグループ間でのパフォーマンスを測定することを目的としている。
非常に小さなサブグループであっても,信頼性の高いシステム性能推定値が得られることを示す。
論文 参考訳（メタデータ） (2024-01-26T14:21:45Z) - Balanced Classification: A Unified Framework for Long-Tailed Object
Detection [74.94216414011326]
従来の検出器は、分類バイアスによる長期データを扱う際の性能劣化に悩まされる。
本稿では,カテゴリ分布の格差に起因する不平等の適応的是正を可能にする,BAlanced CLassification (BACL) と呼ばれる統一フレームワークを提案する。
BACLは、さまざまなバックボーンとアーキテクチャを持つさまざまなデータセット間で、一貫してパフォーマンス改善を実現している。
論文 参考訳（メタデータ） (2023-08-04T09:11:07Z) - Multi-Classification using One-versus-One Deep Learning Strategy with
Joint Probability Estimates [0.0]
提案モデルは他の最先端モデルよりも一般的に高い分類精度が得られる。
異なる応用における数値実験により,提案モデルが他の最先端モデルよりも一般的に高い分類精度を達成できることが示されている。
論文 参考訳（メタデータ） (2023-06-16T07:54:15Z) - GREAT Score: Global Robustness Evaluation of Adversarial Perturbation using Generative Models [60.48306899271866]
GREATスコア(GREAT Score)と呼ばれる新しいフレームワークを提案する。
我々は,ロバストベンチにおける攻撃ベースモデルと比較し,高い相関性を示し,GREATスコアのコストを大幅に削減した。
GREAT Scoreは、プライバシーに敏感なブラックボックスモデルのリモート監査に使用することができる。
論文 参考訳（メタデータ） (2023-04-19T14:58:27Z) - Parametric Classification for Generalized Category Discovery: A Baseline
Study [70.73212959385387]
Generalized Category Discovery (GCD)は、ラベル付きサンプルから学習した知識を用いて、ラベルなしデータセットで新しいカテゴリを発見することを目的としている。
パラメトリック分類器の故障を調査し,高品質な監視が可能であった場合の過去の設計選択の有効性を検証し,信頼性の低い疑似ラベルを重要課題として同定する。
エントロピー正規化の利点を生かし、複数のGCDベンチマークにおける最先端性能を実現し、未知のクラス数に対して強いロバスト性を示す、単純で効果的なパラメトリック分類法を提案する。
論文 参考訳（メタデータ） (2022-11-21T18:47:11Z) - CARMS: Categorical-Antithetic-REINFORCE Multi-Sample Gradient Estimator [60.799183326613395]
本稿では, 相互に負に相関した複数のサンプルに基づく分類的確率変数の非バイアス推定器を提案する。
CARMSは、ReINFORCEとコプラベースのサンプリングを組み合わせることで、重複サンプルを回避し、その分散を低減し、重要サンプリングを使用して推定器を偏りなく維持する。
我々は、生成的モデリングタスクと構造化された出力予測タスクに基づいて、いくつかのベンチマークデータセット上でCARMSを評価し、強力な自己制御ベースラインを含む競合する手法より優れていることを示す。
論文 参考訳（メタデータ） (2021-10-26T20:14:30Z) - Visualizing Classifier Adjacency Relations: A Case Study in Speaker
Verification and Voice Anti-Spoofing [72.4445825335561]
任意のバイナリ分類器によって生成される検出スコアから2次元表現を導出する簡単な方法を提案する。
ランク相関に基づいて,任意のスコアを用いた分類器の視覚的比較を容易にする。
提案手法は完全に汎用的であり,任意の検出タスクに適用可能だが,自動話者検証と音声アンチスプーフィングシステムによるスコアを用いた手法を実証する。
論文 参考訳（メタデータ） (2021-06-11T13:03:33Z) - Predicting Classification Accuracy When Adding New Unobserved Classes [8.325327265120283]
そこで本研究では,より大規模で未観測のクラスに対して,期待する精度を推定するために,分類器の性能をどのように利用することができるかを検討する。
ニューラルネットワークに基づく頑健なアルゴリズム "CleaneX" を定式化し,任意のサイズのクラスに対して,そのような分類器の精度を推定する。
論文 参考訳（メタデータ） (2020-10-28T14:37:25Z) - A Skew-Sensitive Evaluation Framework for Imbalanced Data Classification [11.125446871030734]
不均衡なデータセットのクラス分布スキューは、多数派クラスに対する予測バイアスのあるモデルにつながる可能性がある。
本稿では,不均衡なデータ分類のための簡易かつ汎用的な評価フレームワークを提案する。
論文 参考訳（メタデータ） (2020-10-12T19:47:09Z) - Improved Design of Quadratic Discriminant Analysis Classifier in
Unbalanced Settings [19.763768111774134]
分類のための二次判別分析(QDA)またはその正規化バージョン(R-QDA)は推奨されないことが多い。
本稿では2つの正規化パラメータと修正バイアスに基づく改良されたR-QDAを提案する。
論文 参考訳（メタデータ） (2020-06-11T12:17:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。