論文の概要: Attributing AUC-ROC to Analyze Binary Classifier Performance
- arxiv url: http://arxiv.org/abs/2205.11781v1
- Date: Tue, 24 May 2022 04:42:52 GMT
- ステータス: 処理完了
- システム内更新日: 2022-05-26 07:31:16.377506
- Title: Attributing AUC-ROC to Analyze Binary Classifier Performance
- Title（参考訳）: AUC-ROCによるバイナリ分類器の性能解析
- Authors: Arya Tafvizi, Besim Avci, Mukund Sundararajan
- Abstract要約: 本稿では,AUC-ROC(Area Under the Receiver Operating Characteristics Curve)を人間の解釈可能な次元に沿って分割する手法について議論する。
AUC-ROCはデータサンプル上の加算/線形関数ではないので、AUC-ROC全体のセグメント化はデータセグメントのAUC-ROCの集計とは異なる。
- 参考スコア（独自算出の注目度）: 13.192005156790302
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Area Under the Receiver Operating Characteristic Curve (AUC-ROC) is a popular
evaluation metric for binary classifiers. In this paper, we discuss techniques
to segment the AUC-ROC along human-interpretable dimensions. AUC-ROC is not an
additive/linear function over the data samples, therefore such segmenting the
overall AUC-ROC is different from tabulating the AUC-ROC of data segments. To
segment the overall AUC-ROC, we must first solve an \emph{attribution} problem
to identify credit for individual examples.
We observe that AUC-ROC, though non-linear over examples, is linear over
\emph{pairs} of examples. This observation leads to a simple, efficient
attribution technique for examples (example attributions), and for pairs of
examples (pair attributions). We automatically slice these attributions using
decision trees by making the tree predict the attributions; we use the notion
of honest estimates along with a t-test to mitigate false discovery.
Our experiments with the method show that an inferior model can outperform a
superior model (trained to optimize a different training objective) on the
inferior model's own training objective, a manifestation of Goodhart's Law. In
contrast, AUC attributions enable a reasonable comparison. Example attributions
can be used to slice this comparison. Pair attributions are used to categorize
pairs of items -- one positively labeled and one negatively -- that the model
has trouble separating. These categories identify the decision boundary of the
classifier and the headroom to improve AUC.
- Abstract（参考訳）: Area Under the Receiver Operating Characteristics Curve (AUC-ROC) はバイナリ分類器の一般的な評価基準である。
本稿では,人間の解釈可能な次元に沿ってAUC-ROCを分割する手法について議論する。
AUC-ROCはデータサンプル上の加算/線形関数ではないので、AUC-ROC全体のセグメント化はデータセグメントのAUC-ROCの集計とは異なる。
AUC-ROC 全体を分割するためには、まず個々の例のクレジットを特定するために \emph{attribution} 問題を解く必要がある。
AUC-ROC は実例上では非線形であるが、実例の 'emph{pairs} 上で線型である。
この観察は、例(例:attribution)と例のペア(例:pair attribution)に対して、単純で効率的な帰属技術をもたらす。
木が帰属を予測することによって、これらの帰属を決定木を使って自動的にスライスする。
本手法を用いた実験により,劣等モデルが劣等モデル自身の学習目標であるグッドハートの法則の顕在化に対して優れたモデル(異なる訓練目標を最適化するために訓練された)を上回ることができることを示した。
対照的に、AUC属性は合理的な比較を可能にする。
例を挙げると、この比較をスライスすることができる。
ペア属性(Pair Attributions)は、モデルの分離が困難である、アイテムのペア — 肯定的なラベル付きと否定的なラベル付き – を分類するために使用される。
これらのカテゴリは、AUCを改善するために分類器とヘッドルームの決定境界を特定する。
関連論文リスト
- Multiclass ROC [6.941573057921458]
ペアワイズ・マルチクラス・True Positive Rate(TPR)とFalse Positive Rate(FPR)を要約した評価指標を提供する。
これらの分解ベクターに対する統合は、パフォーマンスに関する2値のAUC等価サマリを提供する。
提案手法をベンチマークデータセット上でのペア平均AUC統計値と比較した。
論文 参考訳（メタデータ） (2024-04-19T19:25:10Z) - Rethinking Classifier Re-Training in Long-Tailed Recognition: A Simple
Logits Retargeting Approach [102.0769560460338]
我々は,クラスごとのサンプル数に関する事前知識を必要とせず,シンプルなロジットアプローチ(LORT)を開発した。
提案手法は,CIFAR100-LT, ImageNet-LT, iNaturalist 2018など,様々な不均衡データセットの最先端性能を実現する。
論文 参考訳（メタデータ） (2024-03-01T03:27:08Z) - A structured regression approach for evaluating model performance across intersectional subgroups [53.91682617836498]
分散評価(disaggregated evaluation)は、AIフェアネスアセスメントにおける中心的なタスクであり、AIシステムのさまざまなサブグループ間でのパフォーマンスを測定することを目的としている。
非常に小さなサブグループであっても,信頼性の高いシステム性能推定値が得られることを示す。
論文 参考訳（メタデータ） (2024-01-26T14:21:45Z) - Theoretical Evaluation of Asymmetric Shapley Values for Root-Cause
Analysis [0.0]
非対称シェープ値 (ASV) は、一般的なSHAP付加的局所的説明法の変種である。
局所的な貢献が分散還元のグローバルな貢献とどのように対応するかを示す。
一般化加法モデル (GAM) を, ASV が望ましい特性を示す制限クラスとして同定する。
論文 参考訳（メタデータ） (2023-10-15T21:40:16Z) - AdAUC: End-to-end Adversarial AUC Optimization Against Long-tail
Problems [102.95119281306893]
我々は、AUCを最適化するための敵の訓練方法を探求するための早期トライアルを提示する。
我々は、AUC最適化問題をサドル点問題として再構成し、目的がインスタンスワイズ関数となる。
我々の分析は, min-max問題の勾配を計算して, 逆例を生成するアルゴリズムが求められているため, 既存の研究と異なる。
論文 参考訳（メタデータ） (2022-06-24T09:13:39Z) - Large-Margin Representation Learning for Texture Classification [67.94823375350433]
本稿では,テクスチャ分類のための小さなデータセット上で教師付きモデルをトレーニングするために,畳み込み層(CL)と大規模計量学習を組み合わせた新しいアプローチを提案する。
テクスチャと病理画像データセットの実験結果から,提案手法は同等のCNNと比較して計算コストが低く,収束が早く,競争精度が向上することが示された。
論文 参考訳（メタデータ） (2022-06-17T04:07:45Z) - CARMS: Categorical-Antithetic-REINFORCE Multi-Sample Gradient Estimator [60.799183326613395]
本稿では, 相互に負に相関した複数のサンプルに基づく分類的確率変数の非バイアス推定器を提案する。
CARMSは、ReINFORCEとコプラベースのサンプリングを組み合わせることで、重複サンプルを回避し、その分散を低減し、重要サンプリングを使用して推定器を偏りなく維持する。
我々は、生成的モデリングタスクと構造化された出力予測タスクに基づいて、いくつかのベンチマークデータセット上でCARMSを評価し、強力な自己制御ベースラインを含む競合する手法より優れていることを示す。
論文 参考訳（メタデータ） (2021-10-26T20:14:30Z) - AttriMeter: An Attribute-guided Metric Interpreter for Person
Re-Identification [100.3112429685558]
Person ReIDシステムは、2人とのマッチング時にのみ距離や類似性を提供します。
CNN ベースの ReID モデルの結果を意味的に,定量的に説明する Attribute-Guided Metric Interpreter を提案する。
論文 参考訳（メタデータ） (2021-03-02T03:37:48Z) - Adaptive Name Entity Recognition under Highly Unbalanced Data [5.575448433529451]
我々は,2方向LSTM (BI-LSTM) 上に積み重ねた条件付きランダムフィールド (CRF) 層からなるニューラルアーキテクチャについて実験を行った。
WeakクラスとStrongクラスを2つの異なるセットに分割し、各セットのパフォーマンスを最適化するために2つのBi-LSTM-CRFモデルを適切に設計するアドオン分類モデルを提案する。
論文 参考訳（メタデータ） (2020-03-10T06:56:52Z) - A Distributionally Robust Area Under Curve Maximization Model [1.370633147306388]
我々は2つの新しい分散ロバストなAUCモデル(DR-AUC)を提案する。
DR-AUCモデルは関東ロビッチ計量に依存し、AUCとヒンジ損失関数を近似する。
数値実験により,提案したDR-AUCモデルは一般に性能が向上し,特に最悪のアウト・オブ・サンプル性能が向上することが示された。
論文 参考訳（メタデータ） (2020-02-18T02:50:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。