論文の概要: A Closer Look at AUROC and AUPRC under Class Imbalance

• arxiv url: http://arxiv.org/abs/2401.06091v4
• Date: Mon, 13 Jan 2025 22:21:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-15 13:24:58.737533
• Title: A Closer Look at AUROC and AUPRC under Class Imbalance
• Title（参考訳）: クラス不均衡下におけるAUROCとAUPRCの概観
• Authors: Matthew B. A. McDermott, Haoran Zhang, Lasse Hyldig Hansen, Giovanni Angelotti, Jack Gallifant,
• Abstract要約: 機械学習(ML)において、精度-リコール曲線(AUPRC)の下の領域は、クラス不均衡なタスクに対する受信操作特性(AUROC)の下の領域とモデルの比較において優れた指標である、という主張が広く主張されている。 本稿では,AUROC と AUPRC のモデル誤りの有無を理論的に評価し,AUPRC がクラス不均衡の場合に一般的に優れているものではないことを明確にする。 第2に、半合成および実世界のフェアネスデータセットの実験を用いて、我々の理論を実証的に支持する。
• 参考スコア（独自算出の注目度）: 13.754188217136154
• License:
• Abstract: In machine learning (ML), a widespread claim is that the area under the precision-recall curve (AUPRC) is a superior metric for model comparison to the area under the receiver operating characteristic (AUROC) for tasks with class imbalance. This paper refutes this notion on two fronts. First, we theoretically characterize the behavior of AUROC and AUPRC in the presence of model mistakes, establishing clearly that AUPRC is not generally superior in cases of class imbalance. We further show that AUPRC can be a harmful metric as it can unduly favor model improvements in subpopulations with more frequent positive labels, heightening algorithmic disparities. Next, we empirically support our theory using experiments on both semi-synthetic and real-world fairness datasets. Prompted by these insights, we conduct a review of over 1.5 million scientific papers to understand the origin of this invalid claim, finding that it is often made without citation, misattributed to papers that do not argue this point, and aggressively over-generalized from source arguments. Our findings represent a dual contribution: a significant technical advancement in understanding the relationship between AUROC and AUPRC and a stark warning about unchecked assumptions in the ML community.
• Abstract（参考訳）: 機械学習(ML)において、精度-リコール曲線(AUPRC)の下の領域は、クラス不均衡なタスクに対する受信操作特性(AUROC)の下の領域とモデルの比較において優れた指標である、という主張が広く主張されている。 本稿ではこの概念を2つの側面で論じる。 まず,モデルミスの存在下でのAUROCとAUPRCの挙動を理論的に解析し,AUPRCがクラス不均衡の場合に一般的に優れているものではないことを明らかにした。 さらに, AUPRCは, より頻繁な正のラベルを持つサブポピュレーションのモデル改善を不当に有利に行い, アルゴリズム的格差を増大させるため, 有害な指標となる可能性が示唆された。 次に,半合成および実世界のフェアネスデータセットを用いた実験を用いて,我々の理論を実証的に支援する。 これらの知見により、我々は、この不当な主張の起源を理解するために150万以上の科学的論文のレビューを行い、しばしば引用なしで行われ、この点を論じない論文に不当に配布され、情報源の議論から積極的に過大に一般化されていることを発見した。 この結果は,AUROCとAUPRCの関係を理解する上で重要な技術的進歩と,MLコミュニティにおける未確認仮定に対する警告の2つの寄与を示す。

関連論文リスト

• Evaluating Human Alignment and Model Faithfulness of LLM Rationale [66.75309523854476]
  大規模言語モデル(LLM)が,その世代を理論的にどのように説明するかを考察する。 提案手法は帰属に基づく説明よりも「偽り」が少ないことを示す。
  論文  参考訳（メタデータ） (2024-06-28T20:06:30Z)
• Class-Imbalanced Graph Learning without Class Rebalancing [62.1368829847041]
  クラス不均衡は実世界のノード分類タスクでよく見られ、グラフ学習モデルには大きな課題がある。 本研究では、トポロジカルパラダイムからクラス不均衡バイアスの根本原因にアプローチする。 我々は,クラス再バランスを伴わずにクラス不均衡バイアスを軽減するために,軽量なトポロジカル拡張フレームワークであるBATを考案した。
  論文  参考訳（メタデータ） (2023-08-27T19:01:29Z)
• BLEURT Has Universal Translations: An Analysis of Automatic Metrics by Minimum Risk Training [64.37683359609308]
  本研究では,機械翻訳システムの学習指導の観点から,各種の主流および最先端の自動測定値について分析する。 BLEURT や BARTScore における普遍的逆変換の存在など,ある種の指標は堅牢性欠陥を示す。 詳細な分析では、これらのロバスト性障害の主な原因は、トレーニングデータセットにおける分布バイアスと、メートル法パラダイムの傾向である。
  論文  参考訳（メタデータ） (2023-07-06T16:59:30Z)
• Parametric Classification for Generalized Category Discovery: A Baseline Study [70.73212959385387]
  Generalized Category Discovery (GCD)は、ラベル付きサンプルから学習した知識を用いて、ラベルなしデータセットで新しいカテゴリを発見することを目的としている。 パラメトリック分類器の故障を調査し,高品質な監視が可能であった場合の過去の設計選択の有効性を検証し,信頼性の低い疑似ラベルを重要課題として同定する。 エントロピー正規化の利点を生かし、複数のGCDベンチマークにおける最先端性能を実現し、未知のクラス数に対して強いロバスト性を示す、単純で効果的なパラメトリック分類法を提案する。
  論文  参考訳（メタデータ） (2022-11-21T18:47:11Z)
• Few-shot Instruction Prompts for Pretrained Language Models to Detect Social Biases [55.45617404586874]
  我々は、事前訓練された言語モデル(LM)を誘導する数ショットの命令ベース手法を提案する。 大規模なLMは、微調整モデルとよく似た精度で、異なる種類の細粒度バイアスを検出できることを示す。
  論文  参考訳（メタデータ） (2021-12-15T04:19:52Z)
• Divide-and-Conquer Hard-thresholding Rules in High-dimensional Imbalanced Classification [1.0312968200748118]
  高次元の線形判別分析(LDA)における不均衡クラスサイズの影響について検討した。 マイノリティ・クラスと呼ばれる1つのクラスのデータの不足により、LDAはマイノリティ・クラスを無視し、最大誤分類率を得ることを示す。 そこで本研究では,不等式化率の大きな差を低減させる分割・対数法に基づくハードコンカレンスルールの新たな構成法を提案する。
  論文  参考訳（メタデータ） (2021-11-05T07:44:28Z)
• Tree-based local explanations of machine learning model predictions, AraucanaXAI [2.9660372210786563]
  パフォーマンスと知性の間のトレードオフは、特に医学のような高度な応用において、しばしば直面する。 本稿では,ジェネリックMLモデルの予測に関する説明を生成するための新しい手法を提案する。
  論文  参考訳（メタデータ） (2021-10-15T17:39:19Z)
• Measure Twice, Cut Once: Quantifying Bias and Fairness in Deep Neural Networks [7.763173131630868]
  本稿では,2つのモデルのクラスワイドバイアスを定量的に評価する2つの指標を提案する。 これらの新しいメトリクスのパフォーマンスを評価し、その実践的応用を実証することにより、公平性だけでなくバイアスも測定できることを示す。
  論文  参考訳（メタデータ） (2021-10-08T22:35:34Z)
• Learning with Multiclass AUC: Theory and Algorithms [141.63211412386283]
  ROC曲線 (AUC) の下の領域は、不均衡学習やレコメンダシステムといった問題に対するよく知られたランキング基準である。 本稿では,マルチクラスAUCメトリクスを最適化することで,多クラススコアリング関数を学習する問題について検討する。
  論文  参考訳（メタデータ） (2021-07-28T05:18:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。