論文の概要: A Closer Look at AUROC and AUPRC under Class Imbalance

• arxiv url: http://arxiv.org/abs/2401.06091v4
• Date: Mon, 13 Jan 2025 22:21:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-15 13:24:58.737533
• Title: A Closer Look at AUROC and AUPRC under Class Imbalance
• Title（参考訳）: クラス不均衡下におけるAUROCとAUPRCの概観
• Authors: Matthew B. A. McDermott, Haoran Zhang, Lasse Hyldig Hansen, Giovanni Angelotti, Jack Gallifant,
• Abstract要約: 機械学習(ML)において、精度-リコール曲線(AUPRC)の下の領域は、クラス不均衡なタスクに対する受信操作特性(AUROC)の下の領域とモデルの比較において優れた指標である、という主張が広く主張されている。 本稿では,AUROC と AUPRC のモデル誤りの有無を理論的に評価し,AUPRC がクラス不均衡の場合に一般的に優れているものではないことを明確にする。 第2に、半合成および実世界のフェアネスデータセットの実験を用いて、我々の理論を実証的に支持する。
• 参考スコア（独自算出の注目度）: 13.754188217136154
• License:
• Abstract: In machine learning (ML), a widespread claim is that the area under the precision-recall curve (AUPRC) is a superior metric for model comparison to the area under the receiver operating characteristic (AUROC) for tasks with class imbalance. This paper refutes this notion on two fronts. First, we theoretically characterize the behavior of AUROC and AUPRC in the presence of model mistakes, establishing clearly that AUPRC is not generally superior in cases of class imbalance. We further show that AUPRC can be a harmful metric as it can unduly favor model improvements in subpopulations with more frequent positive labels, heightening algorithmic disparities. Next, we empirically support our theory using experiments on both semi-synthetic and real-world fairness datasets. Prompted by these insights, we conduct a review of over 1.5 million scientific papers to understand the origin of this invalid claim, finding that it is often made without citation, misattributed to papers that do not argue this point, and aggressively over-generalized from source arguments. Our findings represent a dual contribution: a significant technical advancement in understanding the relationship between AUROC and AUPRC and a stark warning about unchecked assumptions in the ML community.
• Abstract（参考訳）: 機械学習(ML)において、精度-リコール曲線(AUPRC)の下の領域は、クラス不均衡なタスクに対する受信操作特性(AUROC)の下の領域とモデルの比較において優れた指標である、という主張が広く主張されている。 本稿ではこの概念を2つの側面で論じる。 まず,モデルミスの存在下でのAUROCとAUPRCの挙動を理論的に解析し,AUPRCがクラス不均衡の場合に一般的に優れているものではないことを明らかにした。 さらに, AUPRCは, より頻繁な正のラベルを持つサブポピュレーションのモデル改善を不当に有利に行い, アルゴリズム的格差を増大させるため, 有害な指標となる可能性が示唆された。 次に,半合成および実世界のフェアネスデータセットを用いた実験を用いて,我々の理論を実証的に支援する。 これらの知見により、我々は、この不当な主張の起源を理解するために150万以上の科学的論文のレビューを行い、しばしば引用なしで行われ、この点を論じない論文に不当に配布され、情報源の議論から積極的に過大に一般化されていることを発見した。 この結果は,AUROCとAUPRCの関係を理解する上で重要な技術的進歩と,MLコミュニティにおける未確認仮定に対する警告の2つの寄与を示す。

関連論文リスト

• Reward Modeling with Ordinal Feedback: Wisdom of the Crowd [9.034189257088762]
  人間の好みから報酬モデル(RM)を学ぶことは、大きな言語モデルを調整する上で重要な要素である。 順序フィードバックの下でRMを学習するためのフレームワークを提案する。 我々は,Rademacher複雑性の低減の観点から,順序フィードバックの統計的利点を証明した。
  論文  参考訳（メタデータ） (2024-11-19T20:17:04Z)
• Evaluating Human Alignment and Model Faithfulness of LLM Rationale [66.75309523854476]
  大規模言語モデル(LLM)が,その世代を理論的にどのように説明するかを考察する。 提案手法は帰属に基づく説明よりも「偽り」が少ないことを示す。
  論文  参考訳（メタデータ） (2024-06-28T20:06:30Z)
• A Theory for Token-Level Harmonization in Retrieval-Augmented Generation [76.75124161306795]
  Retrieval-augmented Generation (RAG)は、検索したテキストを利用して大規模言語モデル(LLM)を強化する。 本稿では,RAGの利益と有害性を説明するための理論を提供する。 提案手法は,本理論に基づいて,純粋LLMとRAGの協調生成を実現する実用的手法であるTok-RAGを提案する。
  論文  参考訳（メタデータ） (2024-06-03T02:56:14Z)
• On Fairness of Low-Rank Adaptation of Large Models [14.522061948788863]
  大規模モデルの低ランク適応、特にLoRAは、その計算効率のために勢いを増している。 LoRAが実用性、キャリブレーション、および異なるサブグループ間でのメンバシップ推論に対する抵抗に未検討の影響があるかどうかを問う。
  論文  参考訳（メタデータ） (2024-05-27T07:37:43Z)
• Intrinsic Fairness-Accuracy Tradeoffs under Equalized Odds [8.471466670802817]
  等化確率の統計的概念の下で、公正性と精度のトレードオフについて検討する。 フェアネス予算の関数として, 精度の新たな上限を提示する。 以上の結果から,低バイアス群に対する高い精度の達成は,グループ間の統計的格差に基づいて根本的に制限される可能性が示唆された。
  論文  参考訳（メタデータ） (2024-05-12T23:15:21Z)
• Towards Understanding Dual BN In Hybrid Adversarial Training [79.92394747290905]
  モデルトレーニングにおけるアフィンパラメータのアンタングリングよりも,アンタングリング統計がより少ない役割を担っていることを示す。 本稿では,ハイブリッドAT改善のための実証的基礎と統一的なフレームワークとして機能する2タスク仮説を提案する。
  論文  参考訳（メタデータ） (2024-03-28T05:08:25Z)
• Beyond RMSE and MAE: Introducing EAUC to unmask hidden bias and unfairness in dyadic regression models [5.336076422485076]
  個々の実体の非均一な観測値分布は、最先端のモデルに深刻なバイアスをもたらす。 このバイアスを捉えるには、Root Mean Squared Error(RMSE)のようなグローバルエラーメトリクスが不十分であることを示す。 我々は、すべての研究領域やモデルでそれを定量化できる新しい補完指標として、Eccentricity-Area Under the Curve (EAUC)を紹介した。
  論文  参考訳（メタデータ） (2024-01-19T13:41:08Z)
• Class-Imbalanced Graph Learning without Class Rebalancing [62.1368829847041]
  クラス不均衡は実世界のノード分類タスクでよく見られ、グラフ学習モデルには大きな課題がある。 本研究では、トポロジカルパラダイムからクラス不均衡バイアスの根本原因にアプローチする。 我々は,クラス再バランスを伴わずにクラス不均衡バイアスを軽減するために,軽量なトポロジカル拡張フレームワークであるBATを考案した。
  論文  参考訳（メタデータ） (2023-08-27T19:01:29Z)
• Learning for Counterfactual Fairness from Observational Data [62.43249746968616]
  公正な機械学習は、人種、性別、年齢などの特定の保護された(感受性のある)属性によって記述されるある種のサブグループに対して、学習モデルのバイアスを取り除くことを目的としている。 カウンターファクトフェアネスを達成するための既存の手法の前提条件は、データに対する因果モデルの事前の人間の知識である。 本研究では,新しいフレームワークCLAIREを提案することにより,因果関係を付与せずに観測データから対実的に公正な予測を行う問題に対処する。
  論文  参考訳（メタデータ） (2023-07-17T04:08:29Z)
• On Causality in Domain Adaptation and Semi-Supervised Learning: an Information-Theoretic Analysis for Parametric Models [40.97750409326622]
  対象領域における予測の学習性能を情報理論の観点から検討する。 因果学習では、ソースとターゲットドメイン間のラベリング分布が変化しない場合のみ、ソースサンプルのサイズに$O(frac1m)$で依存することを示した。 反因果学習では、非競合データが通常$O(frac1n)$の速度で性能を支配していることを示す。
  論文  参考訳（メタデータ） (2022-05-10T03:18:48Z)
• Towards Fair Knowledge Transfer for Imbalanced Domain Adaptation [61.317911756566126]
  本研究では,不均衡なドメイン間学習における公平性問題に対処するTowards Fair Knowledge Transferフレームワークを提案する。 具体的には、新規なクロスドメインミックスアップ生成を利用して、ターゲット情報でマイノリティソースセットを増強し、公正性を高める。 本モデルでは,2つのベンチマークで全体の精度を20%以上向上させる。
  論文  参考訳（メタデータ） (2020-10-23T06:29:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。