論文の概要: On Fixing the Right Problems in Predictive Analytics: AUC Is Not the Problem

• arxiv url: http://arxiv.org/abs/2404.06989v1
• Date: Wed, 10 Apr 2024 13:08:07 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-11 14:31:02.999018
• Title: On Fixing the Right Problems in Predictive Analytics: AUC Is Not the Problem
• Title（参考訳）: 予測分析における正しい問題の解決について:AUCは問題ではない
• Authors: Ryan S. Baker, Nigel Bosch, Stephen Hutt, Andres F. Zambrano, Alex J. Bowers,
• Abstract要約: 我々は、予測分析におけるAUC ROCの使用を批判する記事の批評を提供する。 本稿では,AUC ROCの解釈と目標の誤特定,メトリクスの比較において,その技術的不正確さを強調した。 我々は、機械学習バイアスメトリクスを含む複数のメトリクスの併用と、そのようなアプローチにおけるAUC ROCの位置づけについて論じる。
• 参考スコア（独自算出の注目度）: 1.9806397201363817
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recently, ACM FAccT published an article by Kwegyir-Aggrey and colleagues (2023), critiquing the use of AUC ROC in predictive analytics in several domains. In this article, we offer a critique of that article. Specifically, we highlight technical inaccuracies in that paper's comparison of metrics, mis-specification of the interpretation and goals of AUC ROC, the article's use of the accuracy metric as a gold standard for comparison to AUC ROC, and the article's application of critiques solely to AUC ROC for concerns that would apply to the use of any metric. We conclude with a re-framing of the very valid concerns raised in that article, and discuss how the use of AUC ROC can remain a valid and appropriate practice in a well-informed predictive analytics approach taking those concerns into account. We conclude by discussing the combined use of multiple metrics, including machine learning bias metrics, and AUC ROC's place in such an approach. Like broccoli, AUC ROC is healthy, but also like broccoli, researchers and practitioners in our field shouldn't eat a diet of only AUC ROC.
• Abstract（参考訳）: 近年、ACM FAccT は Kwegyir-Aggrey らによる論文 (2023) を発表し、いくつかの領域における予測分析における AUC ROC の使用を批判している。 この記事では、その記事に対する批判を紹介する。 具体的には、この論文におけるメトリクスの比較、AUC ROCの解釈と目標の誤特定、AUC ROCとの比較のためのゴールドスタンダードとしての精度基準の使用、および、いかなる指標の使用にも適用される懸念に対して、AUC ROCにのみ批判を適用することの技術的不正確さを強調した。 本稿では、この論文で提起された非常に有効な懸念を再検討し、これらの懸念を考慮に入れた予測分析アプローチにおいて、AUC ROCの使用が有効かつ適切なプラクティスであるかどうかを論じる。 我々は、機械学習バイアスメトリクスを含む複数のメトリクスの併用と、そのようなアプローチにおけるAUC ROCの位置づけについて論じる。 ブロッコリーと同様に、AUC ROCは健康であるが、ブロッコリーと同様に、我々の分野の研究者や実践者はAUC ROCのみの食事を食べるべきではない。

関連論文リスト

• UDA-Bench: Revisiting Common Assumptions in Unsupervised Domain Adaptation Using a Standardized Framework [59.428668614618914]
  現代無監督領域適応法(UDA)の有効性に影響を及ぼす様々な要因について, より深く考察する。 分析を容易にするため,ドメイン適応のためのトレーニングと評価を標準化する新しいPyTorchフレームワークであるUDA-Benchを開発した。
  論文  参考訳（メタデータ） (2024-09-23T17:57:07Z)
• A Closer Look at AUROC and AUPRC under Class Imbalance [13.754188217136154]
  機械学習(ML)において、精度-リコール曲線(AUPRC)の下の領域は、クラス不均衡のバイナリ分類タスクにおいて、受信操作特性(AUROC)の下の領域とモデルの比較において優れた指標である。 本稿では, AUROC と AUPRC が確率論的用語で簡潔に関連できることを示す, 新たな数学的解析を通じて, この概念に挑戦する。 AUPRCは、一般的な信念に反して、クラス不均衡の場合には優れておらず、また、より頻度の高い正のラベルを持つサブポピュレーションのモデル改善を不当に支持する傾向にあるため、有害な指標である可能性も示している。
  論文  参考訳（メタデータ） (2024-01-11T18:11:42Z)
• DCR-Consistency: Divide-Conquer-Reasoning for Consistency Evaluation and Improvement of Large Language Models [4.953092503184905]
  この研究は、LLM(Large Language Models)生成したテキストの一貫性を評価し改善する自動化フレームワークであるDCRを提案する。 本稿では,DCEからの出力を解釈可能な数値スコアに変換する自動計量変換器(AMC)を提案する。 また,本手法は出力不整合の90%近くを著しく低減し,効果的な幻覚緩和の可能性を示唆している。
  論文  参考訳（メタデータ） (2024-01-04T08:34:16Z)
• DRAUC: An Instance-wise Distributionally Robust AUC Optimization Framework [133.26230331320963]
  ROC曲線のエリア(AUC)は、長い尾の分類のシナリオにおいて広く用いられている指標である。 本研究では,分散ロバストAUC(DRAUC)のインスタンスワイドサロゲート損失を提案し,その上に最適化フレームワークを構築した。
  論文  参考訳（メタデータ） (2023-11-06T12:15:57Z)
• The Misuse of AUC: What High Impact Risk Assessment Gets Wrong [3.244379854721909]
  モデル性能指標としてのAUCの現在の使用と理解は、その測定方法の使い方を誤解していると論じる。 AUCを含む現在のモデル検証プラクティスは、堅牢ではなく、しばしば無効である、と結論付けている。
  論文  参考訳（メタデータ） (2023-05-29T15:41:00Z)
• Optimizing Two-way Partial AUC with an End-to-end Framework [154.47590401735323]
  ROC曲線のエリア(AUC)は、機械学習にとって重要な指標である。 最近の研究は、TPAUCが既存のPartial AUCメトリクスと本質的に矛盾していることを示している。 本論文では,この新指標を最適化するための最初の試行について述べる。
  論文  参考訳（メタデータ） (2022-06-23T12:21:30Z)
• Attributing AUC-ROC to Analyze Binary Classifier Performance [13.192005156790302]
  本稿では,AUC-ROC(Area Under the Receiver Operating Characteristics Curve)を人間の解釈可能な次元に沿って分割する手法について議論する。 AUC-ROCはデータサンプル上の加算/線形関数ではないので、AUC-ROC全体のセグメント化はデータセグメントのAUC-ROCの集計とは異なる。
  論文  参考訳（メタデータ） (2022-05-24T04:42:52Z)
• AUC Maximization in the Era of Big Data and AI: A Survey [64.50025542570235]
  ROC曲線下の領域(AUC)は、フォードデータ不均衡のパフォーマンスを評価するための選択肢である。 AUCは、AUCスコアを直接最大化することで予測モデルを学習する学習パラダイムを指す。
  論文  参考訳（メタデータ） (2022-03-28T19:24:05Z)
• A Simple Information-Based Approach to Unsupervised Domain-Adaptive Aspect-Based Sentiment Analysis [58.124424775536326]
  本稿では,相互情報に基づくシンプルだが効果的な手法を提案し,それらの用語を抽出する。 実験の結果,提案手法はクロスドメインABSAの最先端手法よりも4.32%高い性能を示した。
  論文  参考訳（メタデータ） (2022-01-29T10:18:07Z)
• Learning with Multiclass AUC: Theory and Algorithms [141.63211412386283]
  ROC曲線 (AUC) の下の領域は、不均衡学習やレコメンダシステムといった問題に対するよく知られたランキング基準である。 本稿では,マルチクラスAUCメトリクスを最適化することで,多クラススコアリング関数を学習する問題について検討する。
  論文  参考訳（メタデータ） (2021-07-28T05:18:10Z)
• Tournament Leave-pair-out Cross-validation for Receiver Operating Characteristic (ROC) Analysis [2.099922236065961]
  低次元データ上では,トーナメント・アウト・ペアアウト (TLPO) のクロスバリデーションは,トーナメント・アウト・ペアアウト (TLPO) のクロスバリデーションと同じくらい信頼性が高いことを示す。 また,TLPO ROC曲線から感度と特異性を確実に推定できることを示す。
  論文  参考訳（メタデータ） (2018-01-29T07:56:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。