論文の概要: The Misuse of AUC: What High Impact Risk Assessment Gets Wrong

• arxiv url: http://arxiv.org/abs/2305.18159v1
• Date: Mon, 29 May 2023 15:41:00 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-30 14:31:57.562189
• Title: The Misuse of AUC: What High Impact Risk Assessment Gets Wrong
• Title（参考訳）: AUCの誤用: リスク評価が悪化する理由
• Authors: Kweku Kwegyir-Aggrey, Marissa Gerchick, Malika Mohan, Aaron Horowitz, Suresh Venkatasubramanian
• Abstract要約: モデル性能指標としてのAUCの現在の使用と理解は、その測定方法の使い方を誤解していると論じる。 AUCを含む現在のモデル検証プラクティスは、堅牢ではなく、しばしば無効である、と結論付けている。
• 参考スコア（独自算出の注目度）: 3.244379854721909
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: When determining which machine learning model best performs some high impact risk assessment task, practitioners commonly use the Area under the Curve (AUC) to defend and validate their model choices. In this paper, we argue that the current use and understanding of AUC as a model performance metric misunderstands the way the metric was intended to be used. To this end, we characterize the misuse of AUC and illustrate how this misuse negatively manifests in the real world across several risk assessment domains. We locate this disconnect in the way the original interpretation of AUC has shifted over time to the point where issues pertaining to decision thresholds, class balance, statistical uncertainty, and protected groups remain unaddressed by AUC-based model comparisons, and where model choices that should be the purview of policymakers are hidden behind the veil of mathematical rigor. We conclude that current model validation practices involving AUC are not robust, and often invalid.
• Abstract（参考訳）: どの機械学習モデルが最高の影響リスク評価タスクを実行するかを判断する場合、実践者は一般的に、モデル選択の防御と検証にAUC(Area under the Curve)を使用する。 本稿では、モデル性能指標としてのaucの現在の使用と理解が、メトリクスの使用を意図した方法を誤解していると論じる。 この目的のために、我々はAUCの誤用を特徴付け、この誤用が現実世界において複数のリスクアセスメント領域でどのように悪影響を及ぼすかを説明する。 我々は、aucの元々の解釈が時間とともに変化し、決定しきい値、クラスバランス、統計的不確実性、保護されたグループに関する問題が、aucベースのモデル比較によって未対応のままであり、政策立案者のパービューであるモデル選択が数学的厳密さのベールの背後に隠れている点に、この分離を見出す。 AUCを含む現在のモデル検証プラクティスは堅牢ではなく、しばしば無効である、と結論付けている。

関連論文リスト

• A Novel Characterization of the Population Area Under the Risk Coverage Curve (AURC) and Rates of Finite Sample Estimators [15.294324192338484]
  重み付きリスク関数として解釈可能なAURCのより直接的な表現を導入し,モンテカルロプラグイン推定器を提案する。 複数のデータセットにまたがる包括的なベンチマークにおいて、この推定器の有効性を実証的に示す。
  論文  参考訳（メタデータ） (2024-10-20T11:14:51Z)
• UDA-Bench: Revisiting Common Assumptions in Unsupervised Domain Adaptation Using a Standardized Framework [59.428668614618914]
  現代無監督領域適応法(UDA)の有効性に影響を及ぼす様々な要因について, より深く考察する。 分析を容易にするため,ドメイン適応のためのトレーニングと評価を標準化する新しいPyTorchフレームワークであるUDA-Benchを開発した。
  論文  参考訳（メタデータ） (2024-09-23T17:57:07Z)
• On the Impact of Uncertainty and Calibration on Likelihood-Ratio Membership Inference Attacks [42.18575921329484]
  我々は,情報理論の枠組みを用いて,最先端の確率比攻撃(LiRA)の性能を解析する。 我々は、MIAの有効性に対する不確実性と校正の影響についての洞察を提供することを目的として、MIA敵の利点に基づいて境界を導出する。
  論文  参考訳（メタデータ） (2024-02-16T13:41:18Z)
• Analyzing Adversarial Inputs in Deep Reinforcement Learning [53.3760591018817]
  本稿では, 正当性検証のレンズを用いて, 逆入力の特性を包括的に解析する。 このような摂動に対する感受性に基づいてモデルを分類するために、新しい計量である逆数率(Adversarial Rate)を導入する。 本分析は, 直交入力が所定のDRLシステムの安全性にどのように影響するかを実証的に示す。
  論文  参考訳（メタデータ） (2024-02-07T21:58:40Z)
• Beyond RMSE and MAE: Introducing EAUC to unmask hidden bias and unfairness in dyadic regression models [5.336076422485076]
  個々の実体の観測値分布の非均一性は、最先端モデルにおける非常に偏りのある予測をもたらすことを示す。 我々は、Eccentricity-Area Under the Curve(EAUC)を、すべての研究されたモデルとデータセットで定量化できる新しい指標として紹介する。
  論文  参考訳（メタデータ） (2024-01-19T13:41:08Z)
• Distribution-free Deviation Bounds and The Role of Domain Knowledge in Learning via Model Selection with Cross-validation Risk Estimation [0.0]
  リスク推定とモデル選択のためのクロスバリデーション技術は、統計学や機械学習で広く利用されている。 本稿では,クロスバリデーションリスク推定を用いたモデル選択による学習を汎用的な学習フレームワークとして提案する。
  論文  参考訳（メタデータ） (2023-03-15T17:18:31Z)
• Stochastic Methods for AUC Optimization subject to AUC-based Fairness Constraints [51.12047280149546]
  公正な予測モデルを得るための直接的なアプローチは、公正な制約の下で予測性能を最適化することでモデルを訓練することである。 フェアネスを考慮した機械学習モデルのトレーニング問題を,AUCに基づくフェアネス制約のクラスを対象とする最適化問題として定式化する。 フェアネス測定値の異なる実世界のデータに対するアプローチの有効性を実証する。
  論文  参考訳（メタデータ） (2022-12-23T22:29:08Z)
• Investigating the Failure Modes of the AUC metric and Exploring Alternatives for Evaluating Systems in Safety Critical Applications [26.128027710026313]
  曲線下面積(AUC)は、モデルの選択的解答能力を評価する指標として用いられる。 例えば、より高いAUCを持つモデルは、選択的な回答を行うのに必ずしも優れているとは限らない。 特定された制限を修正するための3つの代替指標を提案する。
  論文  参考訳（メタデータ） (2022-10-10T07:22:31Z)
• Evaluating Machine Unlearning via Epistemic Uncertainty [78.27542864367821]
  本研究では,不確実性に基づく機械学習アルゴリズムの評価を行う。 これは私たちの最良の知識の一般的な評価の最初の定義です。
  論文  参考訳（メタデータ） (2022-08-23T09:37:31Z)
• Accurate and Robust Feature Importance Estimation under Distribution Shifts [49.58991359544005]
  PRoFILEは、新しい特徴重要度推定法である。 忠実さと頑健さの両面で、最先端のアプローチよりも大幅に改善されていることを示す。
  論文  参考訳（メタデータ） (2020-09-30T05:29:01Z)
• SAMBA: Safe Model-Based & Active Reinforcement Learning [59.01424351231993]
  SAMBAは、確率論的モデリング、情報理論、統計学といった側面を組み合わせた安全な強化学習のためのフレームワークである。 我々は,低次元および高次元の状態表現を含む安全な力学系ベンチマークを用いて,アルゴリズムの評価を行った。 アクティブなメトリクスと安全性の制約を詳細に分析することで,フレームワークの有効性を直感的に評価する。
  論文  参考訳（メタデータ） (2020-06-12T10:40:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。