論文の概要: SubROC: AUC-Based Discovery of Exceptional Subgroup Performance for Binary Classifiers

• arxiv url: http://arxiv.org/abs/2505.11283v1
• Date: Fri, 16 May 2025 14:18:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-19 14:36:15.198875
• Title: SubROC: AUC-Based Discovery of Exceptional Subgroup Performance for Binary Classifiers
• Title（参考訳）: SubROC: バイナリ分類器の例外部分群性能のAUCに基づく発見
• Authors: Tom Siegl, Kutalmış Coşkun, Bjarne Hiller, Amin Mirzaei, Florian Lemmerich, Martin Becker,
• Abstract要約: SubROCはモデルマイニングに基づくフレームワークで、分類モデルの長所と短所を確実かつ効率的に見つけることができる。 共通評価尺度(ROCとPR AUC)、高速で徹底的なサブグループ探索のための効率的な探索空間プルーニング、クラス不均衡の制御、冗長なパターンの調整、重要度テストなどが組み込まれている。
• 参考スコア（独自算出の注目度）: 1.533848041901807
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Machine learning (ML) is increasingly employed in real-world applications like medicine or economics, thus, potentially affecting large populations. However, ML models often do not perform homogeneously across such populations resulting in subgroups of the population (e.g., sex=female AND marital_status=married) where the model underperforms or, conversely, is particularly accurate. Identifying and describing such subgroups can support practical decisions on which subpopulation a model is safe to deploy or where more training data is required. The potential of identifying and analyzing such subgroups has been recognized, however, an efficient and coherent framework for effective search is missing. Consequently, we introduce SubROC, an open-source, easy-to-use framework based on Exceptional Model Mining for reliably and efficiently finding strengths and weaknesses of classification models in the form of interpretable population subgroups. SubROC incorporates common evaluation measures (ROC and PR AUC), efficient search space pruning for fast exhaustive subgroup search, control for class imbalance, adjustment for redundant patterns, and significance testing. We illustrate the practical benefits of SubROC in case studies as well as in comparative analyses across multiple datasets.
• Abstract（参考訳）: 機械学習(ML)は、医学や経済学といった現実世界の応用にますます採用され、人口に影響を及ぼす可能性がある。 しかし、MLモデルはそのような集団全体で均質に動作しないことが多く、結果として、モデルの性能が劣る集団のサブグループ(例えば、セックス=女性とマリタル=スタタス=結婚)が特に正確である。 このようなサブグループの特定と記述は、モデルのサブポピュレーションが安全なデプロイや、より多くのトレーニングデータが必要な場所での実践的な決定を支援することができる。 このようなサブグループを同定し分析する可能性は認識されているが、効果的な探索のための効率的で一貫性のあるフレームワークが欠落している。 そこで我々は, 例外モデルマイニングに基づくオープンソースで使いやすいフレームワークであるSubROCを導入し, 解釈可能な集団サブグループの形で, 分類モデルの長所と短所を確実かつ効率的に発見する。 SubROCは、共通評価尺度(ROCとPR AUC)、高速な排他的サブグループ探索のための効率的な探索空間プルーニング、クラス不均衡の制御、冗長なパターンの調整、重要度テストを含む。 本稿では, ケーススタディにおけるSubROCの実用的メリットと, 複数のデータセットを対象とした比較分析について述べる。

関連論文リスト

• Boosting Test Performance with Importance Sampling--a Subpopulation Perspective [16.678910111353307]
  本稿では,重要なサンプリングを,サブポピュレーション問題を解決するためのシンプルかつ強力なツールとして同定する。 サブポピュレーション問題の新しい体系的定式化を行い、既存の研究で明確に述べられていない仮定を明確に特定する。 アプリケーション側では、サブポピュレーション問題を解決するのに十分な1つの推定器を実証する。
  論文  参考訳（メタデータ） (2024-12-17T15:25:24Z)
• Minimax Regret Learning for Data with Heterogeneous Subgroups [12.253779655660571]
  我々は、最悪のグループ後悔を最小限に抑えるため、一般的な教師付き学習のためのmin-max-regret学習フレームワークを開発する。 広範囲なシミュレーション研究を通じて本手法の有効性を実証し, 数百の移植センターからの腎臓移植データに適用した。
  論文  参考訳（メタデータ） (2024-05-02T20:06:41Z)
• How does promoting the minority fraction affect generalization? A theoretical study of the one-hidden-layer neural network on group imbalance [64.1656365676171]
  グループ不均衡は経験的リスク最小化において既知の問題である。 本稿では,個々の集団がサンプルの複雑さ,収束率,平均および群レベルの試験性能に与える影響を定量化する。
  論文  参考訳（メタデータ） (2024-03-12T04:38:05Z)
• A structured regression approach for evaluating model performance across intersectional subgroups [53.91682617836498]
  分散評価(disaggregated evaluation)は、AIフェアネスアセスメントにおける中心的なタスクであり、AIシステムのさまざまなサブグループ間でのパフォーマンスを測定することを目的としている。 非常に小さなサブグループであっても,信頼性の高いシステム性能推定値が得られることを示す。
  論文  参考訳（メタデータ） (2024-01-26T14:21:45Z)
• Multi-dimensional domain generalization with low-rank structures [18.565189720128856]
  統計的および機械学習の手法では、テストデータがトレーニングデータと同一に分散されていると仮定されるのが一般的である。 この仮定は必ずしも成り立たないが、特にトレーニングデータに対象の個体群がよく表現されていないアプリケーションでは顕著である。 線形回帰モデルにおいて,この問題に対処するための新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2023-09-18T08:07:58Z)
• Where Does My Model Underperform? A Human Evaluation of Slice Discovery Algorithms [24.127380328812855]
  新しいスライス発見アルゴリズムは、データの一貫性と高いエラーのサブセットをグループ化することを目的としている。 2つの最先端スライス探索アルゴリズムによって出力される40個のスライスをユーザに示し、オブジェクト検出モデルに関する仮説を作成するよう依頼する。 以上の結果から,これらのツールが素直なベースラインよりも有益であることを示すとともに,仮説形成段階においてユーザが直面する課題にも光を当てることができた。
  論文  参考訳（メタデータ） (2023-06-13T22:44:53Z)
• Feature Importance Disparities for Data Bias Investigations [2.184775414778289]
  分類器における下流バイアスの1つの原因は、トレーニングデータに存在するバイアスであると広く考えられている。 保護された機能と保護されていない機能からなるデータセットの$X$、結果の$y$、および$X$の$y$を予測するregressor $h$を示す。 機械学習コミュニティは、指数関数的に大きなサブグループクラスでさえ、大きなFID値を持つサブグループを効率的に見つけることができる。
  論文  参考訳（メタデータ） (2023-03-03T04:12:04Z)
• Examining and Combating Spurious Features under Distribution Shift [94.31956965507085]
  我々は、最小限の統計量という情報理論の概念を用いて、ロバストで刺激的な表現を定義し、分析する。 入力分布のバイアスしか持たない場合でも、モデルはトレーニングデータから急激な特徴を拾い上げることができることを証明しています。 分析から着想を得た結果,グループDROは,グループ同士の相関関係を直接考慮しない場合に失敗する可能性が示唆された。
  論文  参考訳（メタデータ） (2021-06-14T05:39:09Z)
• LOGAN: Local Group Bias Detection by Clustering [86.38331353310114]
  コーパスレベルでバイアスを評価することは、モデルにバイアスがどのように埋め込まれているかを理解するのに十分ではない、と我々は主張する。 クラスタリングに基づく新しいバイアス検出手法であるLOGANを提案する。 毒性分類および対象分類タスクの実験は、LOGANが局所領域のバイアスを特定することを示している。
  論文  参考訳（メタデータ） (2020-10-06T16:42:51Z)
• BREEDS: Benchmarks for Subpopulation Shift [98.90314444545204]
  本研究では,人口変動に対するモデルのロバスト性を評価する手法を開発した。 既存のデータセットの基盤となるクラス構造を利用して、トレーニングとテストの分散を構成するデータサブポピュレーションを制御する。 この手法をImageNetデータセットに適用し、様々な粒度のサブポピュレーションシフトベンチマークスイートを作成する。
  論文  参考訳（メタデータ） (2020-08-11T17:04:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。