論文の概要: Subgroup Performance Analysis in Hidden Stratifications

• arxiv url: http://arxiv.org/abs/2503.10382v1
• Date: Thu, 13 Mar 2025 13:57:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-14 15:51:53.673133
• Title: Subgroup Performance Analysis in Hidden Stratifications
• Title（参考訳）: 隠れ層群におけるサブグループ性能解析
• Authors: Alceu Bissoto, Trung-Dung Hoang, Tim Flühmann, Susu Sun, Christian F. Baumgartner, Lisa M. Koch,
• Abstract要約: 機械学習モデルは、患者グループ間での大幅なパフォーマンス格差に悩まされる可能性がある。 分類ラベルやメタデータにアクセスすることなく、簡易なサブグループ発見手法を提案する。 医療における信頼性の高いAIの総合的なパフォーマンス検証とモニタリングのための重要なツールとして,サブグループ発見が有効である,という最初の説得力のある証拠を提供する。
• 参考スコア（独自算出の注目度）: 4.525676373095224
• License:
• Abstract: Machine learning (ML) models may suffer from significant performance disparities between patient groups. Identifying such disparities by monitoring performance at a granular level is crucial for safely deploying ML to each patient. Traditional subgroup analysis based on metadata can expose performance disparities only if the available metadata (e.g., patient sex) sufficiently reflects the main reasons for performance variability, which is not common. Subgroup discovery techniques that identify cohesive subgroups based on learned feature representations appear as a potential solution: They could expose hidden stratifications and provide more granular subgroup performance reports. However, subgroup discovery is challenging to evaluate even as a standalone task, as ground truth stratification labels do not exist in real data. Subgroup discovery has thus neither been applied nor evaluated for the application of subgroup performance monitoring. Here, we apply subgroup discovery for performance monitoring in chest x-ray and skin lesion classification. We propose novel evaluation strategies and show that a simplified subgroup discovery method without access to classification labels or metadata can expose larger performance disparities than traditional metadata-based subgroup analysis. We provide the first compelling evidence that subgroup discovery can serve as an important tool for comprehensive performance validation and monitoring of trustworthy AI in medicine.
• Abstract（参考訳）: 機械学習(ML)モデルは、患者グループ間での大幅なパフォーマンス格差に悩まされる可能性がある。 各患者にMLを安全に展開するためには, 粒度レベルでの監視により, それらの相違を同定することが重要である。 メタデータに基づく従来のサブグループ分析は、利用可能なメタデータ(例えば、患者性)がパフォーマンスの変動の主な理由を十分に反映している場合にのみ、パフォーマンスの相違を明らかにすることができる。 学習された特徴表現に基づいて凝集的な部分群を識別するサブグループ発見技術は、潜在的な解決策として現れる: 隠れた成層を隠蔽し、より粒度の細かい部分群のパフォーマンスレポートを提供する。 しかし、基底真理成層ラベルが実際のデータに存在しないため、サブグループ発見は独立したタスクとしても評価することは困難である。 そのため、サブグループ検出はサブグループパフォーマンス監視の適用には適用されず、評価もされていない。 本稿では,胸部X線および皮膚病変分類におけるパフォーマンスモニタリングのサブグループ探索を適用した。 本稿では,分類ラベルやメタデータへのアクセスを伴わない簡易なサブグループ発見手法が,従来のメタデータに基づくサブグループ解析よりも大きな性能格差を露呈できることを示す。 医療における信頼性の高いAIの総合的なパフォーマンス検証とモニタリングのための重要なツールとして,サブグループ発見が有効である,という最初の説得力のある証拠を提供する。

関連論文リスト

• A structured regression approach for evaluating model performance across intersectional subgroups [53.91682617836498]
  分散評価(disaggregated evaluation)は、AIフェアネスアセスメントにおける中心的なタスクであり、AIシステムのさまざまなサブグループ間でのパフォーマンスを測定することを目的としている。 非常に小さなサブグループであっても,信頼性の高いシステム性能推定値が得られることを示す。
  論文  参考訳（メタデータ） (2024-01-26T14:21:45Z)
• Identification of Systematic Errors of Image Classifiers on Rare Subgroups [12.064692111429494]
  組織的エラーは、少数民族の公正性だけでなく、ドメインシフト時の堅牢性と安全性にも影響します。 我々は,テキスト・ツー・イメージ・モデルにおける最近の進歩を活用し,ターゲットモデルの性能が低いサブグループに対するサブグループのテキスト記述("prompts")の空間を探索する。 本稿では, PromptAttackによるサブグループカバレッジと識別可能性について検討し, 高い精度で系統的誤りを識別できることを見出した。
  論文  参考訳（メタデータ） (2023-03-09T07:08:25Z)
• Deep Hypothesis Tests Detect Clinically Relevant Subgroup Shifts in Medical Images [21.01688837312175]
  機械学習システムにおけるサブグループシフトの検出に焦点をあてる。 近年の最先端統計検査は, 医用画像データのサブグループシフト検出に有効である。
  論文  参考訳（メタデータ） (2023-03-08T19:58:41Z)
• Outlier-Robust Group Inference via Gradient Space Clustering [50.87474101594732]
  既存のメソッドは、最悪のグループのパフォーマンスを改善することができるが、それらは、しばしば高価で入手できないグループアノテーションを必要とする。 モデルパラメータの勾配の空間にデータをクラスタリングすることで,アウトレーヤの存在下でグループアノテーションを学習する問題に対処する。 そこで我々は,DBSCANのような標準クラスタリング手法に適合するように,マイノリティグループや外れ値に関する情報を保存しながら,勾配空間内のデータがより単純な構造を持つことを示す。
  論文  参考訳（メタデータ） (2022-10-13T06:04:43Z)
• Take One Gram of Neural Features, Get Enhanced Group Robustness [23.541213868620837]
  経験的リスク最小化で訓練された機械学習モデルの予測性能は、分散シフト下で大幅に低下する可能性がある。 本稿では,識別モデルの抽出した特徴の文法行列に基づいて,トレーニングデータセットをグループに分割する。 このアプローチは、ERMに対するグループロバスト性を向上するだけでなく、最近のすべてのベースラインを上回ります。
  論文  参考訳（メタデータ） (2022-08-26T12:34:55Z)
• Towards Group Robustness in the presence of Partial Group Labels [61.33713547766866]
  入力サンプルとターゲットラベルの間に 急激な相関関係がある ニューラルネットワークの予測を誤った方向に導く 本稿では,制約セットから最悪のグループ割り当てを最適化するアルゴリズムを提案する。 グループ間で総合的な集計精度を維持しつつ,少数集団のパフォーマンス向上を示す。
  論文  参考訳（メタデータ） (2022-01-10T22:04:48Z)
• Rethinking Sampling Strategies for Unsupervised Person Re-identification [59.47536050785886]
  我々は,同じフレームワーク下での各種サンプリング戦略と損失関数のパフォーマンス差の理由を解析した。 グループサンプリングを提案し、同じクラスのサンプルをグループに集める。 Market-1501、DukeMTMC-reID、MSMT17の実験は、グループサンプリングが最先端の手法に匹敵する性能を達成することを示した。
  論文  参考訳（メタデータ） (2021-07-07T05:39:58Z)
• Examining and Combating Spurious Features under Distribution Shift [94.31956965507085]
  我々は、最小限の統計量という情報理論の概念を用いて、ロバストで刺激的な表現を定義し、分析する。 入力分布のバイアスしか持たない場合でも、モデルはトレーニングデータから急激な特徴を拾い上げることができることを証明しています。 分析から着想を得た結果,グループDROは,グループ同士の相関関係を直接考慮しない場合に失敗する可能性が示唆された。
  論文  参考訳（メタデータ） (2021-06-14T05:39:09Z)
• Model Patching: Closing the Subgroup Performance Gap with Data Augmentation [50.35010342284508]
  機械学習モデルの堅牢性を改善するためのフレームワークであるモデルパッチを導入する。 モデルパッチは、サブグループの違いに対してモデルを不変にすることを奨励し、サブグループによって共有されるクラス情報にフォーカスする。 CAMELは,(1)CycleGANを用いてクラス内およびサブグループ間拡張を学習し,(2)理論上動機付けられた整合性正規化器を用いてサブグループ性能のバランスをとる。 CAMELの有効性を3つのベンチマークデータセットで示し、最高のベースラインに対して、ロバストなエラーを最大33%削減した。
  論文  参考訳（メタデータ） (2020-08-15T20:01:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。