論文の概要: Collapsibility of Performance Metrics in Clinical Predictive AI

• arxiv url: http://arxiv.org/abs/2608.30568v1
• Date: Mon, 31 Aug 2026 10:43:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-01 18:31:31.354566
• Title: Collapsibility of Performance Metrics in Clinical Predictive AI
• Title（参考訳）: 臨床予測AIにおけるパフォーマンス指標の可視性
• Abstract要約: いくつかのパフォーマンス指標は非折り畳み可能であり、これは集団全体のパフォーマンス値がサブグループ固有の値の重み付き平均値と等しくないことを意味する。 5つの性能指標(AUC,キャリブレーションインターセプト,キャリブレーション勾配,予測キャリブレーション誤差,Nagelkerke R2)は非崩壊性を示し,10(O:E比,ログロス,ブライアスコア,精度,F1スコア,真正,正負,正負,正の予測値,負の予測値,純利益)は崩壊性を示す。
• 参考スコア（独自算出の注目度）: 0.7503129292751939
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Background: Population level assessments of predictive artificial intelligence (AI) can conceal performance disparities across subgroups. Fairness evaluations commonly rely on performance analyses across subgroups. However, some performance metrics are non-collapsible, meaning that the overall population performance value does not equal the weighted average of subgroup specific values. Objective: To examine the collapsibility properties of commonly reported performance metrics in predictive AI, with a focus on the area under the receiver operating characteristic curve (AUC, also known as c-statistic). Methods: We investigate the collapsibility of 15 performance metrics, either by expressing each metric as a linear combination of its stratum specific values or, where non-collapsible, by providing a counterexample inspired by Simpson's paradox as a formal disproof. Results: Five performance metrics (AUC, calibration intercept, calibration slope, expected calibration error, and Nagelkerke R^2) are shown to be non-collapsible, and ten (O:E ratio, logloss, Brier score, accuracy, F1-score, true positive rate, true negative rate, positive predictive value, negative predictive value, and net benefit) are shown to be collapsible. The AUC is shown to be non-collapsible because it decomposes into within- and cross-group AUC terms when subpopulations coexist, such that its overall value may fall outside the range of subgroup specific AUCs. Conclusions: Non-collapsibility of performance metrics has important consequences for reporting, model appraisal, and fairness evaluation. It can generate spurious differences between subgroup and overall performance, which may mislead fairness evaluations. Explicitly acknowledging and reporting the collapsibility properties of performance metrics improves both the interpretability and transparency of fairness assessments.
• Abstract（参考訳）: 背景: 予測人工知能(AI)の人口レベル評価は、サブグループ間のパフォーマンス格差を隠蔽することができる。 公正評価は、一般にサブグループ間でのパフォーマンス解析に依存する。 しかしながら、いくつかのパフォーマンス指標は非折り畳み可能であり、これは集団全体のパフォーマンス値がサブグループ固有の値の重み付き平均値と等しくないことを意味する。 目的: 予測AIにおける一般に報告される性能指標の可逆性について, 受信者動作特性曲線(AUC, c-statistic)の下の領域に着目して検討する。 方法: 本手法では, それぞれの測定値を, その成層比値の線形結合として表現するか, あるいは, シムプソンのパラドックスにインスパイアされた反例を形式的防腐剤として提供することにより, 15個の評価指標の分解可能性について検討する。 結果: 5つの性能指標(AUC,キャリブレーションインターセプト,キャリブレーション勾配,予測キャリブレーション誤差,Nagelkerke R^2)は非崩壊性を示し,10(O:E比,ログロス,ブライアスコア,精度,F1スコア,真正率,正負率,正の予測値,負の予測値,純利益)は崩壊性を示す。 AUCは、サブグループ固有のAUCの範囲外になるように、サブ集団が共存するときに、内部および横断的なAUC用語に分解されるため、非折り畳み式であることが示されている。 結論: パフォーマンスメトリクスの非可算性は、レポート、モデル評価、公平性評価に重要な結果をもたらします。 サブグループと全体的なパフォーマンスの急激な違いを生じさせ、フェアネスの評価を誤解させる可能性がある。 パフォーマンスメトリクスの折りたたみ特性を明示的に認めて報告することで、フェアネスアセスメントの解釈可能性と透明性の両方を改善します。

関連論文リスト

• Position: Evaluation Scores Are Perishable Knowledge Claims [0.0]
  評価スコアは、形式性、スコープ、妥当性の3つの特性を持つクレームとして扱われるべきである。 HELMリーダーボードにおける平均アグリゲーションのコストについて説明する。
  論文  参考訳（メタデータ） (2026-07-28T18:50:39Z)
• A Theoretical Framework for Statistical Evaluability of Generative Models [57.9316356505791]
  本稿では、生成モデルを評価するための理論的枠組みを導入し、一般的なメトリクスに対する評価結果を確立する。 テストベースのメトリクス、例えば積分確率測定(IPM)とレニイ発散(Rényi divergences)の2つのカテゴリについて検討する。 任意の有界テストクラスに対するIPMは、乗法および加法近似誤差まで有限標本から評価できることを示す。 対照的に、レニイとKLの発散は、希少事象によってその値が批判的に決定されるため、有限標本から評価できない。
  論文  参考訳（メタデータ） (2026-04-07T01:53:59Z)
• The Lie of the Average: How Class Incremental Learning Evaluation Deceives You? [48.83567710215299]
  クラスインクリメンタルラーニング(CIL)では、モデルが学習済みのクラスを忘れずに、新しいクラスを継続的に学習する必要がある。 我々は、ロバストなCIL評価プロトコルは、性能分布全体を正確に特徴付け、推定するべきであると論じる。 我々は,タスク間類似度を用いて,極端なクラスシーケンスを適応的に識別し,サンプリングする評価プロトコルEDGEを提案する。
  論文  参考訳（メタデータ） (2025-09-26T17:00:15Z)
• Understanding challenges to the interpretation of disaggregated evaluations of algorithmic fairness [49.35494016290887]
  関係する人口を表わすが、実世界の格差を反映するデータである場合、サブグループ間での平等なパフォーマンスは、信頼できない公平さの尺度であることを示す。 本フレームワークでは, 因果関係の明示的な仮定と分析を相補して, 相反や分布変化の制御を提案する。
  論文  参考訳（メタデータ） (2025-06-04T17:40:31Z)
• A structured regression approach for evaluating model performance across intersectional subgroups [53.91682617836498]
  分散評価(disaggregated evaluation)は、AIフェアネスアセスメントにおける中心的なタスクであり、AIシステムのさまざまなサブグループ間でのパフォーマンスを測定することを目的としている。 非常に小さなサブグループであっても,信頼性の高いシステム性能推定値が得られることを示す。
  論文  参考訳（メタデータ） (2024-01-26T14:21:45Z)
• Individualized Policy Evaluation and Learning under Clustered Network Interference [3.8601741392210434]
  本稿では,クラスタ化されたネットワーク干渉下での最適個別処理規則(ITR)の評価と学習の問題点について考察する。 ITRの実証性能を評価するための推定器を提案する。 学習ITRに対する有限サンプル残差を導出し、効率的な評価推定器の使用により学習ポリシーの性能が向上することを示す。
  論文  参考訳（メタデータ） (2023-11-04T17:58:24Z)
• Selective Regression Under Fairness Criteria [30.672082160544996]
  少数派集団のパフォーマンスは、カバー範囲を減らしながら低下する場合もある。 満足度基準を満たす特徴を構築できれば、そのような望ましくない行動は避けられることを示す。
  論文  参考訳（メタデータ） (2021-10-28T19:05:12Z)
• Deconfounding Scores: Feature Representations for Causal Effect Estimation with Weak Overlap [140.98628848491146]
  推定対象の偏りを伴わずに高い重なりを生じさせる,デコンファウンディングスコアを導入する。 分離スコアは観測データで識別可能なゼロ共分散条件を満たすことを示す。 特に,この手法が標準正規化の魅力的な代替となることを示す。
  論文  参考訳（メタデータ） (2021-04-12T18:50:11Z)
• Selective Classification Can Magnify Disparities Across Groups [89.14499988774985]
  選択的分類は平均的精度を向上させることができるが、既存の精度格差を同時に増大させることができる。 禁忌の増大は、一部のグループでのアキュラシーを減少させることもある。 我々は,グループ間で類似のフルカバレッジ精度を実現する分散ロバストモデルを訓練し,選択分類が各グループを均一に改善することを示す。
  論文  参考訳（メタデータ） (2020-10-27T08:51:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。