論文の概要: Where Is a Prediction Model Miscalibrated, and for Whom? Local Audits in Outcome-Learned Pockets

• arxiv url: http://arxiv.org/abs/2611.02639v1
• Date: Mon, 02 Nov 2026 07:01:31 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-11-03 19:09:12.821825
• Title: Where Is a Prediction Model Miscalibrated, and for Whom? Local Audits in Outcome-Learned Pockets
• Title（参考訳）: 予測モデルと誰のために? : アウトカムラーニングポケットにおけるローカル監査
• Abstract要約: 全体およびグループレベルの平均は、予測モデルが体系的に過大または過小予測されるような観測セットを隠すことができる。 モデルがどこにあるのか、誰のために誤解されているのかを問う監査を行う。 観測結果をランダム・フォレスト類似度を用いてポケットにまとめ、その結果を予測することの重要性によって各特徴を重み付けする。
• 参考スコア（独自算出の注目度）: 0.4618037115403289
• License:
• Abstract: Overall and group-level averages, and ranking metrics such as the AUC, can hide sets of observations for which a prediction model systematically over- or under-predicts. We present an audit that asks where a model is miscalibrated (in which sets of similar observations it over- or under-predicts on average) and for whom (whether its average prediction error differs between demographic groups, such as by race or sex, within the same set). It groups observations into pockets using random-forest similarity, which weighs each feature by its importance for predicting the outcome, with a ridge-regression grouping alongside. Pockets are learned on one sample and tested on another, with simultaneous confidence intervals that allow for correlation within units such as hospitals; the audit needs only features, outcomes and fixed predictions. In 17 simulation scenarios with an error planted for one group, the combined audit located it better than the strongest alternative grouping in 15, with false-alarm rates near or below 5%; with a local error planted for everyone, it won in 12 of 15 scenarios at the smaller error size and lost when the error was unrelated to the outcome. In public synthetic data from the care-management algorithm studied by Obermeyer et al., it found no detectable overall error but under-prediction of illness in the sickest pockets and over-prediction elsewhere, and distinguished Black patients' concentration where the score under-predicted for everyone from a Black-White gap within pockets. For APACHE IVa, an exploratory analysis located its previously reported over-prediction of ICU mortality in a mostly ventilated pocket and a low-risk pocket, with none detected in a moderate-risk one. Two chest X-ray classifiers showed offsetting local errors behind no detectable overall error. Code: https://github.com/modenesi/pocket-audit
• Abstract（参考訳）: 全体およびグループレベルの平均値、AUCのようなランキングの指標は、予測モデルが体系的に過大または過小予測する観察セットを隠すことができる。 本報告では,モデルがどのセットで,どのセットで,どのセットで,どのセットで,どのセットで,平均で,あるいは過大予測で,どのセットで,どのセットで,その平均予測誤差が,人種や性別などの人口集団間で異なるかを尋ねる監査を行う。 観察をランダム・フォレスト類似度(英語版)を用いてポケットに分類し、その結果を予測することの重要性によって各特徴を重み付け、リッジ・レグレッション・グループを併せ持つ。 ポケットは1つのサンプルで学習され、別のサンプルでテストされ、病院などのユニット内での相関を可能にする同時信頼区間がある。 1つのグループにエラーを配置した17のシミュレーションシナリオでは、統合監査は15の最も強力な代替グループよりも、5%以下で、偽アラーム率を判断した。 Obermeyerらによって研究されたケア管理アルゴリズムの公的な合成データでは、最も病気の多いポケットや他の場所での病気の過度な予測は検出できないが、全体的なエラーは検出できないことが判明し、ポケット内のブラックホワイトの隙間から全員のスコアが過小評価されている黒人患者の濃度を区別した。 APACHE IVaの探索分析では、主に換気されたポケットと低リスクのポケットにICUの死亡率の過大な予測があり、中リスクのポケットでは検出されなかった。 2つの胸部X線分類器は局所誤差を検出不可能な全体的な誤差の裏側にオフセットしていた。 コード:https://github.com/modenesi/pocket-audit

関連論文リスト

• HieraNTP: Structured Risk Representations for Time-Series Anomaly Detection via Hierarchical Next-Token Prediction [58.62266932880605]
  時系列異常検出は、学習された時間的規則性からの逸脱を異常スコアに変換するのが一般的である。 HieraNTPはタスク固有のリスク解釈から自己教師付き予測モデリングを分離する。 タスク適応検出器は異常ラベルを使用して、対象タスクに対するこの証拠を選択し、組み合わせる。
  論文  参考訳（メタデータ） (2026-10-31T13:47:31Z)
• A Unified Framework for Probability Estimation of Data-Dependent Events [54.813435580429704]
  我々は$D(dde(S))$を推定する一般的な問題を研究する。 このフレームワーク内では、推定に対する古典的なアプローチを2つ検討する。
  論文  参考訳（メタデータ） (2026-10-30T04:37:40Z)
• Missingness-Aware Conformal Prediction Under Cross-Hospital Distribution Shift [0.249477940865956]
  本稿では,クロスホスピタル分布シフト下での死亡予測のための不備を考慮した共形キャリブレーション手法を提案する。 それは、独立したサンプルの測定を選択し、その測定が記録されているかどうかによって患者をグループ化し、各グループにモンドリアン校正を適用する。 プールキャリブレーションとは対照的に、選択したグループの平均最悪のグループカバレッジギャップを6つの設定すべてで削減する。
  論文  参考訳（メタデータ） (2026-09-25T04:04:14Z)
• TimeLitmus: A Diagnostic Benchmark for Cross-Modal Understanding and Explanation Faithfulness in Event-Conditioned Time-Series Prediction [48.104261148149654]
  TimeLitmusは、イベント条件付き時系列予測における相互理解と忠実さの説明のための診断ベンチマークである。 TimeLitmusには財務と交通の計4,856件の評価記録がある。
  論文  参考訳（メタデータ） (2026-09-21T14:38:49Z)
• Selective Prediction and Uncertainty-Aware Referral for Pap Smear Classification [3.093890460224435]
  本稿では,Herlev Papスミアデータセットの選択的予測と不確実性を考慮した参照について検討する。 ImageNet-pretrained weights with weighted random samples, and two light transformer backbones are fine-tuned on Herlev from ImageNet-pretrained weights with weighted random sample。 統計的に有意な差は認められなかった。
  論文  参考訳（メタデータ） (2026-07-15T05:47:31Z)
• A Quiet Failure in Calibrated Virtual Screening: Marginal Conformal Prediction Under-Covers the Minority Class, and a Class-Conditional Fix Recovers It [0.0]
  整形予測は、モデルの信頼性に正直な数字を付けるために、薬物発見に採用されている。 この保証は、不均衡なデータセットでは危険である可能性がある。 我々の貢献は、この既知の共形理論のギャップがいかに深刻で不可視であるかを実際の化学で実証することである。
  論文  参考訳（メタデータ） (2026-07-07T04:31:56Z)
• Calibrated Inference for the Conditional Average Treatment Effect in the Few-Placebo Regime via Gaussian Processes [0.0]
  片方の治療用アームが他方よりもはるかに小さい,少数のプラセボ系について検討した。 それらは、その名目レベルよりも、真の効果をほとんど含まない。 本稿では,各アームの結果面をガウス過程でモデル化するGP-CATEを提案する。
  論文  参考訳（メタデータ） (2026-05-26T11:18:42Z)
• Semiparametric conformal prediction [79.6147286161434]
  ベクトル値の非整合性スコアの結合相関構造を考慮した共形予測セットを構築する。 スコアの累積分布関数(CDF)を柔軟に推定する。 提案手法は,現実の回帰問題に対して,所望のカバレッジと競争効率をもたらす。
  論文  参考訳（メタデータ） (2024-11-04T14:29:02Z)
• Using Pre-training and Interaction Modeling for ancestry-specific disease prediction in UK Biobank [69.90493129893112]
  近年のゲノムワイド・アソシエーション(GWAS)研究は、複雑な形質の遺伝的基盤を明らかにしているが、非ヨーロッパ系個体の低発現を示している。 そこで本研究では,マルチオミクスデータを用いて,多様な祖先間での疾患予測を改善することができるかを評価する。
  論文  参考訳（メタデータ） (2024-04-26T16:39:50Z)
• Is this model reliable for everyone? Testing for strong calibration [4.893345190925178]
  十分に校正されたリスク予測モデルでは、平均予測確率は任意のサブグループの真の事象率に近い。 強いキャリブレーションのためのモデル監査のタスクは、潜在的な部分群の数が多すぎるため、難しいことが知られている。 適合性試験の最近の進歩は潜在的な解決策を提供するが、弱い信号を持つ設定には設計されていない。
  論文  参考訳（メタデータ） (2023-07-28T00:59:14Z)
• Statistical and Computational Phase Transitions in Group Testing [73.55361918807883]
  本研究の目的は、希少な疾患を患っているk人の集団を同定することである。 個々人のテストを割り当てるための2つの異なる単純なランダムな手順を考える。
  論文  参考訳（メタデータ） (2022-06-15T16:38:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。