論文の概要: Fair admission risk prediction with proportional multicalibration
- arxiv url: http://arxiv.org/abs/2209.14613v3
- Date: Thu, 31 Aug 2023 19:57:50 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-04 17:29:11.528214
- Title: Fair admission risk prediction with proportional multicalibration
- Title（参考訳）: 比例多重校正による公正入場リスク予測
- Authors: William La Cava, Elle Lett, Guangya Wan
- Abstract要約: マルチキャリブレーション制約は、柔軟に定義されたサブポピュレーション間のキャリブレーション誤差を補正する。
意思決定者は特定のグループに対するモデル予測を信頼するか、不信にするかを学ぶことができる。
本稿では,グループ間および予測ビン内における正の校正誤差を制限する基準である比例多重校正を提案する。
- 参考スコア（独自算出の注目度）: 0.16249424686052708
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Fair calibration is a widely desirable fairness criteria in risk prediction
contexts. One way to measure and achieve fair calibration is with
multicalibration. Multicalibration constrains calibration error among
flexibly-defined subpopulations while maintaining overall calibration. However,
multicalibrated models can exhibit a higher percent calibration error among
groups with lower base rates than groups with higher base rates. As a result,
it is possible for a decision-maker to learn to trust or distrust model
predictions for specific groups. To alleviate this, we propose
\emph{proportional multicalibration}, a criteria that constrains the percent
calibration error among groups and within prediction bins. We prove that
satisfying proportional multicalibration bounds a model's multicalibration as
well its \emph{differential calibration}, a fairness criteria that directly
measures how closely a model approximates sufficiency. Therefore,
proportionally calibrated models limit the ability of decision makers to
distinguish between model performance on different patient groups, which may
make the models more trustworthy in practice. We provide an efficient algorithm
for post-processing risk prediction models for proportional multicalibration
and evaluate it empirically. We conduct simulation studies and investigate a
real-world application of PMC-postprocessing to prediction of emergency
department patient admissions. We observe that proportional multicalibration is
a promising criteria for controlling simultaneous measures of calibration
fairness of a model over intersectional groups with virtually no cost in terms
of classification performance.
- Abstract（参考訳）: フェアキャリブレーションは、リスク予測の文脈において広く望ましいフェアネス基準である。
公平なキャリブレーションを計測し達成する方法の1つは、多重校正である。
マルチキャリブレーションは、全体のキャリブレーションを維持しながら、柔軟に定義されたサブポピュレーション間のキャリブレーション誤差を制限する。
しかし、マルチキャリブテッドモデルでは、ベースレートの低いグループ間で、ベースレートの高いグループよりも高いキャリブレーション誤差を示すことができる。
その結果、意思決定者は特定のグループに対するモデル予測を信頼または不信化することを学ぶことができる。
これを緩和するために,グループ間および予測ビン内におけるキャリブレーション誤差を制約する基準である \emph{proportional multicalibration} を提案する。
比例多重化を満足することは、モデルが十分性にどの程度近づいたかを直接測定する公平性基準である、モデルの多重化と、その \emph{differential calibration} を境界とすることが証明される。
したがって、比例校正されたモデルは、異なる患者グループにおけるモデルパフォーマンスを区別する意思決定者の能力を制限しているため、実際のモデルの信頼性が向上する可能性がある。
比例多重校正のためのリスク予測モデルの後処理アルゴリズムを提案し,それを実証的に評価する。
PMC後処理のシミュレーション研究と,救急外来入院の予測への応用について検討する。
比例多重化は, 分類性能の面では, ほとんど費用がかからない交叉群上でのモデルのキャリブレーションフェアネスの同時測定を制御するための有望な基準であると考えられる。
関連論文リスト
- Probabilistic Scores of Classifiers, Calibration is not Enough [0.32985979395737786]
二項分類タスクでは、確率的予測の正確な表現が実世界の様々な応用に不可欠である。
本研究では,予測スコアと真の確率分布の一致を優先するアプローチを強調した。
その結果,従来の校正基準の限界が明らかとなり,重要な意思決定のための予測モデルの信頼性を損なう可能性が示唆された。
論文 参考訳（メタデータ） (2024-08-06T19:53:00Z) - Calibrating Large Language Models with Sample Consistency [76.23956851098598]
本稿では,複数サンプルモデル生成系の分布から信頼度を導出する可能性について,一貫性の3つの尺度を用いて検討する。
その結果、一貫性に基づくキャリブレーション手法は、既存のポストホック手法よりも優れていることがわかった。
種々のLMの特性に合わせて,キャリブレーションに適した整合性指標を選択するための実用的なガイダンスを提供する。
論文 参考訳（メタデータ） (2024-02-21T16:15:20Z) - Calibration by Distribution Matching: Trainable Kernel Calibration
Metrics [56.629245030893685]
カーネルベースのキャリブレーションメトリクスを導入し、分類と回帰の両方で一般的なキャリブレーションの形式を統一・一般化する。
これらの指標は、異なるサンプル推定を許容しており、キャリブレーションの目的を経験的リスク最小化に組み込むのが容易である。
決定タスクにキャリブレーションメトリクスを調整し、正確な損失推定を行ない、後悔しない決定を行うための直感的なメカニズムを提供する。
論文 参考訳（メタデータ） (2023-10-31T06:19:40Z) - Is this model reliable for everyone? Testing for strong calibration [4.893345190925178]
十分に校正されたリスク予測モデルでは、平均予測確率は任意のサブグループの真の事象率に近い。
強いキャリブレーションのためのモデル監査のタスクは、潜在的な部分群の数が多すぎるため、難しいことが知られている。
適合性試験の最近の進歩は潜在的な解決策を提供するが、弱い信号を持つ設定には設計されていない。
論文 参考訳（メタデータ） (2023-07-28T00:59:14Z) - Mitigating Calibration Bias Without Fixed Attribute Grouping for
Improved Fairness in Medical Imaging Analysis [2.8943928153775826]
クラスタ・フォーカス (Cluster-Focal) は、まず粗悪な校正されたサンプルを識別し、それらをグループに分類し、その後、校正バイアスを改善するためにグループ指向の焦点損失を導入する。
HAM10000データセットを用いた皮膚病変分類と,多発性硬化症(MS)患者の将来の病変活動の予測について検討した。
論文 参考訳（メタデータ） (2023-07-04T14:14:12Z) - Calibration of Neural Networks [77.34726150561087]
本稿では,ニューラルネットワークの文脈における信頼性校正問題について調査する。
我々は,問題文,キャリブレーション定義,評価に対する異なるアプローチについて分析する。
実験実験では、様々なデータセットとモデルをカバーし、異なる基準に従って校正方法を比較する。
論文 参考訳（メタデータ） (2023-03-19T20:27:51Z) - On Calibrating Semantic Segmentation Models: Analyses and An Algorithm [51.85289816613351]
セマンティックセグメンテーションキャリブレーションの問題について検討する。
モデルキャパシティ、作物サイズ、マルチスケールテスト、予測精度はキャリブレーションに影響を及ぼす。
我々は、単純で統一的で効果的なアプローチ、すなわち選択的スケーリングを提案する。
論文 参考訳（メタデータ） (2022-12-22T22:05:16Z) - Modular Conformal Calibration [80.33410096908872]
回帰における再校正のためのアルゴリズムを多種多様なクラスで導入する。
このフレームワークは、任意の回帰モデルをキャリブレーションされた確率モデルに変換することを可能にする。
我々は17の回帰データセットに対するMCCの実証的研究を行った。
論文 参考訳（メタデータ） (2022-06-23T03:25:23Z) - Should Ensemble Members Be Calibrated? [16.331175260764]
現代のディープニューラルネットワークはしばしば、キャリブレーションが不十分であることが観察される。
ディープラーニングアプローチは、多数のモデルパラメータを利用する。
本稿では,キャリブレーション方式の深層アンサンブルへの適用について検討する。
論文 参考訳（メタデータ） (2021-01-13T23:59:00Z) - Individual Calibration with Randomized Forecasting [116.2086707626651]
予測値がランダムに設定された場合,各サンプルのキャリブレーションは回帰設定で可能であることを示す。
我々は、個別の校正を強制する訓練目標を設計し、それをランダム化された回帰関数の訓練に使用する。
論文 参考訳（メタデータ） (2020-06-18T05:53:10Z) - Quantile Regularization: Towards Implicit Calibration of Regression
Models [30.872605139672086]
2つのCDF間の累積KL分散として定義される新しい量子正規化器に基づく回帰モデルの校正法を提案する。
提案手法は,Dropout VI や Deep Ensembles といった手法を用いて学習した回帰モデルのキャリブレーションを大幅に改善することを示す。
論文 参考訳（メタデータ） (2020-02-28T16:53:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。