論文の概要: Proportional Multicalibration

• arxiv url: http://arxiv.org/abs/2209.14613v1
• Date: Thu, 29 Sep 2022 08:15:29 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-30 18:14:39.666643
• Title: Proportional Multicalibration
• Title（参考訳）: 局所多重校正
• Authors: William La Cava, Elle Lett, Guangya Wan
• Abstract要約: 多重校正は、データ内の柔軟に定義されたグループ間で校正誤差を制約する好適な公平性基準である。 本稿では,グループ間および予測ビン内における正の校正誤差を制限する基準である比例多重校正を提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Multicalibration is a desirable fairness criteria that constrains calibration error among flexibly-defined groups in the data while maintaining overall calibration. However, when outcome probabilities are correlated with group membership, multicalibrated models can exhibit a higher percent calibration error among groups with lower base rates than groups with higher base rates. As a result, it remains possible for a decision-maker to learn to trust or distrust model predictions for specific groups. To alleviate this, we propose proportional multicalibration, a criteria that constrains the percent calibration error among groups and within prediction bins. We prove that satisfying proportional multicalibration bounds a model's multicalibration as well its differential calibration, a stronger fairness criteria inspired by the fairness notion of sufficiency. We provide an efficient algorithm for post-processing risk prediction models for proportional multicalibration and evaluate it empirically. We conduct simulation studies and investigate a real-world application of PMC-postprocessing to prediction of emergency department patient admissions. We observe that proportional multicalibration is a promising criteria for controlling simultenous measures of calibration fairness of a model over intersectional groups with virtually no cost in terms of classification performance.
• Abstract（参考訳）: マルチキャリブレーションは、全体的なキャリブレーションを維持しつつ、データ内の柔軟に定義されたグループ間のキャリブレーション誤差を制約する好適なフェアネス基準である。 しかし、結果確率がグループメンバーシップと相関すると、マルチキャリブドモデルは、ベースレートの低いグループ間で、ベースレートの高いグループよりも高いキャリブレーション誤差を示すことができる。 その結果、意思決定者は特定のグループのモデル予測を信頼するか、信頼できないかを学ぶことができる。 そこで本研究では,グループ間および予測ビン内におけるキャリブレーション誤差を制約する基準である比例多重化を提案する。 比例多重化を満足することは、モデルの多重化と微分校正、すなわち公平性の概念に触発されたより強固な公平性基準に結びつくことを証明している。 比例多重校正のためのリスク予測モデルの後処理アルゴリズムを提案し,それを実証的に評価する。 PMC後処理のシミュレーション研究と,救急外来入院の予測への応用について検討する。 比例多重化は, 分類性能の面では, ほとんど費用がかからない交叉群上でのモデルキャリブレーションフェアネスの同時測定を制御するための有望な基準であると考えられる。

関連論文リスト

• Probabilistic Scores of Classifiers, Calibration is not Enough [0.32985979395737786]
  二項分類タスクでは、確率的予測の正確な表現が実世界の様々な応用に不可欠である。 本研究では,予測スコアと真の確率分布の一致を優先するアプローチを強調した。 その結果,従来の校正基準の限界が明らかとなり,重要な意思決定のための予測モデルの信頼性を損なう可能性が示唆された。
  論文  参考訳（メタデータ） (2024-08-06T19:53:00Z)
• Calibrating Large Language Models with Sample Consistency [76.23956851098598]
  本稿では,複数サンプルモデル生成系の分布から信頼度を導出する可能性について,一貫性の3つの尺度を用いて検討する。 その結果、一貫性に基づくキャリブレーション手法は、既存のポストホック手法よりも優れていることがわかった。 種々のLMの特性に合わせて,キャリブレーションに適した整合性指標を選択するための実用的なガイダンスを提供する。
  論文  参考訳（メタデータ） (2024-02-21T16:15:20Z)
• Calibration by Distribution Matching: Trainable Kernel Calibration Metrics [56.629245030893685]
  カーネルベースのキャリブレーションメトリクスを導入し、分類と回帰の両方で一般的なキャリブレーションの形式を統一・一般化する。 これらの指標は、異なるサンプル推定を許容しており、キャリブレーションの目的を経験的リスク最小化に組み込むのが容易である。 決定タスクにキャリブレーションメトリクスを調整し、正確な損失推定を行ない、後悔しない決定を行うための直感的なメカニズムを提供する。
  論文  参考訳（メタデータ） (2023-10-31T06:19:40Z)
• Is this model reliable for everyone? Testing for strong calibration [4.893345190925178]
  十分に校正されたリスク予測モデルでは、平均予測確率は任意のサブグループの真の事象率に近い。 強いキャリブレーションのためのモデル監査のタスクは、潜在的な部分群の数が多すぎるため、難しいことが知られている。 適合性試験の最近の進歩は潜在的な解決策を提供するが、弱い信号を持つ設定には設計されていない。
  論文  参考訳（メタデータ） (2023-07-28T00:59:14Z)
• Mitigating Calibration Bias Without Fixed Attribute Grouping for Improved Fairness in Medical Imaging Analysis [2.8943928153775826]
  クラスタ・フォーカス (Cluster-Focal) は、まず粗悪な校正されたサンプルを識別し、それらをグループに分類し、その後、校正バイアスを改善するためにグループ指向の焦点損失を導入する。 HAM10000データセットを用いた皮膚病変分類と,多発性硬化症(MS)患者の将来の病変活動の予測について検討した。
  論文  参考訳（メタデータ） (2023-07-04T14:14:12Z)
• Calibration of Neural Networks [77.34726150561087]
  本稿では,ニューラルネットワークの文脈における信頼性校正問題について調査する。 我々は,問題文,キャリブレーション定義,評価に対する異なるアプローチについて分析する。 実験実験では、様々なデータセットとモデルをカバーし、異なる基準に従って校正方法を比較する。
  論文  参考訳（メタデータ） (2023-03-19T20:27:51Z)
• On Calibrating Semantic Segmentation Models: Analyses and An Algorithm [51.85289816613351]
  セマンティックセグメンテーションキャリブレーションの問題について検討する。 モデルキャパシティ、作物サイズ、マルチスケールテスト、予測精度はキャリブレーションに影響を及ぼす。 我々は、単純で統一的で効果的なアプローチ、すなわち選択的スケーリングを提案する。
  論文  参考訳（メタデータ） (2022-12-22T22:05:16Z)
• Modular Conformal Calibration [80.33410096908872]
  回帰における再校正のためのアルゴリズムを多種多様なクラスで導入する。 このフレームワークは、任意の回帰モデルをキャリブレーションされた確率モデルに変換することを可能にする。 我々は17の回帰データセットに対するMCCの実証的研究を行った。
  論文  参考訳（メタデータ） (2022-06-23T03:25:23Z)
• Should Ensemble Members Be Calibrated? [16.331175260764]
  現代のディープニューラルネットワークはしばしば、キャリブレーションが不十分であることが観察される。 ディープラーニングアプローチは、多数のモデルパラメータを利用する。 本稿では,キャリブレーション方式の深層アンサンブルへの適用について検討する。
  論文  参考訳（メタデータ） (2021-01-13T23:59:00Z)
• Individual Calibration with Randomized Forecasting [116.2086707626651]
  予測値がランダムに設定された場合,各サンプルのキャリブレーションは回帰設定で可能であることを示す。 我々は、個別の校正を強制する訓練目標を設計し、それをランダム化された回帰関数の訓練に使用する。
  論文  参考訳（メタデータ） (2020-06-18T05:53:10Z)
• Quantile Regularization: Towards Implicit Calibration of Regression Models [30.872605139672086]
  2つのCDF間の累積KL分散として定義される新しい量子正規化器に基づく回帰モデルの校正法を提案する。 提案手法は,Dropout VI や Deep Ensembles といった手法を用いて学習した回帰モデルのキャリブレーションを大幅に改善することを示す。
  論文  参考訳（メタデータ） (2020-02-28T16:53:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。