論文の概要: On the Richness of Calibration
- arxiv url: http://arxiv.org/abs/2302.04118v1
- Date: Wed, 8 Feb 2023 15:19:46 GMT
- ステータス: 処理完了
- システム内更新日: 2023-02-09 15:51:44.929661
- Title: On the Richness of Calibration
- Title（参考訳）: 校正の豊かさについて
- Authors: Benedikt H\"oltgen and Robert C Williamson
- Abstract要約: キャリブレーションスコアを設計する際の選択肢を明確にします。
これらを3つのグループ選択と,グループエラーの集約に関する選択にまとめる。
特に、予測ではなく、入力特徴に基づいてデータポイントをグループ化する可能性について検討する。
グループ化の適切な選択により、これらの新しいグローバルフェアネススコアは(サブ)グループや個人フェアネスの概念を提供することができることを実証する。
- 参考スコア（独自算出の注目度）: 10.482805367361818
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Probabilistic predictions can be evaluated through comparisons with observed
label frequencies, that is, through the lens of calibration. Recent scholarship
on algorithmic fairness has started to look at a growing variety of
calibration-based objectives under the name of multi-calibration but has still
remained fairly restricted. In this paper, we explore and analyse forms of
evaluation through calibration by making explicit the choices involved in
designing calibration scores. We organise these into three grouping choices and
a choice concerning the agglomeration of group errors. This provides a
framework for comparing previously proposed calibration scores and helps to
formulate novel ones with desirable mathematical properties. In particular, we
explore the possibility of grouping datapoints based on their input features
rather than on predictions and formally demonstrate advantages of such
approaches. We also characterise the space of suitable agglomeration functions
for group errors, generalising previously proposed calibration scores.
Complementary to such population-level scores, we explore calibration scores at
the individual level and analyse their relationship to choices of grouping. We
draw on these insights to introduce and axiomatise fairness deviation measures
for population-level scores. We demonstrate that with appropriate choices of
grouping, these novel global fairness scores can provide notions of (sub-)group
or individual fairness.
- Abstract（参考訳）: 確率的予測は、観測されたラベル周波数、すなわちキャリブレーションレンズによる比較によって評価することができる。
アルゴリズムの公正性に関する最近の研究は、多校正の名のもと、様々なキャリブレーションに基づく目的に注目し始めているが、いまだにかなり制限されている。
本稿では,キャリブレーションスコアの設計に関わる選択を明確化し,キャリブレーションによる評価形態を調査し分析する。
これらを3つのグループ選択と,グループエラーの集約に関する選択にまとめる。
これは、以前に提案されたキャリブレーションスコアを比較するためのフレームワークを提供し、望ましい数学的特性を持つ新しいスコアを定式化するのに役立つ。
特に,予測ではなく,入力特徴に基づいてデータポイントをグループ化する可能性について検討し,その利点を正式に示している。
また,予め提案した校正スコアを一般化し,グループ誤りに対する適切な凝集関数の空間を特徴付ける。
このような集団レベルのスコアを補完し,個人レベルでのキャリブレーションスコアを調査し,グループ化の選択との関係を分析する。
人口レベルのスコアに対する公平度逸脱対策の導入と公理化について考察する。
グループ化の適切な選択により、これらの新しいグローバルフェアネススコアは(サブ)グループや個人フェアネスの概念を提供することができることを示す。
関連論文リスト
- Calibration by Distribution Matching: Trainable Kernel Calibration
Metrics [56.629245030893685]
カーネルベースのキャリブレーションメトリクスを導入し、分類と回帰の両方で一般的なキャリブレーションの形式を統一・一般化する。
これらの指標は、異なるサンプル推定を許容しており、キャリブレーションの目的を経験的リスク最小化に組み込むのが容易である。
決定タスクにキャリブレーションメトリクスを調整し、正確な損失推定を行ない、後悔しない決定を行うための直感的なメカニズムを提供する。
論文 参考訳（メタデータ） (2023-10-31T06:19:40Z) - Towards Fair and Calibrated Models [26.74017047721052]
フェアネスの特定の定義と密接に一致している[ビスワなど2019年]。
公平かつ校正されたモデルを達成するための既存の否定的な結果が、公平性の定義に当てはまらないことを示す。
本研究では, グループワイドキャリブレーションを行うための既存のキャリブレーション損失の修正を提案し, 公平かつキャリブレーションされたモデルを実現する方法を提案する。
論文 参考訳（メタデータ） (2023-10-16T13:41:09Z) - Mitigating Calibration Bias Without Fixed Attribute Grouping for
Improved Fairness in Medical Imaging Analysis [2.8943928153775826]
クラスタ・フォーカス (Cluster-Focal) は、まず粗悪な校正されたサンプルを識別し、それらをグループに分類し、その後、校正バイアスを改善するためにグループ指向の焦点損失を導入する。
HAM10000データセットを用いた皮膚病変分類と,多発性硬化症(MS)患者の将来の病変活動の予測について検討した。
論文 参考訳（メタデータ） (2023-07-04T14:14:12Z) - Matched Pair Calibration for Ranking Fairness [2.580183306478581]
マッチングペアキャリブレーションと呼ばれるスコアベースランキングシステムにおける公平性テストを提案する。
本稿では,2進分類設定からランク付けまで,キャリブレーションの公平さの直観を一般化する方法について述べる。
論文 参考訳（メタデータ） (2023-06-06T15:32:30Z) - On Calibrating Semantic Segmentation Models: Analyses and An Algorithm [51.85289816613351]
セマンティックセグメンテーションキャリブレーションの問題について検討する。
モデルキャパシティ、作物サイズ、マルチスケールテスト、予測精度はキャリブレーションに影響を及ぼす。
我々は、単純で統一的で効果的なアプローチ、すなわち選択的スケーリングを提案する。
論文 参考訳（メタデータ） (2022-12-22T22:05:16Z) - Fair admission risk prediction with proportional multicalibration [0.16249424686052708]
マルチキャリブレーション制約は、柔軟に定義されたサブポピュレーション間のキャリブレーション誤差を補正する。
意思決定者は特定のグループに対するモデル予測を信頼するか、不信にするかを学ぶことができる。
本稿では,グループ間および予測ビン内における正の校正誤差を制限する基準である比例多重校正を提案する。
論文 参考訳（メタデータ） (2022-09-29T08:15:29Z) - Measuring Fairness Under Unawareness of Sensitive Attributes: A
Quantification-Based Approach [131.20444904674494]
センシティブな属性の無意識下でのグループフェアネスを測定する問題に取り組む。
定量化手法は, フェアネスと無意識の問題に対処するのに特に適していることを示す。
論文 参考訳（メタデータ） (2021-09-17T13:45:46Z) - Characterizing Fairness Over the Set of Good Models Under Selective
Labels [69.64662540443162]
同様の性能を実現するモデルセットに対して,予測公正性を特徴付けるフレームワークを開発する。
到達可能なグループレベルの予測格差の範囲を計算するためのトラクタブルアルゴリズムを提供します。
選択ラベル付きデータの実証的な課題に対処するために、我々のフレームワークを拡張します。
論文 参考訳（メタデータ） (2021-01-02T02:11:37Z) - Selective Classification Can Magnify Disparities Across Groups [89.14499988774985]
選択的分類は平均的精度を向上させることができるが、既存の精度格差を同時に増大させることができる。
禁忌の増大は、一部のグループでのアキュラシーを減少させることもある。
我々は,グループ間で類似のフルカバレッジ精度を実現する分散ロバストモデルを訓練し,選択分類が各グループを均一に改善することを示す。
論文 参考訳（メタデータ） (2020-10-27T08:51:30Z) - Towards Model-Agnostic Post-Hoc Adjustment for Balancing Ranking
Fairness and Algorithm Utility [54.179859639868646]
Bipartiteランキングは、ラベル付きデータから正の個人よりも上位の個人をランク付けするスコアリング機能を学ぶことを目的としている。
学習したスコアリング機能が、異なる保護グループ間で体系的な格差を引き起こすのではないかという懸念が高まっている。
本稿では、二部構成のランキングシナリオにおいて、それらのバランスをとるためのモデル後処理フレームワークを提案する。
論文 参考訳（メタデータ） (2020-06-15T10:08:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。