論文の概要: Auditability and the Landscape of Distance to Multicalibration
- arxiv url: http://arxiv.org/abs/2509.16930v1
- Date: Sun, 21 Sep 2025 05:26:48 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-09-23 18:58:16.039974
- Title: Auditability and the Landscape of Distance to Multicalibration
- Title(参考訳): マルチキャリブレーションにおける距離の可聴性とランドスケープ
- Authors: Nathan Derhake, Siddartha Devic, Dutch Hansen, Kuan Liu, Vatsal Sharan,
- Abstract要約: 予測器の多重校正までの距離の監査性は$f$である。
本研究は,より強力なマルチキャリブレーションアルゴリズムの開発に影響を及ぼす可能性がある。
- 参考スコア(独自算出の注目度): 14.895808794051568
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Calibration is a critical property for establishing the trustworthiness of predictors that provide uncertainty estimates. Multicalibration is a strengthening of calibration which requires that predictors be calibrated on a potentially overlapping collection of subsets of the domain. As multicalibration grows in popularity with practitioners, an essential question is: how do we measure how multicalibrated a predictor is? B{\l}asiok et al. (2023) considered this question for standard calibration by introducing the distance to calibration framework (dCE) to understand how calibration metrics relate to each other and the ground truth. Building on the dCE framework, we consider the auditability of the distance to multicalibration of a predictor $f$. We begin by considering two natural generalizations of dCE to multiple subgroups: worst group dCE (wdMC), and distance to multicalibration (dMC). We argue that there are two essential properties of any multicalibration error metric: 1) the metric should capture how much $f$ would need to be modified in order to be perfectly multicalibrated; and 2) the metric should be auditable in an information theoretic sense. We show that wdMC and dMC each fail to satisfy one of these two properties, and that similar barriers arise when considering the auditability of general distance to multigroup fairness notions. We then propose two (equivalent) multicalibration metrics which do satisfy these requirements: 1) a continuized variant of dMC; and 2) a distance to intersection multicalibration, which leans on intersectional fairness desiderata. Along the way, we shed light on the loss-landscape of distance to multicalibration and the geometry of the set of perfectly multicalibrated predictors. Our findings may have implications for the development of stronger multicalibration algorithms as well as multigroup auditing more generally.
- Abstract(参考訳): キャリブレーションは、不確実性推定を提供する予測者の信頼性を確立するための重要な特性である。
マルチキャリブレーション(Multicalibration)は、ドメインの重複するサブセットの集合に対して、予測器をキャリブレーションする必要があるキャリブレーションの強化である。
マルチキャリブレーション(multicalibration)が実践者の間で人気を増す中、重要な疑問は、どのように予測器がマルチキャリブレーションされているかを測定するかである。
B{\l}asiok et al (2023) は、キャリブレーションの指標が互いにどのように関係しているかを理解するために、キャリブレーションフレームワーク (dCE) に距離を導入することで、標準キャリブレーションの問題を検討した。
dCEフレームワークに基づいて、予測器の多重校正までの距離の監査可能性を考える。
まず、最低群 dCE (wdMC) と多重校正距離 (dMC) の2つの自然一般化を考える。
我々は、任意の多重校正誤差計量には2つの重要な性質があると主張する。
1) メトリックは、完全にマルチキャリブレーションされるために、どれだけの$f$を変更する必要があるかをキャプチャする必要がある。
2) 計量は情報理論的な意味で監査可能であるべきである。
我々は、wdMC と dMC がこれら2つの特性の1つを満たすことができず、また、多群フェアネスの概念に対する一般的な距離の監査可能性を考えると、同様の障壁が生じることを示した。
次に、これらの要件を満たす2つの(等価な)多重校正指標を提案する。
1) 連続したdMCの変種,及び
2) 交叉の多校正距離は交叉のフェアネス・デシダラタに依存する。
その過程で、我々は、多重校正への距離の損失ランドスケープと、完全に多重校正された予測器の集合の幾何学に光を当てた。
本研究は,より強力なマルチキャリブレーションアルゴリズムの開発や,より一般的なマルチグループ監査に影響を及ぼす可能性がある。
関連論文リスト
- When is Multicalibration Post-Processing Necessary? [12.628103786954487]
多重校正は有意義な不確実性推定を保証する予測器の特性である。
本研究は,マルチキャリブレーション後処理の有用性を評価するための総合的研究である。
我々は,マルチキャリブレーション後処理の実用的,効果的な応用に有用な,多くの独立した観測結果を蒸留する。
論文 参考訳(メタデータ) (2024-06-10T17:26:39Z) - Fair admission risk prediction with proportional multicalibration [0.16249424686052708]
マルチキャリブレーション制約は、柔軟に定義されたサブポピュレーション間のキャリブレーション誤差を補正する。
意思決定者は特定のグループに対するモデル予測を信頼するか、不信にするかを学ぶことができる。
本稿では,グループ間および予測ビン内における正の校正誤差を制限する基準である比例多重校正を提案する。
論文 参考訳(メタデータ) (2022-09-29T08:15:29Z) - Targeted Separation and Convergence with Kernel Discrepancies [61.973643031360254]
カーネルベースの不一致測度は、(i)ターゲットPを他の確率測度から分離するか、(ii)Pへの弱収束を制御する必要がある。
本稿では, (i) と (ii) を保証するのに十分な,必要な新しい条件を導出する。
可分距離空間上のMDDに対して、ボヒナー埋め込み可測度を分離するカーネルを特徴づけ、すべての測度を非有界カーネルと分離するための単純な条件を導入する。
論文 参考訳(メタデータ) (2022-09-26T16:41:16Z) - Localized Calibration: Metrics and Recalibration [133.07044916594361]
完全大域キャリブレーションと完全個別化キャリブレーションのギャップにまたがる細粒度キャリブレーション指標を提案する。
次に,局所再校正法であるLoReを導入し,既存の校正法よりもLCEを改善する。
論文 参考訳(メタデータ) (2021-02-22T07:22:12Z) - Sample Complexity of Uniform Convergence for Multicalibration [43.10452387619829]
多重校正誤差に対処し、予測誤差から分離する。
我々の研究は、多重校正誤差の統一収束保証のためのサンプル複雑性境界を与える。
論文 参考訳(メタデータ) (2020-05-04T18:01:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。