論文の概要: A Unifying Theory of Distance from Calibration
- arxiv url: http://arxiv.org/abs/2211.16886v2
- Date: Fri, 31 Mar 2023 17:48:47 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-03 17:12:04.288007
- Title: A Unifying Theory of Distance from Calibration
- Title（参考訳）: 校正からの距離の統一理論
- Authors: Jaros{\l}aw B{\l}asiok, Parikshit Gopalan, Lunjia Hu, Preetum Nakkiran
- Abstract要約: 完璧なキャリブレーションからの距離を定量化する方法については合意がない。
本研究では, キャリブレーションからの距離に関する基礎的な概念を提案する。
フレームワークの適用により、一貫性があり、効率的に推定できる3つのキャリブレーションを識別する。
- 参考スコア（独自算出の注目度）: 9.959025631339982
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We study the fundamental question of how to define and measure the distance
from calibration for probabilistic predictors. While the notion of perfect
calibration is well-understood, there is no consensus on how to quantify the
distance from perfect calibration. Numerous calibration measures have been
proposed in the literature, but it is unclear how they compare to each other,
and many popular measures such as Expected Calibration Error (ECE) fail to
satisfy basic properties like continuity.
We present a rigorous framework for analyzing calibration measures, inspired
by the literature on property testing. We propose a ground-truth notion of
distance from calibration: the $\ell_1$ distance to the nearest perfectly
calibrated predictor. We define a consistent calibration measure as one that is
polynomially related to this distance. Applying our framework, we identify
three calibration measures that are consistent and can be estimated
efficiently: smooth calibration, interval calibration, and Laplace kernel
calibration. The former two give quadratic approximations to the ground truth
distance, which we show is information-theoretically optimal in a natural model
for measuring calibration which we term the prediction-only access model. Our
work thus establishes fundamental lower and upper bounds on measuring the
distance to calibration, and also provides theoretical justification for
preferring certain metrics (like Laplace kernel calibration) in practice.
- Abstract（参考訳）: 確率予測器のキャリブレーションからの距離をどのように定義・測定するかという基本的な問題について検討する。
完全校正の概念はよく理解されているが、完全校正からの距離を定量化する方法についてのコンセンサスはない。
文献では多くの校正策が提案されているが、それらがどう比較されているかは定かではなく、期待校正誤差(ECE)など多くの一般的な対策は連続性のような基本的な性質を満足できない。
資産試験に関する文献から着想を得た校正対策分析のための厳密な枠組みを提案する。
キャリブレーションからの距離について,最寄りの完全キャリブレーション予測器までの距離が$\ell_1$であることを示す。
我々は、この距離と多項式的に関係のあるものとして一貫したキャリブレーション測度を定義する。
本フレームワークの適用により,スムーズキャリブレーション,インターバルキャリブレーション,ラプラスカーネルキャリブレーションという,一貫性のある3つのキャリブレーションを効率的に推定できる。
前者の2つは基底真理距離に二次近似を与え、予測のみアクセスモデルと呼ばれるキャリブレーションを測定するための自然モデルにおいて情報理論上最適であることを示した。
そこで本研究では,キャリブレーションまでの距離を測定するための基礎的な下限と上限を定め,実際に特定の測定値(例えばLaplaceカーネルキャリブレーション)を優先する理論的正当性を提供する。
関連論文リスト
- A Confidence Interval for the $\ell_2$ Expected Calibration Error [35.88784957918326]
我々は信頼区間を$ell$ expected the Error (ECE) で開発する。
信頼性キャリブレーションの一般的な概念とキャリブレーションの両方を含む,トップ1からk$のキャリブレーションを考える。
ECEのデバイアスド推定器では、正規性を示すが、校正モデルとミスドモデルに対する収束率と分散は異なる。
論文 参考訳（メタデータ） (2024-08-16T20:00:08Z) - Truthfulness of Calibration Measures [18.21682539787221]
キャリブレーションの指標は、予測者が次の結果の条件付き期待を予測することによって期待されるペナルティを最小化した場合に真実とされる。
これにより、音の良さや完全さといった典型的な要件とともに、校正措置に欠かせないデシプラタムとなる。
本稿では, 正当性予測を一定乗算係数まで最適とする, Subsampled Smooth Error (SSCE) と呼ばれる新たなキャリブレーション手法を提案する。
論文 参考訳（メタデータ） (2024-07-19T02:07:55Z) - On the Distance from Calibration in Sequential Prediction [4.14360329494344]
キャリブレーション距離から予測器を評価可能な逐次二分予測条件について検討する。
キャリブレーション距離は、完全キャリブレーションから逸脱する自然で直感的な尺度である。
我々は,逆選択された$T$バイナリ結果の列に対して,予測において$O(sqrtT)$キャリブレーション距離を達成できる予測アルゴリズムが存在することを証明した。
論文 参考訳（メタデータ） (2024-02-12T07:37:19Z) - Calibration by Distribution Matching: Trainable Kernel Calibration
Metrics [56.629245030893685]
カーネルベースのキャリブレーションメトリクスを導入し、分類と回帰の両方で一般的なキャリブレーションの形式を統一・一般化する。
これらの指標は、異なるサンプル推定を許容しており、キャリブレーションの目的を経験的リスク最小化に組み込むのが容易である。
決定タスクにキャリブレーションメトリクスを調整し、正確な損失推定を行ない、後悔しない決定を行うための直感的なメカニズムを提供する。
論文 参考訳（メタデータ） (2023-10-31T06:19:40Z) - Adaptive Calibrator Ensemble for Model Calibration under Distribution
Shift [23.794897699193875]
アダプティブ・キャリブレータ・アンサンブル(ACE)は、通常はキャリブレーション・セットよりも難しいOODデータセットをキャリブレーション・セットに分類する。
ACEは一般に、一連のOODベンチマークにおけるいくつかの最先端のキャリブレーション方式の性能を改善している。
論文 参考訳（メタデータ） (2023-03-09T15:22:02Z) - On Calibrating Semantic Segmentation Models: Analyses and An Algorithm [51.85289816613351]
セマンティックセグメンテーションキャリブレーションの問題について検討する。
モデルキャパシティ、作物サイズ、マルチスケールテスト、予測精度はキャリブレーションに影響を及ぼす。
我々は、単純で統一的で効果的なアプローチ、すなわち選択的スケーリングを提案する。
論文 参考訳（メタデータ） (2022-12-22T22:05:16Z) - T-Cal: An optimal test for the calibration of predictive models [49.11538724574202]
有限検証データセットを用いた予測モデルの誤校正を仮説検証問題として検討する。
誤校正の検出は、クラスの条件付き確率が予測の十分滑らかな関数である場合にのみ可能である。
我々は、$ell$-Expected Error(ECE)のデバイアスドプラグイン推定器に基づくキャリブレーションのためのミニマックステストであるT-Calを提案する。
論文 参考訳（メタデータ） (2022-03-03T16:58:54Z) - Localized Calibration: Metrics and Recalibration [133.07044916594361]
完全大域キャリブレーションと完全個別化キャリブレーションのギャップにまたがる細粒度キャリブレーション指標を提案する。
次に,局所再校正法であるLoReを導入し,既存の校正法よりもLCEを改善する。
論文 参考訳（メタデータ） (2021-02-22T07:22:12Z) - Unsupervised Calibration under Covariate Shift [92.02278658443166]
ドメインシフト下でのキャリブレーションの問題を導入し、それに対処するための重要サンプリングに基づくアプローチを提案する。
実世界のデータセットと合成データセットの両方において,本手法の有効性を評価し検討した。
論文 参考訳（メタデータ） (2020-06-29T21:50:07Z) - Calibration of Pre-trained Transformers [55.57083429195445]
本研究ではBERTとRoBERTaに着目し,自然言語推論,パラフレーズ検出,コモンセンス推論という3つのタスクのキャリブレーションを分析した。
その結果,(1) 事前学習モデルを用いてドメイン内キャリブレーションを行う場合, ベースラインと比較して, ドメイン外キャリブレーション誤差が3.5倍も低いこと,(2) ドメイン内キャリブレーション誤差をさらに低減するために温度スケーリングが有効であること,および, ラベルスムーシングを用いて実証的不確実性を意図的に増大させることにより, ドメイン内キャリブレーション後部キャリブレーションを支援すること,などが示されている。
論文 参考訳（メタデータ） (2020-03-17T18:58:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。