論文の概要: EDGE: a closed-form directed test for the calibration of probabilistic binary classifiers
- arxiv url: http://arxiv.org/abs/2608.20511v1
- Date: Thu, 20 Aug 2026 19:06:05 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-24 14:49:32.158347
- Title: EDGE: a closed-form directed test for the calibration of probabilistic binary classifiers
- Title（参考訳）: EDGE:確率的二値化器の校正のための閉形式指向試験
- Abstract要約: 本稿では,正規確率分類器の校正テストであるEDGEを提案し,ロジスティック回帰法を提案する。
EDGEは、同一のビン付き予測観測テーブルを信頼性図のプロットとして読み出し、その標準化されたビン残差をスムーズなキャリブレーション歪みの小さな前提に投影する。
リンクと特徴の相違により、既定のデフォルトが22のシナリオのうち、19のシナリオで全ての競合するビン付きテストに導かれるか、あるいは結び付けられ、再適合ベースのStukelスコアテストが20%から28%のサンプルで分離される場合、計算可能のままであった。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: A probabilistic binary classifier is judged almost everywhere by discrimination - accuracy, the ROC curve, the area under it. Every such criterion is invariant to a monotone distortion of the predicted probabilities, so a classifier can rank perfectly and still return probabilities that are badly wrong. Calibration is the property decisions need, and the field's instrument for it, the binned expected calibration error with its reliability diagram, is descriptive: it has no null distribution, so it cannot say whether the miscalibration it displays is real or noise, and it depends on the binning. We propose EDGE, a calibration test for the canonical probabilistic classifier, logistic regression. EDGE reads the same binned predicted-versus-observed table a reliability diagram plots, and projects its standardized bin residuals onto a small pre-specified basis of smooth calibration-distortion shapes. Its null distribution is a weighted sum of chi-square variables in closed form, costing one pass over the data and one small eigendecomposition: no refit, no resampling, no tuning, so it can run inside cross-validation loops. Binning also makes it robust to the sparsity continuous features create. Across link and feature misspecification the pre-specified default led or tied every rival binned test on the fitted index in 19 of 22 detectable scenarios, and stayed computable where the refit-based Stukel score test separates in 20% to 28% of sparse samples. Its honest limit is rough, high-frequency miscalibration, where omnibus statistics win - a limit an elementary resolution argument shows is shared by every binned instrument, the calibration error included.
- Abstract（参考訳）: 確率的二項分類器は、ほぼ至るところで、精度、ROC曲線、その下の領域で判断される。
このような基準は予測された確率の単調な歪みに不変であるため、分類器は完璧にランク付けでき、悪い確率を返すことができる。
キャリブレーション(キャリブレーション)とは、プロパティの決定が必要であり、フィールドの機器である、その信頼性図を用いたバイナリ化された期待キャリブレーション誤差(英語版)は記述的であり、ヌル分布を持たないため、表示されている誤校正が本物かノイズかは判断できず、ビンニングに依存する。
本稿では,正規確率分類器の校正テストであるEDGEを提案し,ロジスティック回帰法を提案する。
EDGEは、同じビン付き予測逆観測表を信頼性図のプロットとして読み出し、その標準化されたビン残差を滑らかなキャリブレーション・歪み形状の小さな特定のベースに投影する。
ヌル分布は閉形式のカイ二乗変数の重み付き和であり、データと1つの小さな固有分解(refit, no resampling, no tune, it can run in the cross-validation loops)のコストがかかる。
バインディングによって、疎結合な継続的機能の生成も堅牢になる。
リンクと特徴の相違により、事前に規定されたデフォルトが22のシナリオのうち、19のシナリオで全ての競合するビン付きテストに導かれるか、または結び付けられ、再適合ベースのStukelスコアテストがスパースサンプルの20%から28%で分離される場合、計算可能のままであった。
その正直な限界は粗大で高周波の誤校正であり、そこではオムニバス統計が勝利する。
関連論文リスト
- Replicable Conformal Prediction [0.3058685580689604]
2人のアナリストが毎回、独立したサンプルで同じ予測モデルを調整します。
2つのキャリブレーションが同じオブジェクトを生成することを確認できない。
一つのランダムなシードを共有し、キャリブレーションされた閾値を粗い共有グリッドまで丸めれば、緊張は解消される。
論文 参考訳（メタデータ） (2026-08-23T17:47:40Z) - Beyond Marginal Validity: Finite-Sample Guarantees for Localized Conformal Prediction [25.59471163637912]
コンフォーマル予測は、有限サンプルで分布のない辺縁被覆を持つ任意のブラックボックス予測子を与える。
我々は、条件付き妥当性とオラクル効率を協調的に制御する実現された局所集合に対して有限サンプル保証を提供する。
スコアがピボットスコアを目標とする場合、均一な局所保証は固定スコアキャリブレーションと均一なスコア推定誤差に分解される。
論文 参考訳（メタデータ） (2026-08-06T15:59:57Z) - The Calibration Channel Determines the Bayes-Error Proxy: An Exact Law for Temperature-Induced Distortion [0.0]
石田らによるベイズエラー推定器ベータ(z) = E[min(z, 1-z)] は、確率値ラベルから直接二進タスクの既約誤差を推定する。
Ushioらによる最近の研究は、確率が真の後部でない場合、この推定器は脆弱であることを示した。
最も広く使われているポストホックキャリブレーションマップ -- 温度スケーリング -- がプロキシを歪めているのを正確に特徴付けます。
論文 参考訳（メタデータ） (2026-07-20T17:07:26Z) - Geometric Calibration and Neutral Zones for Uncertainty-Aware Multi-Class Classification [0.0]
この研究は情報幾何学と統計的学習を橋渡しし、厳密な検証を必要とするアプリケーションにおいて不確実性を認識した分類の正式な保証を提供する。
アデノ関連ウイルスの分類に関する実証的な検証は、2段階のフレームワークが72.5%のエラーをキャプチャし、34.5%のサンプルを遅延させ、自動決定エラー率を16.8%から6.9%に下げていることを示している。
論文 参考訳（メタデータ） (2025-11-26T01:29:49Z) - COIN: Uncertainty-Guarding Selective Question Answering for Foundation Models with Provable Risk Guarantees [51.5976496056012]
COINは、統計的に有効な閾値を校正し、質問毎に1つの生成された回答をフィルタリングする不確実性保護選択フレームワークである。
COINはキャリブレーションセット上で経験的誤差率を推定し、信頼区間法を適用して真誤差率に高い確率上界を確立する。
リスク管理におけるCOINの堅牢性,許容回答を維持するための強いテストタイムパワー,キャリブレーションデータによる予測効率を実証する。
論文 参考訳（メタデータ） (2025-06-25T07:04:49Z) - Beyond calibration: estimating the grouping loss of modern neural
networks [68.8204255655161]
適切なスコアリングルール理論は、キャリブレーション損失が与えられた場合、個々のエラーを特徴づける欠片がグループ化損失であることを示している。
視覚およびNLPにおける現代のニューラルネットワークアーキテクチャは、特に分散シフト設定においてグループ化損失を示す。
論文 参考訳（メタデータ） (2022-10-28T07:04:20Z) - A Consistent and Differentiable Lp Canonical Calibration Error Estimator [21.67616079217758]
ディープニューラルネットワークは校正が不十分で、自信過剰な予測を出力する傾向がある。
ディリクレ核密度推定に基づく低バイアス・トレーニング可能な校正誤差推定器を提案する。
提案手法はカーネルの自然な選択であり,他の量の一貫した推定値を生成するのに利用できる。
論文 参考訳（メタデータ） (2022-10-13T15:11:11Z) - T-Cal: An optimal test for the calibration of predictive models [49.11538724574202]
有限検証データセットを用いた予測モデルの誤校正を仮説検証問題として検討する。
誤校正の検出は、クラスの条件付き確率が予測の十分滑らかな関数である場合にのみ可能である。
我々は、$ell$-Expected Error(ECE)のデバイアスドプラグイン推定器に基づくキャリブレーションのためのミニマックステストであるT-Calを提案する。
論文 参考訳（メタデータ） (2022-03-03T16:58:54Z) - Calibration of Neural Networks using Splines [51.42640515410253]
キャリブレーション誤差の測定は、2つの経験的分布を比較します。
古典的コルモゴロフ・スミルノフ統計テスト(KS)にインスパイアされたビンニングフリーキャリブレーション尺度を導入する。
提案手法は,KS誤差に対する既存の手法と,他の一般的なキャリブレーション手法とを一貫して比較する。
論文 参考訳（メタデータ） (2020-06-23T07:18:05Z) - Distribution-free binary classification: prediction sets, confidence
intervals and calibration [106.50279469344937]
分布自由条件における二項分類のための不確実性定量化(キャリブレーション、信頼区間、予測セット)の3つの概念について検討する。
固定幅と一様質量の両双対の双対確率に対する信頼区間を導出する。
我々の「三脚」定理の結果として、双有理確率に対するこれらの信頼区間は分布自由キャリブレーションに繋がる。
論文 参考訳（メタデータ） (2020-06-18T14:17:29Z) - Individual Calibration with Randomized Forecasting [116.2086707626651]
予測値がランダムに設定された場合,各サンプルのキャリブレーションは回帰設定で可能であることを示す。
我々は、個別の校正を強制する訓練目標を設計し、それをランダム化された回帰関数の訓練に使用する。
論文 参考訳（メタデータ） (2020-06-18T05:53:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。