論文の概要: The Minimax Rate of Second-Order Calibration
- arxiv url: http://arxiv.org/abs/2605.07808v1
- Date: Fri, 08 May 2026 14:41:56 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-11 19:43:39.123969
- Title: The Minimax Rate of Second-Order Calibration
- Title(参考訳): 2次校正のミニマックスレート
- Authors: Kamil Ciosek, Banafsheh Rafiee, Sina Ghiassian, Nicolò Felicioni,
- Abstract要約: 二項分類における二階キャリブレーション誤差を推定するミニマックス速度を特徴付ける。
結論として、二階プラッツスケーリングに対する最初の有限サンプル保証を与える。
- 参考スコア(独自算出の注目度): 8.791341107339637
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We characterize the minimax rate of estimating the second-order calibration error for binary classification, which quantifies whether a higher-order predictor's epistemic-uncertainty estimate matches the conditional variance of the label probability on its level sets. Our key observation is that the sech perturbation kernel, previously used only to enforce smoothness of calibration functions, in fact makes them analytic in a strip of half-width $hπ/2$. Polynomial regression then estimates the calibration error at rate $\tilde{O}(1/\sqrt{n})$, with explicit constants, a qualitative improvement over the $O(n^{-1/4})$ rate achievable by bucketing or kernel smoothing. A matching $Ω(1/\sqrt{n})$ lower bound establishes minimax optimality up to logarithmic factors. As a corollary, we give the first finite-sample guarantee for second-order Platt scaling, yielding a post-hoc procedure that recalibrates both the mean prediction and the epistemic-variance estimate of any higher-order predictor. Along the way, we provide a bucket-free definition of second-order calibration and relate it quantitatively to the bucketed formulation of Ahdritz et al. [2025]. Our experiments confirm the predicted rate and the quality of the recalibrated uncertainties.
- Abstract(参考訳): 本稿では,2次分類における2次キャリブレーション誤差を推定するミニマックス速度を特徴付ける。これは,高次予測器の認識不確実性推定が,ラベル確率のレベルセットの条件分散と一致するかどうかを定量化する。
我々のキーとなる観察は、以前はキャリブレーション関数の滑らかさを強制するためにしか使われていなかったsech摂動核が、実際には半幅のhπ/2$で解析するということである。
多項式回帰は、キャリブレーション誤差を$\tilde{O}(1/\sqrt{n})$で推定し、明示的な定数で、バケットやカーネルの平滑化によって達成できる$O(n^{-1/4})$よりも質的な改善を行う。
一致する$Ω(1/\sqrt{n})$下界は対数係数まで最小値最適性を確立する。
結論として、第2次プラットスケーリングに対する最初の有限サンプル保証を与え、任意の高次予測子の平均予測とエピステミック偏差の推定の両方を再検討するポストホック手順を導出する。
その過程で、二階キャリブレーションのバケットフリー定義を提供し、Ahdritz et al[2025] のバケット式と定量的に関連付ける。
本実験は,再校正された不確かさの予測率と品質を確認した。
関連論文リスト
- Tail allocation for conformal prediction intervals [1.0163716169047106]
本研究では,報告された予測セットが単一区間でなければならない場合の回帰の分割等式予測について,目標限界範囲が1-$である場合,名目上の誤発見レベルが$$である場合について検討する。
この報告制約の下では、自然条件対象は、等尾区間やおそらく非連結な高確率集合ではなく、条件質量が少なくとも1-$の最も短い区間である。
このシングルインターバルをローテールアロケーションによってパラメータ化し、名目上の誤発見が2つのエンドポイント間でどのように分割されるかを決定する。
論文 参考訳(メタデータ) (2026-04-28T04:14:27Z) - Refining Covariance Matrix Estimation in Stochastic Gradient Descent Through Bias Reduction [9.294518380204154]
勾配降下(SGD)アルゴリズムのオンライン推論と共分散推定について検討する。
提案手法は,既存のヘッセン自由代替品よりも優れた収差率$n(-1)/2 sqrtlog n$を達成するために,バイアス低減手法を用いている。
論文 参考訳(メタデータ) (2026-04-23T01:48:08Z) - Why is Normalization Preferred? A Worst-Case Complexity Theory for Stochastically Preconditioned SGD under Heavy-Tailed Noise [17.899443444882888]
不等式事前条件勾配降下(SPSGD)に対する最悪のケース複雑性理論を開発する。
正規化は問題パラメータが未知の場合には$mathcalO(T-fracp-13p-2)$,$mathcalO(T-fracp-12p)$で1次定常点への収束を保証する。
対照的に、プリコンディショナーと勾配推定との統計的依存により、クリッピングが最悪の場合に収束しないことが証明される。
論文 参考訳(メタデータ) (2026-02-13T19:29:17Z) - Orthogonal Causal Calibration [55.28164682911196]
我々は、因果校正作業を標準(非因果予測モデル)の校正作業に還元する一般的なアルゴリズムを開発する。
以上の結果から,既存のキャリブレーションアルゴリズムを因果的設定に応用できることが示唆された。
論文 参考訳(メタデータ) (2024-06-04T03:35:25Z) - Minimum-Risk Recalibration of Classifiers [9.31067660373791]
平均二乗誤差分解の枠組みにおいて,最小リスク再校正の概念を導入する。
校正分類器の転送には,スクラッチから再校正するのに比べて,ターゲットサンプルが著しく少ないことが示されている。
論文 参考訳(メタデータ) (2023-05-18T11:27:02Z) - Minimax Instrumental Variable Regression and $L_2$ Convergence
Guarantees without Identification or Closedness [71.42652863687117]
インストゥルメンタル変数(IV)回帰の非パラメトリック推定について検討した。
固定IV解に収束できる新しいペナル化ミニマックス推定器を提案する。
ラックス条件下での推定値に対して強い$L$誤差率を導出する。
論文 参考訳(メタデータ) (2023-02-10T18:08:49Z) - A Consistent and Differentiable Lp Canonical Calibration Error Estimator [21.67616079217758]
ディープニューラルネットワークは校正が不十分で、自信過剰な予測を出力する傾向がある。
ディリクレ核密度推定に基づく低バイアス・トレーニング可能な校正誤差推定器を提案する。
提案手法はカーネルの自然な選択であり,他の量の一貫した推定値を生成するのに利用できる。
論文 参考訳(メタデータ) (2022-10-13T15:11:11Z) - Optimal policy evaluation using kernel-based temporal difference methods [78.83926562536791]
カーネルヒルベルト空間を用いて、無限水平割引マルコフ報酬過程の値関数を推定する。
我々は、関連するカーネル演算子の固有値に明示的に依存した誤差の非漸近上界を導出する。
MRP のサブクラスに対する minimax の下位境界を証明する。
論文 参考訳(メタデータ) (2021-09-24T14:48:20Z) - High-probability Bounds for Non-Convex Stochastic Optimization with
Heavy Tails [55.561406656549686]
我々は、勾配推定が末尾を持つ可能性のある一階アルゴリズムを用いたヒルベルト非最適化を考える。
本研究では, 勾配, 運動量, 正規化勾配勾配の収束を高確率臨界点に収束させることと, 円滑な損失に対する最もよく知られた繰り返しを示す。
論文 参考訳(メタデータ) (2021-06-28T00:17:01Z) - Calibration of Neural Networks using Splines [51.42640515410253]
キャリブレーション誤差の測定は、2つの経験的分布を比較します。
古典的コルモゴロフ・スミルノフ統計テスト(KS)にインスパイアされたビンニングフリーキャリブレーション尺度を導入する。
提案手法は,KS誤差に対する既存の手法と,他の一般的なキャリブレーション手法とを一貫して比較する。
論文 参考訳(メタデータ) (2020-06-23T07:18:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。