論文の概要: T-Cal: An optimal test for the calibration of predictive models

• arxiv url: http://arxiv.org/abs/2203.01850v4
• Date: Tue, 5 Dec 2023 23:28:57 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-07 19:46:28.602336
• Title: T-Cal: An optimal test for the calibration of predictive models
• Title（参考訳）: T-Cal:予測モデルの校正のための最適試験
• Authors: Donghwan Lee, Xinmeng Huang, Hamed Hassani, Edgar Dobriban
• Abstract要約: 有限検証データセットを用いた予測モデルの誤校正を仮説検証問題として検討する。 誤校正の検出は、クラスの条件付き確率が予測の十分滑らかな関数である場合にのみ可能である。 我々は、$ell$-Expected Error(ECE)のデバイアスドプラグイン推定器に基づくキャリブレーションのためのミニマックステストであるT-Calを提案する。
• 参考スコア（独自算出の注目度）: 49.11538724574202
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The prediction accuracy of machine learning methods is steadily increasing, but the calibration of their uncertainty predictions poses a significant challenge. Numerous works focus on obtaining well-calibrated predictive models, but less is known about reliably assessing model calibration. This limits our ability to know when algorithms for improving calibration have a real effect, and when their improvements are merely artifacts due to random noise in finite datasets. In this work, we consider detecting mis-calibration of predictive models using a finite validation dataset as a hypothesis testing problem. The null hypothesis is that the predictive model is calibrated, while the alternative hypothesis is that the deviation from calibration is sufficiently large. We find that detecting mis-calibration is only possible when the conditional probabilities of the classes are sufficiently smooth functions of the predictions. When the conditional class probabilities are H\"older continuous, we propose T-Cal, a minimax optimal test for calibration based on a debiased plug-in estimator of the $\ell_2$-Expected Calibration Error (ECE). We further propose Adaptive T-Cal, a version that is adaptive to unknown smoothness. We verify our theoretical findings with a broad range of experiments, including with several popular deep neural net architectures and several standard post-hoc calibration methods. T-Cal is a practical general-purpose tool, which -- combined with classical tests for discrete-valued predictors -- can be used to test the calibration of virtually any probabilistic classification method.
• Abstract（参考訳）: 機械学習手法の予測精度は着実に向上しているが、不確実性予測の校正は大きな課題となっている。 多くの研究は十分に調整された予測モデルを得ることに集中しているが、モデルのキャリブレーションの信頼性についてはあまり知られていない。 これにより、キャリブレーションを改善するアルゴリズムが実効性を持つ場合や、有限データセットのランダムノイズによる単なるアーティファクトである場合の能力が制限される。 本研究では,仮説検証問題として有限検証データセットを用いて予測モデルの誤校正を検出することを検討する。 ヌル仮説は予測モデルがキャリブレーションされ、別の仮説はキャリブレーションからの偏差が十分に大きいというものである。 クラスの状態確率が予測の十分滑らかな関数である場合にのみ誤校正を検出することができる。 条件付きクラス確率が H より古い連続性である場合、$\ell_2$-Expected Calibration Error (ECE) のデバイアスド・プラグイン推定器に基づくキャリブレーションの最小値検定である T-Cal を提案する。 さらに、未知の滑らかさに適応するAdaptive T-Calを提案する。 我々は、一般的なディープニューラルネットアーキテクチャと標準のポストホックキャリブレーション法を含む幅広い実験によって、理論的な知見を検証する。 T-Calは、離散値予測器の古典的なテストと組み合わせて、事実上の確率的分類法の校正をテストするための実用的な汎用ツールである。

関連論文リスト

• Optimizing Calibration by Gaining Aware of Prediction Correctness [30.619608580138802]
  クロスエントロピー(CE)損失はキャリブレータトレーニングに広く使われており、基底真理クラスに対する信頼を高めるためにモデルを強制する。 本稿では, キャリブレーションの目的から得られた, ポストホックキャリブレーションの新たなキャリブレーション手法を提案する。
  論文  参考訳（メタデータ） (2024-04-19T17:25:43Z)
• Calibrated Uncertainty Quantification for Operator Learning via Conformal Prediction [95.75771195913046]
  本稿では, リスク制御型量子ニューラル演算子, 分布のない有限サンプル機能キャリブレーション等式予測法を提案する。 関数領域上の点の期待値として定義されるカバレッジ率に関する理論的キャリブレーションを保証する。 2次元ダーシー流と3次元自動車表面圧力予測タスクに関する実験結果から,我々の理論的結果が検証された。
  論文  参考訳（メタデータ） (2024-02-02T23:43:28Z)
• Sharp Calibrated Gaussian Processes [58.94710279601622]
  キャリブレーションされたモデルを設計するための最先端のアプローチは、ガウス過程の後方分散を膨らませることに依存している。 本稿では,バニラガウス過程の後方分散にインスパイアされた計算を用いて,予測量子化を生成するキャリブレーション手法を提案する。 我々のアプローチは合理的な仮定の下で校正されたモデルが得られることを示す。
  論文  参考訳（メタデータ） (2023-02-23T12:17:36Z)
• On Calibrating Semantic Segmentation Models: Analyses and An Algorithm [51.85289816613351]
  セマンティックセグメンテーションキャリブレーションの問題について検討する。 モデルキャパシティ、作物サイズ、マルチスケールテスト、予測精度はキャリブレーションに影響を及ぼす。 我々は、単純で統一的で効果的なアプローチ、すなわち選択的スケーリングを提案する。
  論文  参考訳（メタデータ） (2022-12-22T22:05:16Z)
• A Consistent and Differentiable Lp Canonical Calibration Error Estimator [21.67616079217758]
  ディープニューラルネットワークは校正が不十分で、自信過剰な予測を出力する傾向がある。 ディリクレ核密度推定に基づく低バイアス・トレーニング可能な校正誤差推定器を提案する。 提案手法はカーネルの自然な選択であり,他の量の一貫した推定値を生成するのに利用できる。
  論文  参考訳（メタデータ） (2022-10-13T15:11:11Z)
• Calibrated Selective Classification [34.08454890436067]
  そこで我々は,「不確か」な不確実性のある例を拒否する手法を提案する。 本稿では,選択的校正モデル学習のためのフレームワークを提案する。そこでは,任意のベースモデルの選択的校正誤差を改善するために,個別のセレクタネットワークを訓練する。 われわれは,複数画像分類と肺癌リスク評価におけるアプローチの実証的効果を実証した。
  論文  参考訳（メタデータ） (2022-08-25T13:31:09Z)
• Modular Conformal Calibration [80.33410096908872]
  回帰における再校正のためのアルゴリズムを多種多様なクラスで導入する。 このフレームワークは、任意の回帰モデルをキャリブレーションされた確率モデルに変換することを可能にする。 我々は17の回帰データセットに対するMCCの実証的研究を行った。
  論文  参考訳（メタデータ） (2022-06-23T03:25:23Z)
• Posterior Probability Matters: Doubly-Adaptive Calibration for Neural Predictions in Online Advertising [29.80454356173723]
  フィールドレベルのキャリブレーションはきめ細やかで実用的だ。 AdaCalibは、モデル予測をキャリブレーションするためにイソトニック関数ファミリーを学ぶ。 実験では、AdaCalibが校正性能を大幅に改善することを確認した。
  論文  参考訳（メタデータ） (2022-05-15T14:27:19Z)
• Unsupervised Calibration under Covariate Shift [92.02278658443166]
  ドメインシフト下でのキャリブレーションの問題を導入し、それに対処するための重要サンプリングに基づくアプローチを提案する。 実世界のデータセットと合成データセットの両方において,本手法の有効性を評価し検討した。
  論文  参考訳（メタデータ） (2020-06-29T21:50:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。