論文の概要: Quantile Adaptive Temperature Scaling for Confidence Calibration
- arxiv url: http://arxiv.org/abs/2606.21749v1
- Date: Fri, 19 Jun 2026 21:06:11 GMT
- ステータス: 情報取得中
- システム内更新日: 2026-06-23 15:01:30.485327
- Title: Quantile Adaptive Temperature Scaling for Confidence Calibration
- Title(参考訳): 信頼性校正のための量子適応型温度スケーリング
- Authors: Omprakash Chakraborty, Leo Fillioux, Ismail Ben Ayed, Jose Dolz,
- Abstract要約: 簡易かつ効率的なポストホックキャリブレーション法であるQuantile Adaptive Temperature Scaling (QaTS)を導入する。
QaTSは校正問題を正規化し、誤校正の構造を明確にし、単調温度関数を可能にする。
モデル予測を変更することなく、信頼性と信頼性の高い信頼度を見積もる。
- 参考スコア(独自算出の注目度): 32.74737063872657
- License:
- Abstract: Deep neural networks often produce poorly calibrated confidence estimates, overstating their certainty even when predictions are incorrect. Temperature Scaling remains the most widely used posthoc calibration method due to its simplicity and effectiveness, yet its global, uniform rescaling of logits fails to correct the highly heterogeneous structure of miscalibration observed across the confidence spectrum. In particular, the largest correctness confidence discrepancies arise in different quantile regions depending on the setting, low confidence predictions, where uncertainty matters most, tend to exhibit the largest correctness confidence discrepancies, which standard TS leaves largely unaddressed. We introduce Quantile Adaptive Temperature Scaling (QaTS), a simple and efficient post hoc calibration method that adapts the temperature as a function of a predictions empirical confidence quantile. By mapping confidences into the quantile space, QaTS normalizes the calibration problem, makes the structure of miscalibration explicit and enables a monotone temperature function that adapts across quantiles while leaving well calibrated high confidence predictions largely unchanged. preserving high confidence behavior. This quantile aware formulation aligns naturally with a reparameterized Expected Calibration Error (ECE) objective and yields a sample wise temperature that is robust across a variety of challenging scenarios, such as class imbalance and distributional shifts. Across a broad range of datasets, architectures, evaluation scenarios and diverse tasks, QaTS consistently, and substantially, outperforms state of the art post hoc calibration methods, delivering more reliable and trustworthy confidence estimates without modifying model predictions.
- Abstract(参考訳): ディープニューラルネットワークは、予測が正しくない場合でも、信頼度を過大評価し、キャリブレーションの低い信頼度を推定する。
温度スケーリングは、その単純さと有効性のために最も広く使われているポストホックキャリブレーション法であるが、そのグローバルで均一なロジットの再スケーリングは、信頼スペクトル全体で観察される非常に異質な誤校正構造を補正することができない。
特に、不確実性が最多であるような低い信頼予測は、標準TSが残した最大の正当性信頼の相違を示す傾向にある。
本研究では, 簡易かつ効率的なポストホックキャリブレーション法であるQuantile Adaptive Temperature Scaling (QaTS)を導入する。
信頼度を量子空間にマッピングすることにより、QaTSはキャリブレーション問題を正規化し、誤校正の構造を明確にし、よく校正された高信頼予測を残しながら量子空間に適応する単調温度関数を可能にする。
高信頼の行動を維持すること。
この量的認識の定式化は、自然に再パラメータ化された期待校正誤差(ECE)の目標と一致し、クラス不均衡や分布シフトのような様々な困難なシナリオで頑健なサンプルの賢明な温度が得られる。
幅広いデータセット、アーキテクチャ、評価シナリオ、さまざまなタスクにおいて、QaTSは一貫して、最先端のポストホックキャリブレーションメソッドよりも優れており、モデル予測を変更することなく、信頼性が高く信頼性の高い信頼性評価を提供する。
関連論文リスト
- Expectation Consistency Loss: Rethink Confidence Calibration under Covariate Shift [7.333172294727063]
一般的な信頼性校正法は、トレーニングとテストデータは独立で、同一に分散されていると仮定する。
本稿では、対象領域の信頼性を校正するために、教師なし領域適応損失を提案する。
予測誤差 (ECE) と同一のサンプル量を持つECL損失を計算し, ECL損失に対する理論的根拠付きミニバッチトレーニング可能なスキームを提供する。
論文 参考訳(メタデータ) (2026-05-20T11:45:39Z) - Improving Semantic Uncertainty Quantification in Language Model Question-Answering via Token-Level Temperature Scaling [55.29156356409814]
現状のアプローチ,特に温度の固定化は,系統的に誤校正され,識別性に欠けるセマンティックな信頼性分布を生じさせることを示す。
一つの温度を最適化することは、適切な帰納バイアスをもたらすと我々は主張するが、驚くほど単純だが効果的な解であることを示した。
論文 参考訳(メタデータ) (2026-04-08T15:00:32Z) - On Calibration of Large Language Models: From Response To Capability [66.59139960234326]
大規模言語モデル(LLM)は汎用的な問題解決手段として広くデプロイされている。
本稿では,クエリ上でモデルが期待する精度を目標とするキャリブレーションを提案する。
我々の結果は、キャパシティ校正された信頼度がpass@$k$予測と推論予算割り当てを改善することを示している。
論文 参考訳(メタデータ) (2026-02-14T01:07:45Z) - Calibrating Language Models with Adaptive Temperature Scaling [58.056023173579625]
本稿では,各トークンの温度スケーリングパラメータを予測するポストホックキャリブレーション法であるAdaptive Temperature Scaling (ATS)を紹介する。
ATSは、以前のキャリブレーション法と比較して、3つの下流自然言語評価ベンチマークで10-50%以上のキャリブレーションを改善する。
論文 参考訳(メタデータ) (2024-09-29T22:54:31Z) - A Confidence Interval for the $\ell_2$ Expected Calibration Error [35.88784957918326]
我々は信頼区間を$ell$ expected the Error (ECE) で開発する。
信頼性キャリブレーションの一般的な概念とキャリブレーションの両方を含む,トップ1からk$のキャリブレーションを考える。
ECEのデバイアスド推定器では、正規性を示すが、校正モデルとミスドモデルに対する収束率と分散は異なる。
論文 参考訳(メタデータ) (2024-08-16T20:00:08Z) - Does confidence calibration improve conformal prediction? [10.340903334800787]
適応型共形予測において、電流信頼度校正法がより大きな予測セットをもたらすことを示す。
温度値の役割を調べることにより,高信頼度予測が適応型等角予測の効率を高めることが確認された。
本稿では,予測セットの効率を向上させるために,新しい損失関数を備えた温度スケーリングの変種である Conformal Temperature Scaling (ConfTS) を提案する。
論文 参考訳(メタデータ) (2024-02-06T19:27:48Z) - Calibration of Neural Networks [77.34726150561087]
本稿では,ニューラルネットワークの文脈における信頼性校正問題について調査する。
我々は,問題文,キャリブレーション定義,評価に対する異なるアプローチについて分析する。
実験実験では、様々なデータセットとモデルをカバーし、異なる基準に従って校正方法を比較する。
論文 参考訳(メタデータ) (2023-03-19T20:27:51Z) - Sample-dependent Adaptive Temperature Scaling for Improved Calibration [95.7477042886242]
ニューラルネットワークの誤りを補うポストホックアプローチは、温度スケーリングを実行することだ。
入力毎に異なる温度値を予測し、信頼度と精度のミスマッチを調整することを提案する。
CIFAR10/100およびTiny-ImageNetデータセットを用いて,ResNet50およびWideResNet28-10アーキテクチャ上で本手法をテストする。
論文 参考訳(メタデータ) (2022-07-13T14:13:49Z) - Parameterized Temperature Scaling for Boosting the Expressive Power in
Post-Hoc Uncertainty Calibration [57.568461777747515]
我々は新しいキャリブレーション手法であるパラメタライズド温度スケーリング(PTS)を導入する。
最新のポストホックキャリブレータの精度保持性能は、その本質的な表現力によって制限されることを実証します。
当社の新しい精度保存手法が,多数のモデルアーキテクチャやデータセット,メトリクスにおいて,既存のアルゴリズムを一貫して上回っていることを示す。
論文 参考訳(メタデータ) (2021-02-24T10:18:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。