論文の概要: JUCAL: Jointly Calibrating Aleatoric and Epistemic Uncertainty in Classification Tasks

• arxiv url: http://arxiv.org/abs/2602.20153v1
• Date: Mon, 23 Feb 2026 18:59:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-24 17:42:02.966311
• Title: JUCAL: Jointly Calibrating Aleatoric and Epistemic Uncertainty in Classification Tasks
• Title（参考訳）: JUCAL: 分類作業における失語症とてんかんの不確かさの連立校正
• Authors: Jakob Heiss, Sören Lambrecht, Jakob Weissteiner, Hanna Wutte, Žan Žurič, Josef Teichmann, Bin Yu,
• Abstract要約: Joint Uncertainty (JUCAL) は、分類においてアンサンブルを校正する強力なアルゴリズムである。 JUCALを様々なテキスト分類タスク、異なる大きさのアンサンブル、異なるアンサンブル戦略で実験的に評価した。 JUCALをサイズ5のアンサンブルに適用しても、NLLと予測セットサイズで、温度スケールのアンサンブルを最大50まで上回ることができる。
• 参考スコア（独自算出の注目度）: 8.398033174650806
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We study post-calibration uncertainty for trained ensembles of classifiers. Specifically, we consider both aleatoric (label noise) and epistemic (model) uncertainty. Among the most popular and widely used calibration methods in classification are temperature scaling (i.e., pool-then-calibrate) and conformal methods. However, the main shortcoming of these calibration methods is that they do not balance the proportion of aleatoric and epistemic uncertainty. Not balancing these uncertainties can severely misrepresent predictive uncertainty, leading to overconfident predictions in some input regions while being underconfident in others. To address this shortcoming, we present a simple but powerful calibration algorithm Joint Uncertainty Calibration (JUCAL) that jointly calibrates aleatoric and epistemic uncertainty. JUCAL jointly calibrates two constants to weight and scale epistemic and aleatoric uncertainties by optimizing the negative log-likelihood (NLL) on the validation/calibration dataset. JUCAL can be applied to any trained ensemble of classifiers (e.g., transformers, CNNs, or tree-based methods), with minimal computational overhead, without requiring access to the models' internal parameters. We experimentally evaluate JUCAL on various text classification tasks, for ensembles of varying sizes and with different ensembling strategies. Our experiments show that JUCAL significantly outperforms SOTA calibration methods across all considered classification tasks, reducing NLL and predictive set size by up to 15% and 20%, respectively. Interestingly, even applying JUCAL to an ensemble of size 5 can outperform temperature-scaled ensembles of size up to 50 in terms of NLL and predictive set size, resulting in up to 10 times smaller inference costs. Thus, we propose JUCAL as a new go-to method for calibrating ensembles in classification.
• Abstract（参考訳）: 分類器の訓練アンサンブルに対する校正後の不確実性について検討する。 具体的には、アレータリック(ラベルノイズ)とてんかん(モデル)の不確実性について考察する。 分類において最も一般的で広く使われているキャリブレーション法には、温度スケーリング(プール-then-calibrate)とコンフォメーション法がある。 しかし, これらのキャリブレーション法の主な欠点は, 動脈硬化とてんかんの不確かさのバランスが取れないことである。 これらの不確実性のバランスが取れないことは、予測の不確実性を著しく誤解し、いくつかの入力領域で過信な予測をし、他の領域では過信である。 この欠点に対処するために, 単純だが強力な校正アルゴリズムであるJoint Uncertainty Calibration (JUCAL) を提案する。 JUCALは、検証/校正データセット上の負の対数類似度(NLL)を最適化することにより、重み付けと拡張の2つの定数を共同で校正する。 JUCALは、モデルの内部パラメータへのアクセスを必要とせずに、最小限の計算オーバーヘッドで、任意の訓練された分類器(例えば、トランスフォーマー、CNN、ツリーベースのメソッド)に適用できる。 JUCALを様々なテキスト分類タスク、異なる大きさのアンサンブル、異なるアンサンブル戦略で実験的に評価した。 実験の結果, JUCAL は分類課題のすべてにおいて SOTA 校正法を著しく上回り, NLL と予測セットサイズを 15% と 20% に削減した。 興味深いことに、JUCALをサイズ5のアンサンブルに適用しても、NLLと予測セットサイズにおいて、温度スケールのアンサンブルを最大50まで上回り、最大10倍の推論コストがかかる。 そこで本稿では,分類におけるアンサンブルの校正のための新しいゴート手法として,JUCALを提案する。

関連論文リスト

• Classifier Calibration at Scale: An Empirical Study of Model-Agnostic Post-Hoc Methods [0.0]
  教師付き二項分類における確率的予測を改善するためのモデル非依存のポストホック校正法について検討した。 我々は、線形モデル、SVM、ツリーアンサンブル(CatBoost、XGBoost、LightGBM)を含む21の広く使われている分類器をベンチマークした。 一般的な校正手順,特にプラットスケーリングと等調回帰は,適切なスコアリング性能を体系的に低下させる可能性がある。
  論文  参考訳（メタデータ） (2026-01-19T18:23:36Z)
• Rethinking Early Stopping: Refine, Then Calibrate [49.966899634962374]
  キャリブレーション・リファインメント分解の新規な変分定式化について述べる。 我々は,校正誤差と精錬誤差が訓練中に同時に最小化されないという理論的,実証的な証拠を提供する。
  論文  参考訳（メタデータ） (2025-01-31T15:03:54Z)
• ForeCal: Random Forest-based Calibration for DNNs [0.0]
  我々はランダム森林に基づく新しいポストホックキャリブレーションアルゴリズムであるForeCalを提案する。 ForeCalはランダム森林の2つのユニークな特性を生かしている。 ForeCal は,AUC が測定した基準の識別力に最小限の影響を与え,予測誤差(ECE) で既存手法より優れることを示す。
  論文  参考訳（メタデータ） (2024-09-04T04:56:41Z)
• Calibration by Distribution Matching: Trainable Kernel Calibration Metrics [56.629245030893685]
  カーネルベースのキャリブレーションメトリクスを導入し、分類と回帰の両方で一般的なキャリブレーションの形式を統一・一般化する。 これらの指標は、異なるサンプル推定を許容しており、キャリブレーションの目的を経験的リスク最小化に組み込むのが容易である。 決定タスクにキャリブレーションメトリクスを調整し、正確な損失推定を行ない、後悔しない決定を行うための直感的なメカニズムを提供する。
  論文  参考訳（メタデータ） (2023-10-31T06:19:40Z)
• On Calibrating Semantic Segmentation Models: Analyses and An Algorithm [51.85289816613351]
  セマンティックセグメンテーションキャリブレーションの問題について検討する。 モデルキャパシティ、作物サイズ、マルチスケールテスト、予測精度はキャリブレーションに影響を及ぼす。 我々は、単純で統一的で効果的なアプローチ、すなわち選択的スケーリングを提案する。
  論文  参考訳（メタデータ） (2022-12-22T22:05:16Z)
• Hidden Heterogeneity: When to Choose Similarity-Based Calibration [12.788224825185633]
  ブラックボックスキャリブレーション法は、キャリブレーションが予測精度を向上させるサブポレーションを検出することができない。 隠れ不均一性(HH)の定量的尺度を提案する。 実験により, 類似度に基づくキャリブレーション法によって達成されたキャリブレーションの改善は, 現在あるHH量と相関し, 十分なキャリブレーションデータを得た場合, 大域的なキャリブレーション法で達成したキャリブレーションを概ね上回っていることがわかった。
  論文  参考訳（メタデータ） (2022-02-03T20:43:25Z)
• Unsupervised Calibration under Covariate Shift [92.02278658443166]
  ドメインシフト下でのキャリブレーションの問題を導入し、それに対処するための重要サンプリングに基づくアプローチを提案する。 実世界のデータセットと合成データセットの両方において,本手法の有効性を評価し検討した。
  論文  参考訳（メタデータ） (2020-06-29T21:50:07Z)
• Mix-n-Match: Ensemble and Compositional Methods for Uncertainty Calibration in Deep Learning [21.08664370117846]
  我々は,Mix-n-Matchキャリブレーション戦略が,データ効率と表現力を大幅に向上することを示す。 標準評価プラクティスの潜在的な問題も明らかにします。 我々の手法はキャリブレーションと評価タスクの両方において最先端のソリューションより優れている。
  論文  参考訳（メタデータ） (2020-03-16T17:00:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。