論文の概要: Scalable Utility-Aware Multiclass Calibration

• arxiv url: http://arxiv.org/abs/2510.25458v1
• Date: Wed, 29 Oct 2025 12:32:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-30 15:50:45.500299
• Title: Scalable Utility-Aware Multiclass Calibration
• Title（参考訳）: スケーラブルなユーティリティ対応マルチクラス校正
• Authors: Mahmoud Hegazy, Michael I. Jordan, Aymeric Dieuleveut,
• Abstract要約: ユーティリティキャリブレーション(英: Utility calibration)は、特定のユーティリティ関数に対するキャリブレーション誤差を測定する一般的なフレームワークである。 我々は、このフレームワークが既存のキャリブレーションメトリクスを統一し、再解釈する方法を実証する。
• 参考スコア（独自算出の注目度）: 53.28176049547449
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Ensuring that classifiers are well-calibrated, i.e., their predictions align with observed frequencies, is a minimal and fundamental requirement for classifiers to be viewed as trustworthy. Existing methods for assessing multiclass calibration often focus on specific aspects associated with prediction (e.g., top-class confidence, class-wise calibration) or utilize computationally challenging variational formulations. In this work, we study scalable \emph{evaluation} of multiclass calibration. To this end, we propose utility calibration, a general framework that measures the calibration error relative to a specific utility function that encapsulates the goals or decision criteria relevant to the end user. We demonstrate how this framework can unify and re-interpret several existing calibration metrics, particularly allowing for more robust versions of the top-class and class-wise calibration metrics, and, going beyond such binarized approaches, toward assessing calibration for richer classes of downstream utilities.
• Abstract（参考訳）: 分類器がよく校正されていること、すなわちその予測が観測周波数と一致していることを保証することは、分類器を信頼できるものとみなすための最小限の基本的な要件である。 既存のマルチクラスのキャリブレーション評価手法は、予測に関連する特定の側面(例えば、トップクラスの信頼性、クラスワイドキャリブレーション)に焦点を当てたり、計算的に困難な変分式を利用することが多い。 本研究では,マルチクラスキャリブレーションのスケーラブルな 'emph{evaluation} について検討する。 この目的のために我々は,エンドユーザに関連する目標や決定基準をカプセル化した,特定のユーティリティ関数に対するキャリブレーション誤差を測定する汎用フレームワークであるユーティリティキャリブレーションを提案する。 本稿では、このフレームワークが既存のキャリブレーション指標を統一・再解釈し、特に上位クラスのキャリブレーション指標とクラスワイドキャリブレーション指標のより堅牢なバージョンを可能にする方法を示し、下流ユーティリティのよりリッチなクラスのキャリブレーションを評価するための2項化アプローチを超えたアプローチを提案する。

関連論文リスト

• Adaptive Set-Mass Calibration with Conformal Prediction [60.47079469141295]
  提案手法は,まず共形予測から始まり,所望のカバレッジを与えるラベルの集合を得る。 次に、共形制約に合わせて、質量正規化と温度スケーリングに基づくルールの2つの簡単なポストホックキャリブレータをインスタンス化する。
  論文  参考訳（メタデータ） (2025-05-21T12:18:15Z)
• Rethinking Early Stopping: Refine, Then Calibrate [49.966899634962374]
  キャリブレーション・リファインメント分解の新規な変分定式化について述べる。 我々は,校正誤差と精錬誤差が訓練中に同時に最小化されないという理論的,実証的な証拠を提供する。
  論文  参考訳（メタデータ） (2025-01-31T15:03:54Z)
• Confidence Calibration of Classifiers with Many Classes [5.018156030818883]
  ニューラルネットワークに基づく分類モデルでは、最大クラス確率が信頼スコアとしてしばしば使用される。 このスコアは正しい予測を行う確率を十分に予測することは滅多になく、後処理のキャリブレーションステップを必要とする。
  論文  参考訳（メタデータ） (2024-11-05T10:51:01Z)
• Calibration by Distribution Matching: Trainable Kernel Calibration Metrics [56.629245030893685]
  カーネルベースのキャリブレーションメトリクスを導入し、分類と回帰の両方で一般的なキャリブレーションの形式を統一・一般化する。 これらの指標は、異なるサンプル推定を許容しており、キャリブレーションの目的を経験的リスク最小化に組み込むのが容易である。 決定タスクにキャリブレーションメトリクスを調整し、正確な損失推定を行ない、後悔しない決定を行うための直感的なメカニズムを提供する。
  論文  参考訳（メタデータ） (2023-10-31T06:19:40Z)
• What is Your Metric Telling You? Evaluating Classifier Calibration under Context-Specific Definitions of Reliability [6.510061176722249]
  我々は、キャリブレーション誤差を正確に測定する、より表現力のあるメトリクスを開発する必要があると論じる。 信頼性の異なる定義の下でキャリブレーション誤差を測定するために,期待誤差(ECE)の一般化を用いる。 1) 予測クラスのみに焦点をあてたECEの定義は,信頼性の実際的有用な定義の選択の下でキャリブレーション誤差を正確に測定することができず,2) 多くの一般的なキャリブレーション手法は,ECEメトリクス全体でキャリブレーション性能を均一に改善することができない。
  論文  参考訳（メタデータ） (2022-05-23T16:45:02Z)
• Estimating Expected Calibration Errors [1.52292571922932]
  確率論的予測の不確実性は、モデルが人間の意思決定をサポートするために使用される場合、重要な問題である。 ほとんどのモデルは本質的に十分に校正されていないため、決定スコアは後続確率と一致しない。 我々は、$ECE$推定器の品質を定量化するための実証的な手順を構築し、それを使用して、異なる設定で実際にどの推定器を使用するべきかを決定する。
  論文  参考訳（メタデータ） (2021-09-08T08:00:23Z)
• Localized Calibration: Metrics and Recalibration [133.07044916594361]
  完全大域キャリブレーションと完全個別化キャリブレーションのギャップにまたがる細粒度キャリブレーション指標を提案する。 次に,局所再校正法であるLoReを導入し,既存の校正法よりもLCEを改善する。
  論文  参考訳（メタデータ） (2021-02-22T07:22:12Z)
• Unsupervised Calibration under Covariate Shift [92.02278658443166]
  ドメインシフト下でのキャリブレーションの問題を導入し、それに対処するための重要サンプリングに基づくアプローチを提案する。 実世界のデータセットと合成データセットの両方において,本手法の有効性を評価し検討した。
  論文  参考訳（メタデータ） (2020-06-29T21:50:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。