論文の概要: Calibration through the Lens of Interpretability

• arxiv url: http://arxiv.org/abs/2412.00943v1
• Date: Sun, 01 Dec 2024 19:28:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-04 15:43:33.959017
• Title: Calibration through the Lens of Interpretability
• Title（参考訳）: 解釈可能性レンズによる校正
• Authors: Alireza Torabian, Ruth Urner,
• Abstract要約: キャリブレーションは、分類精度の上に有用なラベルの確率推定が必要な場合、頻繁に呼び出される概念である。 本研究では,キャリブレーションの概念に関する公理的研究を開始する。 キャリブレーションされたモデルの望ましい特性とそれに対応する評価指標をカタログ化し,その実現可能性と対応性について分析する。
• 参考スコア（独自算出の注目度）: 3.9962751777898955
• License:
• Abstract: Calibration is a frequently invoked concept when useful label probability estimates are required on top of classification accuracy. A calibrated model is a function whose values correctly reflect underlying label probabilities. Calibration in itself however does not imply classification accuracy, nor human interpretable estimates, nor is it straightforward to verify calibration from finite data. There is a plethora of evaluation metrics (and loss functions) that each assess a specific aspect of a calibration model. In this work, we initiate an axiomatic study of the notion of calibration. We catalogue desirable properties of calibrated models as well as corresponding evaluation metrics and analyze their feasibility and correspondences. We complement this analysis with an empirical evaluation, comparing common calibration methods to employing a simple, interpretable decision tree.
• Abstract（参考訳）: キャリブレーション (Calibration) は、分類精度の上に有用なラベルの確率推定が必要な場合、頻繁に呼び出される概念である。 キャリブレーションモデル(英: calibrated model)は、基礎となるラベル確率を正しく反映する関数である。 しかし、キャリブレーションそれ自体は分類精度や人間の解釈可能な推定を含まないし、有限データからキャリブレーションを検証することも容易ではない。 キャリブレーションモデルの特定の側面を評価する評価指標(と損失関数)が多数存在する。 本研究では,キャリブレーションの概念に関する公理的研究を開始する。 キャリブレーションされたモデルの望ましい特性とそれに対応する評価指標をカタログ化し,その実現可能性と対応性について分析する。 この分析を経験的評価で補完し、一般的なキャリブレーション法と簡単な解釈可能な決定木を用いて比較する。

関連論文リスト

• Understanding Model Calibration -- A gentle introduction and visual exploration of calibration and the expected calibration error (ECE) [0.0]
  このブログ記事では、キャリブレーションの最もよく使われる定義を見ていきます。 次に、この尺度の欠点と、これらがどのようにキャリブレーションのさらなる概念の必要性を表面化したかを取り上げる。
  論文  参考訳（メタデータ） (2025-01-31T11:18:45Z)
• Consistent and Asymptotically Unbiased Estimation of Proper Calibration Errors [23.819464242327257]
  本稿では,全ての適切な校正誤差と精錬項を一貫した推定を可能にする手法を提案する。 ニューラルネットワークにおける情報単調性を意味するf-分節と精製の関係を実証する。 本実験は,提案した推定器のクレーム特性を検証し,特に関心のキャリブレーション誤差によって,ポストホックキャリブレーション法の選択が決定されるべきであることを示唆した。
  論文  参考訳（メタデータ） (2023-12-14T01:20:08Z)
• Calibration by Distribution Matching: Trainable Kernel Calibration Metrics [56.629245030893685]
  カーネルベースのキャリブレーションメトリクスを導入し、分類と回帰の両方で一般的なキャリブレーションの形式を統一・一般化する。 これらの指標は、異なるサンプル推定を許容しており、キャリブレーションの目的を経験的リスク最小化に組み込むのが容易である。 決定タスクにキャリブレーションメトリクスを調整し、正確な損失推定を行ない、後悔しない決定を行うための直感的なメカニズムを提供する。
  論文  参考訳（メタデータ） (2023-10-31T06:19:40Z)
• Calibration of Neural Networks [77.34726150561087]
  本稿では,ニューラルネットワークの文脈における信頼性校正問題について調査する。 我々は,問題文,キャリブレーション定義,評価に対する異なるアプローチについて分析する。 実験実験では、様々なデータセットとモデルをカバーし、異なる基準に従って校正方法を比較する。
  論文  参考訳（メタデータ） (2023-03-19T20:27:51Z)
• Better Uncertainty Calibration via Proper Scores for Classification and Beyond [15.981380319863527]
  各校正誤差を適切なスコアに関連付ける適切な校正誤差の枠組みを導入する。 この関係は、モデルのキャリブレーションの改善を確実に定量化するために利用することができる。
  論文  参考訳（メタデータ） (2022-03-15T12:46:08Z)
• T-Cal: An optimal test for the calibration of predictive models [49.11538724574202]
  有限検証データセットを用いた予測モデルの誤校正を仮説検証問題として検討する。 誤校正の検出は、クラスの条件付き確率が予測の十分滑らかな関数である場合にのみ可能である。 我々は、$ell$-Expected Error(ECE)のデバイアスドプラグイン推定器に基づくキャリブレーションのためのミニマックステストであるT-Calを提案する。
  論文  参考訳（メタデータ） (2022-03-03T16:58:54Z)
• Estimating Expected Calibration Errors [1.52292571922932]
  確率論的予測の不確実性は、モデルが人間の意思決定をサポートするために使用される場合、重要な問題である。 ほとんどのモデルは本質的に十分に校正されていないため、決定スコアは後続確率と一致しない。 我々は、$ECE$推定器の品質を定量化するための実証的な手順を構築し、それを使用して、異なる設定で実際にどの推定器を使用するべきかを決定する。
  論文  参考訳（メタデータ） (2021-09-08T08:00:23Z)
• Localized Calibration: Metrics and Recalibration [133.07044916594361]
  完全大域キャリブレーションと完全個別化キャリブレーションのギャップにまたがる細粒度キャリブレーション指標を提案する。 次に,局所再校正法であるLoReを導入し,既存の校正法よりもLCEを改善する。
  論文  参考訳（メタデータ） (2021-02-22T07:22:12Z)
• Unsupervised Calibration under Covariate Shift [92.02278658443166]
  ドメインシフト下でのキャリブレーションの問題を導入し、それに対処するための重要サンプリングに基づくアプローチを提案する。 実世界のデータセットと合成データセットの両方において,本手法の有効性を評価し検討した。
  論文  参考訳（メタデータ） (2020-06-29T21:50:07Z)
• Calibration of Neural Networks using Splines [51.42640515410253]
  キャリブレーション誤差の測定は、2つの経験的分布を比較します。 古典的コルモゴロフ・スミルノフ統計テスト(KS)にインスパイアされたビンニングフリーキャリブレーション尺度を導入する。 提案手法は,KS誤差に対する既存の手法と,他の一般的なキャリブレーション手法とを一貫して比較する。
  論文  参考訳（メタデータ） (2020-06-23T07:18:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。