論文の概要: Understanding Model Calibration -- A gentle introduction and visual exploration of calibration and the expected calibration error (ECE)

• arxiv url: http://arxiv.org/abs/2501.19047v3
• Date: Mon, 24 Mar 2025 14:38:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-25 14:33:02.711793
• Title: Understanding Model Calibration -- A gentle introduction and visual exploration of calibration and the expected calibration error (ECE)
• Title（参考訳）: モデルキャリブレーションの理解 -- キャリブレーションと期待キャリブレーション誤差(ECE)の緩やかな導入と視覚的探索
• Authors: Maja Pavlovic,
• Abstract要約: このブログ記事では、キャリブレーションの最もよく使われる定義を見ていきます。 次に、この尺度の欠点と、これらがどのようにキャリブレーションのさらなる概念の必要性を表面化したかを取り上げる。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: To be considered reliable, a model must be calibrated so that its confidence in each decision closely reflects its true outcome. In this blogpost we'll take a look at the most commonly used definition for calibration and then dive into a frequently used evaluation measure for model calibration. We'll then cover some of the drawbacks of this measure and how these surfaced the need for additional notions of calibration, which require their own new evaluation measures. This post is not intended to be an in-depth dissection of all works on calibration, nor does it focus on how to calibrate models. Instead, it is meant to provide a gentle introduction to the different notions and their evaluation measures as well as to re-highlight some issues with a measure that is still widely used to evaluate calibration.
• Abstract（参考訳）: 信頼されるためには、各決定に対する信頼が真の結果を密接に反映するように、モデルを校正する必要がある。 このブログ投稿では、最もよく使われているキャリブレーションの定義を見て、モデルキャリブレーションの頻繁な評価尺度に飛び込みます。 次に、この指標の欠点と、これらの指標が、新たな評価基準を必要とするキャリブレーションの概念の必要性をいかに表面化したかを取り上げる。 この記事は、キャリブレーションに関するすべての作業の詳細な解剖ではなく、モデルのキャリブレーションの方法にも焦点を当てている。 代わりに、異なる概念とその評価尺度の穏やかな紹介と、キャリブレーションの評価に広く使われている指標で問題を再燃させることを目的としている。

関連論文リスト

• Calibration through the Lens of Interpretability [3.9962751777898955]
  キャリブレーションは、分類精度の上に有用なラベルの確率推定が必要な場合、頻繁に呼び出される概念である。 本研究では,キャリブレーションの概念に関する公理的研究を開始する。 キャリブレーションされたモデルの望ましい特性とそれに対応する評価指標をカタログ化し,その実現可能性と対応性について分析する。
  論文  参考訳（メタデータ） (2024-12-01T19:28:16Z)
• Reassessing How to Compare and Improve the Calibration of Machine Learning Models [7.183341902583164]
  結果の予測確率がモデル予測に基づいてその結果の観測周波数と一致した場合、機械学習モデルを校正する。 キャリブレーションと予測の指標が追加の一般化の指標を伴わない限り、最先端のように見えるような簡単な再校正手法が存在することを示す。
  論文  参考訳（メタデータ） (2024-06-06T13:33:45Z)
• Towards Certification of Uncertainty Calibration under Adversarial Attacks [96.48317453951418]
  攻撃はキャリブレーションを著しく損なう可能性を示し, 対向的摂動下でのキャリブレーションにおける最悪のキャリブレーション境界として認定キャリブレーションを提案する。 我々は,新しいキャリブレーション攻撃を提案し,テクスタディバーショナルキャリブレーショントレーニングによりモデルキャリブレーションを改善する方法を示す。
  論文  参考訳（メタデータ） (2024-05-22T18:52:09Z)
• Calibration by Distribution Matching: Trainable Kernel Calibration Metrics [56.629245030893685]
  カーネルベースのキャリブレーションメトリクスを導入し、分類と回帰の両方で一般的なキャリブレーションの形式を統一・一般化する。 これらの指標は、異なるサンプル推定を許容しており、キャリブレーションの目的を経験的リスク最小化に組み込むのが容易である。 決定タスクにキャリブレーションメトリクスを調整し、正確な損失推定を行ない、後悔しない決定を行うための直感的なメカニズムを提供する。
  論文  参考訳（メタデータ） (2023-10-31T06:19:40Z)
• Calibration of Neural Networks [77.34726150561087]
  本稿では,ニューラルネットワークの文脈における信頼性校正問題について調査する。 我々は,問題文,キャリブレーション定義,評価に対する異なるアプローチについて分析する。 実験実験では、様々なデータセットとモデルをカバーし、異なる基準に従って校正方法を比較する。
  論文  参考訳（メタデータ） (2023-03-19T20:27:51Z)
• On Calibrating Semantic Segmentation Models: Analyses and An Algorithm [51.85289816613351]
  セマンティックセグメンテーションキャリブレーションの問題について検討する。 モデルキャパシティ、作物サイズ、マルチスケールテスト、予測精度はキャリブレーションに影響を及ぼす。 我々は、単純で統一的で効果的なアプローチ、すなわち選択的スケーリングを提案する。
  論文  参考訳（メタデータ） (2022-12-22T22:05:16Z)
• Revisiting Calibration for Question Answering [16.54743762235555]
  従来のキャリブレーション評価はモデル信頼性の有用性を反映していないと論じる。 モデルが誤った予測に低信頼を割り当て、正しい予測に高信頼を割り当てているかどうかをよりよく把握する新しい校正基準であるMacroCEを提案する。
  論文  参考訳（メタデータ） (2022-05-25T05:49:56Z)
• Estimating Expected Calibration Errors [1.52292571922932]
  確率論的予測の不確実性は、モデルが人間の意思決定をサポートするために使用される場合、重要な問題である。 ほとんどのモデルは本質的に十分に校正されていないため、決定スコアは後続確率と一致しない。 我々は、$ECE$推定器の品質を定量化するための実証的な手順を構築し、それを使用して、異なる設定で実際にどの推定器を使用するべきかを決定する。
  論文  参考訳（メタデータ） (2021-09-08T08:00:23Z)
• Localized Calibration: Metrics and Recalibration [133.07044916594361]
  完全大域キャリブレーションと完全個別化キャリブレーションのギャップにまたがる細粒度キャリブレーション指標を提案する。 次に,局所再校正法であるLoReを導入し,既存の校正法よりもLCEを改善する。
  論文  参考訳（メタデータ） (2021-02-22T07:22:12Z)
• Unsupervised Calibration under Covariate Shift [92.02278658443166]
  ドメインシフト下でのキャリブレーションの問題を導入し、それに対処するための重要サンプリングに基づくアプローチを提案する。 実世界のデータセットと合成データセットの両方において,本手法の有効性を評価し検討した。
  論文  参考訳（メタデータ） (2020-06-29T21:50:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。