論文の概要: Localized Calibration: Metrics and Recalibration

• arxiv url: http://arxiv.org/abs/2102.10809v1
• Date: Mon, 22 Feb 2021 07:22:12 GMT
• ステータス: 処理完了
• システム内更新日: 2021-02-23 14:50:06.910627
• Title: Localized Calibration: Metrics and Recalibration
• Title（参考訳）: 局所キャリブレーション:測定値と再キャリブレーション
• Authors: Rachel Luo, Aadyot Bhatnagar, Huan Wang, Caiming Xiong, Silvio Savarese, Yu Bai, Shengjia Zhao, Stefano Ermon
• Abstract要約: 完全大域キャリブレーションと完全個別化キャリブレーションのギャップにまたがる細粒度キャリブレーション指標を提案する。 次に,局所再校正法であるLoReを導入し,既存の校正法よりもLCEを改善する。
• 参考スコア（独自算出の注目度）: 133.07044916594361
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Probabilistic classifiers output confidence scores along with their predictions, and these confidence scores must be well-calibrated (i.e. reflect the true probability of an event) to be meaningful and useful for downstream tasks. However, existing metrics for measuring calibration are insufficient. Commonly used metrics such as the expected calibration error (ECE) only measure global trends, making them ineffective for measuring the calibration of a particular sample or subgroup. At the other end of the spectrum, a fully individualized calibration error is in general intractable to estimate from finite samples. In this work, we propose the local calibration error (LCE), a fine-grained calibration metric that spans the gap between fully global and fully individualized calibration. The LCE leverages learned features to automatically capture rich subgroups, and it measures the calibration error around each individual example via a similarity function. We then introduce a localized recalibration method, LoRe, that improves the LCE better than existing recalibration methods. Finally, we show that applying our recalibration method improves decision-making on downstream tasks.
• Abstract（参考訳）: 確率的分類器は、その予測と共に信頼スコアを出力し、これらの信頼スコアは十分に校正されなければならない。 イベントの本当の確率を反映する) 下流のタスクに意味があり有用である。 しかし、既存の校正測定基準では不十分である。 期待校正誤差(ECE)のような一般的に使用されるメトリクスは、グローバルな傾向のみを測定し、特定のサンプルまたはサブグループの校正を測定するために効果がありません。 スペクトルの反対側では、完全に個別化された校正誤差は一般に有限サンプルから推定することは困難である。 本研究では,完全大域キャリブレーションと完全個別化キャリブレーションのギャップにまたがる細粒度キャリブレーション法である局所キャリブレーション誤差(LCE)を提案する。 LCEは学習した特徴を活用して、リッチなサブグループを自動的にキャプチャし、類似関数を通じて個々のサンプルのキャリブレーション誤差を測定する。 次に,局所再校正法であるLoReを導入し,既存の校正法よりもLCEを改善する。 最後に,提案手法を適用することで,下流タスクの意思決定が向上することを示す。

関連論文リスト

• Orthogonal Causal Calibration [55.28164682911196]
  我々は、任意の損失$ell$に対して、任意の因果パラメータのキャリブレーション誤差$theta$の一般的な上限を証明した。 我々は、因果校正のための2つのサンプル分割アルゴリズムの収束解析に境界を用いる。
  論文  参考訳（メタデータ） (2024-06-04T03:35:25Z)
• FedCal: Achieving Local and Global Calibration in Federated Learning via Aggregated Parameterized Scaler [29.93307421620845]
  フェデレートラーニング(FedCal)は、クライアント固有のスケーラをローカルおよびグローバルキャリブレーションに使用する。 実験では、FedCalが最高性能のベースラインを大幅に上回り、グローバルキャリブレーションエラーを平均47.66%削減した。
  論文  参考訳（メタデータ） (2024-05-24T11:33:58Z)
• Optimizing Calibration by Gaining Aware of Prediction Correctness [30.619608580138802]
  クロスエントロピー(CE)損失はキャリブレータトレーニングに広く使われており、基底真理クラスに対する信頼を高めるためにモデルを強制する。 本稿では, キャリブレーションの目的から得られた, ポストホックキャリブレーションの新たなキャリブレーション手法を提案する。
  論文  参考訳（メタデータ） (2024-04-19T17:25:43Z)
• Calibration by Distribution Matching: Trainable Kernel Calibration Metrics [56.629245030893685]
  カーネルベースのキャリブレーションメトリクスを導入し、分類と回帰の両方で一般的なキャリブレーションの形式を統一・一般化する。 これらの指標は、異なるサンプル推定を許容しており、キャリブレーションの目的を経験的リスク最小化に組み込むのが容易である。 決定タスクにキャリブレーションメトリクスを調整し、正確な損失推定を行ない、後悔しない決定を行うための直感的なメカニズムを提供する。
  論文  参考訳（メタデータ） (2023-10-31T06:19:40Z)
• Revisiting Calibration for Question Answering [16.54743762235555]
  従来のキャリブレーション評価はモデル信頼性の有用性を反映していないと論じる。 モデルが誤った予測に低信頼を割り当て、正しい予測に高信頼を割り当てているかどうかをよりよく把握する新しい校正基準であるMacroCEを提案する。
  論文  参考訳（メタデータ） (2022-05-25T05:49:56Z)
• Hidden Heterogeneity: When to Choose Similarity-Based Calibration [12.788224825185633]
  ブラックボックスキャリブレーション法は、キャリブレーションが予測精度を向上させるサブポレーションを検出することができない。 隠れ不均一性(HH)の定量的尺度を提案する。 実験により, 類似度に基づくキャリブレーション法によって達成されたキャリブレーションの改善は, 現在あるHH量と相関し, 十分なキャリブレーションデータを得た場合, 大域的なキャリブレーション法で達成したキャリブレーションを概ね上回っていることがわかった。
  論文  参考訳（メタデータ） (2022-02-03T20:43:25Z)
• Uncertainty Quantification and Deep Ensembles [79.4957965474334]
  ディープアンサンブルが必ずしもキャリブレーション特性の改善につながるとは限らないことを示す。 そこで本研究では,混成正規化などの現代的な手法と併用して標準アンサンブル法を用いることで,キャリブレーションの少ないモデルが得られることを示す。 このテキストは、データが不足しているときにディープラーニングを活用するために、最も単純で一般的な3つのアプローチの相互作用を調べる。
  論文  参考訳（メタデータ） (2020-07-17T07:32:24Z)
• Unsupervised Calibration under Covariate Shift [92.02278658443166]
  ドメインシフト下でのキャリブレーションの問題を導入し、それに対処するための重要サンプリングに基づくアプローチを提案する。 実世界のデータセットと合成データセットの両方において,本手法の有効性を評価し検討した。
  論文  参考訳（メタデータ） (2020-06-29T21:50:07Z)
• Calibration of Neural Networks using Splines [51.42640515410253]
  キャリブレーション誤差の測定は、2つの経験的分布を比較します。 古典的コルモゴロフ・スミルノフ統計テスト(KS)にインスパイアされたビンニングフリーキャリブレーション尺度を導入する。 提案手法は,KS誤差に対する既存の手法と,他の一般的なキャリブレーション手法とを一貫して比較する。
  論文  参考訳（メタデータ） (2020-06-23T07:18:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。