論文の概要: Better Uncertainty Calibration via Proper Scores for Classification and Beyond

• arxiv url: http://arxiv.org/abs/2203.07835v4
• Date: Tue, 12 Mar 2024 20:48:50 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-14 19:26:26.958076
• Title: Better Uncertainty Calibration via Proper Scores for Classification and Beyond
• Title（参考訳）: 分類・分類のための適切なスコアによる不確かさの校正 周辺
• Authors: Sebastian G. Gruber and Florian Buettner
• Abstract要約: 各校正誤差を適切なスコアに関連付ける適切な校正誤差の枠組みを導入する。 この関係は、モデルのキャリブレーションの改善を確実に定量化するために利用することができる。
• 参考スコア（独自算出の注目度）: 15.981380319863527
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: With model trustworthiness being crucial for sensitive real-world applications, practitioners are putting more and more focus on improving the uncertainty calibration of deep neural networks. Calibration errors are designed to quantify the reliability of probabilistic predictions but their estimators are usually biased and inconsistent. In this work, we introduce the framework of proper calibration errors, which relates every calibration error to a proper score and provides a respective upper bound with optimal estimation properties. This relationship can be used to reliably quantify the model calibration improvement. We theoretically and empirically demonstrate the shortcomings of commonly used estimators compared to our approach. Due to the wide applicability of proper scores, this gives a natural extension of recalibration beyond classification.
• Abstract（参考訳）: モデル信頼性は、センシティブな現実世界のアプリケーションに不可欠であるため、ディープニューラルネットワークの不確実性校正の改善にますます注力している。 校正誤差は確率的予測の信頼性を定量化するために設計されているが、その推定値は通常バイアスがあり一貫性がない。 本研究では,各キャリブレーション誤差を適切なスコアに関連付け,各上限値に最適な推定特性を与える,適切なキャリブレーション誤差の枠組みを提案する。 この関係は、モデルのキャリブレーションの改善を確実に定量化するために利用することができる。 提案手法と比較して, 一般的な推定器の欠点を理論的, 実証的に実証した。 適切なスコアの広範な適用性のため、これは分類を超えた自然な再校正の延長を与える。

関連論文リスト

• Optimizing Estimators of Squared Calibration Errors in Classification [2.3020018305241337]
  本稿では,2乗キャリブレーション誤差の推定器の比較と最適化を可能にする平均二乗誤差に基づくリスクを提案する。 キャリブレーション誤差を推定する際のトレーニングバリデーションテストパイプラインを提案する。
  論文  参考訳（メタデータ） (2024-10-09T15:58:06Z)
• Towards Certification of Uncertainty Calibration under Adversarial Attacks [96.48317453951418]
  攻撃はキャリブレーションを著しく損なう可能性を示し, 対向的摂動下でのキャリブレーションにおける最悪のキャリブレーション境界として認定キャリブレーションを提案する。 我々は,新しいキャリブレーション攻撃を提案し,テクスタディバーショナルキャリブレーショントレーニングによりモデルキャリブレーションを改善する方法を示す。
  論文  参考訳（メタデータ） (2024-05-22T18:52:09Z)
• From Uncertainty to Precision: Enhancing Binary Classifier Performance through Calibration [0.3495246564946556]
  モデル予測スコアはイベント確率として一般的に見なされるので、キャリブレーションは正確な解釈に不可欠である。 歪み評価のための様々なキャリブレーション尺度の感度を解析し,改良された指標であるローカルスコアを導入する。 これらの知見をランダムフォレスト分類器と回帰器を用いて実世界のシナリオに適用し、キャリブレーションを同時に測定しながら信用デフォルトを予測する。
  論文  参考訳（メタデータ） (2024-02-12T16:55:19Z)
• Consistent and Asymptotically Unbiased Estimation of Proper Calibration Errors [23.819464242327257]
  本稿では,全ての適切な校正誤差と精錬項を一貫した推定を可能にする手法を提案する。 ニューラルネットワークにおける情報単調性を意味するf-分節と精製の関係を実証する。 本実験は,提案した推定器のクレーム特性を検証し,特に関心のキャリブレーション誤差によって,ポストホックキャリブレーション法の選択が決定されるべきであることを示唆した。
  論文  参考訳（メタデータ） (2023-12-14T01:20:08Z)
• Calibration by Distribution Matching: Trainable Kernel Calibration Metrics [56.629245030893685]
  カーネルベースのキャリブレーションメトリクスを導入し、分類と回帰の両方で一般的なキャリブレーションの形式を統一・一般化する。 これらの指標は、異なるサンプル推定を許容しており、キャリブレーションの目的を経験的リスク最小化に組み込むのが容易である。 決定タスクにキャリブレーションメトリクスを調整し、正確な損失推定を行ない、後悔しない決定を行うための直感的なメカニズムを提供する。
  論文  参考訳（メタデータ） (2023-10-31T06:19:40Z)
• Calibration of Neural Networks [77.34726150561087]
  本稿では,ニューラルネットワークの文脈における信頼性校正問題について調査する。 我々は,問題文,キャリブレーション定義,評価に対する異なるアプローチについて分析する。 実験実験では、様々なデータセットとモデルをカバーし、異なる基準に従って校正方法を比較する。
  論文  参考訳（メタデータ） (2023-03-19T20:27:51Z)
• Sharp Calibrated Gaussian Processes [58.94710279601622]
  キャリブレーションされたモデルを設計するための最先端のアプローチは、ガウス過程の後方分散を膨らませることに依存している。 本稿では,バニラガウス過程の後方分散にインスパイアされた計算を用いて,予測量子化を生成するキャリブレーション手法を提案する。 我々のアプローチは合理的な仮定の下で校正されたモデルが得られることを示す。
  論文  参考訳（メタデータ） (2023-02-23T12:17:36Z)
• T-Cal: An optimal test for the calibration of predictive models [49.11538724574202]
  有限検証データセットを用いた予測モデルの誤校正を仮説検証問題として検討する。 誤校正の検出は、クラスの条件付き確率が予測の十分滑らかな関数である場合にのみ可能である。 我々は、$ell$-Expected Error(ECE)のデバイアスドプラグイン推定器に基づくキャリブレーションのためのミニマックステストであるT-Calを提案する。
  論文  参考訳（メタデータ） (2022-03-03T16:58:54Z)
• Estimating Expected Calibration Errors [1.52292571922932]
  確率論的予測の不確実性は、モデルが人間の意思決定をサポートするために使用される場合、重要な問題である。 ほとんどのモデルは本質的に十分に校正されていないため、決定スコアは後続確率と一致しない。 我々は、$ECE$推定器の品質を定量化するための実証的な手順を構築し、それを使用して、異なる設定で実際にどの推定器を使用するべきかを決定する。
  論文  参考訳（メタデータ） (2021-09-08T08:00:23Z)
• Unsupervised Calibration under Covariate Shift [92.02278658443166]
  ドメインシフト下でのキャリブレーションの問題を導入し、それに対処するための重要サンプリングに基づくアプローチを提案する。 実世界のデータセットと合成データセットの両方において,本手法の有効性を評価し検討した。
  論文  参考訳（メタデータ） (2020-06-29T21:50:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。