論文の概要: Meta-Cal: Well-controlled Post-hoc Calibration by Ranking

• arxiv url: http://arxiv.org/abs/2105.04290v1
• Date: Mon, 10 May 2021 12:00:54 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-11 15:15:03.369884
• Title: Meta-Cal: Well-controlled Post-hoc Calibration by Ranking
• Title（参考訳）: meta-cal:ランキングによるポストホックキャリブレーション
• Authors: Xingchen Ma, Matthew B. Blaschko
• Abstract要約: ポストホックキャリブレーションは、モデルを再キャリブレーションするためのテクニックであり、その目標はキャリブレーションマップを学ぶことです。 既存のアプローチは主に、キャリブレーション誤差の低いキャリブレーションマップの構築に重点を置いている。 校正誤差の低いキャリブレータは、実際には有用であるとは限らないため、制約下でのマルチクラス分類のポストホックキャリブレーションを研究します。
• 参考スコア（独自算出の注目度）: 23.253020991581963
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In many applications, it is desirable that a classifier not only makes accurate predictions, but also outputs calibrated probabilities. However, many existing classifiers, especially deep neural network classifiers, tend not to be calibrated. Post-hoc calibration is a technique to recalibrate a model, and its goal is to learn a calibration map. Existing approaches mostly focus on constructing calibration maps with low calibration errors. Contrary to these methods, we study post-hoc calibration for multi-class classification under constraints, as a calibrator with a low calibration error does not necessarily mean it is useful in practice. In this paper, we introduce two practical constraints to be taken into consideration. We then present Meta-Cal, which is built from a base calibrator and a ranking model. Under some mild assumptions, two high-probability bounds are given with respect to these constraints. Empirical results on CIFAR-10, CIFAR-100 and ImageNet and a range of popular network architectures show our proposed method significantly outperforms the current state of the art for post-hoc multi-class classification calibration.
• Abstract（参考訳）: 多くのアプリケーションでは、分類器が正確な予測を行うだけでなく、校正された確率も出力することが望ましい。 しかし、多くの既存の分類器、特にディープニューラルネットワーク分類器は校正されない傾向にある。 ポストホック校正はモデルを校正する技法であり、その目標は校正マップを学ぶことである。 既存のアプローチは主に、キャリブレーション誤差の低いキャリブレーションマップの構築に重点を置いている。 これらの方法とは対照的に,制約下でのマルチクラス分類のポストホックキャリブレーションは,キャリブレーションエラーの少ないキャリブレータは必ずしも実用的ではない。 本稿では,検討すべき2つの実践的制約について紹介する。 次に、ベースキャリブレータとランキングモデルから構築したMeta-Calを紹介する。 いくつかの穏やかな仮定の下では、これらの制約に関して2つの高確率境界が与えられる。 CIFAR-10, CIFAR-100, ImageNetの実証実験の結果, 提案手法は, ポストホックなマルチクラス分類校正技術において, 高い性能を示した。

関連論文リスト

• Confidence Calibration of Classifiers with Many Classes [5.018156030818883]
  ニューラルネットワークに基づく分類モデルでは、最大クラス確率が信頼スコアとしてしばしば使用される。 このスコアは正しい予測を行う確率を十分に予測することは滅多になく、後処理のキャリブレーションステップを必要とする。
  論文  参考訳（メタデータ） (2024-11-05T10:51:01Z)
• Calibration by Distribution Matching: Trainable Kernel Calibration Metrics [56.629245030893685]
  カーネルベースのキャリブレーションメトリクスを導入し、分類と回帰の両方で一般的なキャリブレーションの形式を統一・一般化する。 これらの指標は、異なるサンプル推定を許容しており、キャリブレーションの目的を経験的リスク最小化に組み込むのが容易である。 決定タスクにキャリブレーションメトリクスを調整し、正確な損失推定を行ない、後悔しない決定を行うための直感的なメカニズムを提供する。
  論文  参考訳（メタデータ） (2023-10-31T06:19:40Z)
• Class-wise and reduced calibration methods [0.0]
  キャリブレーションの削減により、元の問題をより単純なものに変換する方法を示す。 第2に,ニューラル崩壊という現象に基づいて,クラスワイドキャリブレーション手法を提案する。 この2つの手法を併用すると、予測とクラスごとの校正誤差を低減する強力なツールであるクラス単位での校正アルゴリズムが実現される。
  論文  参考訳（メタデータ） (2022-10-07T17:13:17Z)
• T-Cal: An optimal test for the calibration of predictive models [49.11538724574202]
  有限検証データセットを用いた予測モデルの誤校正を仮説検証問題として検討する。 誤校正の検出は、クラスの条件付き確率が予測の十分滑らかな関数である場合にのみ可能である。 我々は、$ell$-Expected Error(ECE)のデバイアスドプラグイン推定器に基づくキャリブレーションのためのミニマックステストであるT-Calを提案する。
  論文  参考訳（メタデータ） (2022-03-03T16:58:54Z)
• Taking a Step Back with KCal: Multi-Class Kernel-Based Calibration for Deep Neural Networks [40.282423098764404]
  本稿では,KCalと呼ばれるKernelベースのキャリブレーション手法を提案する。 他の校正手順とは異なり、KCalはDNNのロジットやソフトマックス出力を直接操作しない。 事実上、KCalはニューラルネットワークの埋め込みの教師付き次元削減に相当する。
  論文  参考訳（メタデータ） (2022-02-15T19:04:05Z)
• Top-label calibration [3.3504365823045044]
  マルチクラス分類におけるポストホックキャリブレーションの問題点について検討し,ヒストグラム・バイニングに着目した。 信頼度キャリブレーションという一般的な概念は十分に強くはないことが分かっています -- 意味のある方法でキャリブレーションされていないが、完全に信頼度キャリブレーションされている予測器が存在するのです。 本稿では,信頼度キャリブレーションの直感と単純さを正確に捉えつつも,その欠点に対処する,密接に関連する(微妙に異なる)概念であるトップラベルキャリブレーションを提案する。
  論文  参考訳（メタデータ） (2021-07-18T03:27:50Z)
• On the Dark Side of Calibration for Modern Neural Networks [65.83956184145477]
  予測キャリブレーション誤差(ECE)を予測信頼度と改善度に分解する。 正規化に基づくキャリブレーションは、モデルの信頼性を損なうことのみに焦点を当てる。 ラベルの平滑化やミキサアップなど,多くのキャリブレーション手法により,DNNの精度を低下させることで,DNNの有用性を低下させることがわかった。
  論文  参考訳（メタデータ） (2021-06-17T11:04:14Z)
• Localized Calibration: Metrics and Recalibration [133.07044916594361]
  完全大域キャリブレーションと完全個別化キャリブレーションのギャップにまたがる細粒度キャリブレーション指標を提案する。 次に,局所再校正法であるLoReを導入し,既存の校正法よりもLCEを改善する。
  論文  参考訳（メタデータ） (2021-02-22T07:22:12Z)
• Uncertainty Quantification and Deep Ensembles [79.4957965474334]
  ディープアンサンブルが必ずしもキャリブレーション特性の改善につながるとは限らないことを示す。 そこで本研究では,混成正規化などの現代的な手法と併用して標準アンサンブル法を用いることで,キャリブレーションの少ないモデルが得られることを示す。 このテキストは、データが不足しているときにディープラーニングを活用するために、最も単純で一般的な3つのアプローチの相互作用を調べる。
  論文  参考訳（メタデータ） (2020-07-17T07:32:24Z)
• Unsupervised Calibration under Covariate Shift [92.02278658443166]
  ドメインシフト下でのキャリブレーションの問題を導入し、それに対処するための重要サンプリングに基づくアプローチを提案する。 実世界のデータセットと合成データセットの両方において,本手法の有効性を評価し検討した。
  論文  参考訳（メタデータ） (2020-06-29T21:50:07Z)
• Multi-Class Uncertainty Calibration via Mutual Information Maximization-based Binning [8.780958735684958]
  ポストホック多クラスキャリブレーションは、ディープニューラルネットワーク予測の信頼度推定を提供する一般的なアプローチである。 近年の研究では、広く使われているスケーリング手法がキャリブレーション誤差を過小評価していることが示されている。 類似クラス間で1つのキャリブレータを共有する共有クラスワイド(sCW)キャリブレーション戦略を提案する。
  論文  参考訳（メタデータ） (2020-06-23T15:31:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。