論文の概要: Taking a Step Back with KCal: Multi-Class Kernel-Based Calibration for Deep Neural Networks

• arxiv url: http://arxiv.org/abs/2202.07679v1
• Date: Tue, 15 Feb 2022 19:04:05 GMT
• ステータス: 処理完了
• システム内更新日: 2022-02-18 06:04:43.069561
• Title: Taking a Step Back with KCal: Multi-Class Kernel-Based Calibration for Deep Neural Networks
• Title（参考訳）: KCalでのステップバック - ディープニューラルネットワークのためのマルチクラスカーネルベースの校正
• Authors: Zhen Lin, Shubhendu Trivedi, Jimeng Sun
• Abstract要約: 本稿では,KCalと呼ばれるKernelベースのキャリブレーション手法を提案する。 他の校正手順とは異なり、KCalはDNNのロジットやソフトマックス出力を直接操作しない。 事実上、KCalはニューラルネットワークの埋め込みの教師付き次元削減に相当する。
• 参考スコア（独自算出の注目度）: 40.282423098764404
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deep neural network (DNN) classifiers are often overconfident, producing miscalibrated class probabilities. Most existing calibration methods either lack theoretical guarantees for producing calibrated outputs or reduce the classification accuracy in the process. This paper proposes a new Kernel-based calibration method called KCal. Unlike other calibration procedures, KCal does not operate directly on the logits or softmax outputs of the DNN. Instead, it uses the penultimate-layer latent embedding to train a metric space in a supervised manner. In effect, KCal amounts to a supervised dimensionality reduction of the neural network embedding, and generates a prediction using kernel density estimation on a holdout calibration set. We first analyze KCal theoretically, showing that it enjoys a provable asymptotic calibration guarantee. Then, through extensive experiments, we confirm that KCal consistently outperforms existing calibration methods in terms of both the classification accuracy and the (confidence and class-wise) calibration error.
• Abstract（参考訳）: ディープニューラルネットワーク(DNN)分類器はしばしば過信され、誤校正されたクラス確率が生じる。 既存の校正法の多くは、校正出力を生成する理論的保証を欠いているか、プロセスの分類精度を下げている。 本稿では,kcalと呼ばれる新しいカーネルベースキャリブレーション手法を提案する。 他の校正手順とは異なり、KCalはDNNのロジットやソフトマックス出力を直接操作しない。 代わりにpenultimate-layer latent embeddedを使ってメトリック空間を教師ありの方法でトレーニングする。 事実上、KCalはニューラルネットワーク埋め込みの教師付き次元性低減に相当し、ホールドアウトキャリブレーションセットのカーネル密度推定を用いた予測を生成する。 我々はまずKCalを理論的に分析し、証明可能な漸近キャリブレーションの保証を享受していることを示す。 そこで,KCalが既存のキャリブレーション法よりも,分類精度と(信頼度およびクラスワイド)キャリブレーション誤差の両方で常に優れていることを確認した。

関連論文リスト

• Feature Clipping for Uncertainty Calibration [24.465567005078135]
  現代のディープニューラルネットワーク(DNN)は、しばしば過剰な自信に悩まされ、誤校正につながる。 この問題に対処するために,特徴クリッピング(FC)と呼ばれるポストホックキャリブレーション手法を提案する。 FCは特定の閾値に特徴値をクリップし、高い校正誤差サンプルのエントロピーを効果的に増加させる。
  論文  参考訳（メタデータ） (2024-10-16T06:44:35Z)
• ForeCal: Random Forest-based Calibration for DNNs [0.0]
  我々はランダム森林に基づく新しいポストホックキャリブレーションアルゴリズムであるForeCalを提案する。 ForeCalはランダム森林の2つのユニークな特性を生かしている。 ForeCal は,AUC が測定した基準の識別力に最小限の影響を与え,予測誤差(ECE) で既存手法より優れることを示す。
  論文  参考訳（メタデータ） (2024-09-04T04:56:41Z)
• Calibration by Distribution Matching: Trainable Kernel Calibration Metrics [56.629245030893685]
  カーネルベースのキャリブレーションメトリクスを導入し、分類と回帰の両方で一般的なキャリブレーションの形式を統一・一般化する。 これらの指標は、異なるサンプル推定を許容しており、キャリブレーションの目的を経験的リスク最小化に組み込むのが容易である。 決定タスクにキャリブレーションメトリクスを調整し、正確な損失推定を行ない、後悔しない決定を行うための直感的なメカニズムを提供する。
  論文  参考訳（メタデータ） (2023-10-31T06:19:40Z)
• A Consistent and Differentiable Lp Canonical Calibration Error Estimator [21.67616079217758]
  ディープニューラルネットワークは校正が不十分で、自信過剰な予測を出力する傾向がある。 ディリクレ核密度推定に基づく低バイアス・トレーニング可能な校正誤差推定器を提案する。 提案手法はカーネルの自然な選択であり,他の量の一貫した推定値を生成するのに利用できる。
  論文  参考訳（メタデータ） (2022-10-13T15:11:11Z)
• T-Cal: An optimal test for the calibration of predictive models [49.11538724574202]
  有限検証データセットを用いた予測モデルの誤校正を仮説検証問題として検討する。 誤校正の検出は、クラスの条件付き確率が予測の十分滑らかな関数である場合にのみ可能である。 我々は、$ell$-Expected Error(ECE)のデバイアスドプラグイン推定器に基づくキャリブレーションのためのミニマックステストであるT-Calを提案する。
  論文  参考訳（メタデータ） (2022-03-03T16:58:54Z)
• Meta-Cal: Well-controlled Post-hoc Calibration by Ranking [23.253020991581963]
  ポストホックキャリブレーションは、モデルを再キャリブレーションするためのテクニックであり、その目標はキャリブレーションマップを学ぶことです。 既存のアプローチは主に、キャリブレーション誤差の低いキャリブレーションマップの構築に重点を置いている。 校正誤差の低いキャリブレータは、実際には有用であるとは限らないため、制約下でのマルチクラス分類のポストホックキャリブレーションを研究します。
  論文  参考訳（メタデータ） (2021-05-10T12:00:54Z)
• Unsupervised Calibration under Covariate Shift [92.02278658443166]
  ドメインシフト下でのキャリブレーションの問題を導入し、それに対処するための重要サンプリングに基づくアプローチを提案する。 実世界のデータセットと合成データセットの両方において,本手法の有効性を評価し検討した。
  論文  参考訳（メタデータ） (2020-06-29T21:50:07Z)
• Post-hoc Calibration of Neural Networks by g-Layers [51.42640515410253]
  近年、ニューラルネットワークの校正に関する研究が急増している。 負ログライクリーフ(NLL)の最小化は、グローバルな最適化が達成されれば、トレーニングセット上の校正ネットワークにつながることが知られている。 基本ネットワーク (f$) が NLL のグローバルな最適化に繋がらず,追加レイヤ (g$) を追加し,パラメータを$g$ 1 に最適化することで NLL を最小化することで,キャリブレーションネットワークが得られることを示す。
  論文  参考訳（メタデータ） (2020-06-23T07:55:10Z)
• Calibration of Neural Networks using Splines [51.42640515410253]
  キャリブレーション誤差の測定は、2つの経験的分布を比較します。 古典的コルモゴロフ・スミルノフ統計テスト(KS)にインスパイアされたビンニングフリーキャリブレーション尺度を導入する。 提案手法は,KS誤差に対する既存の手法と,他の一般的なキャリブレーション手法とを一貫して比較する。
  論文  参考訳（メタデータ） (2020-06-23T07:18:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。