論文の概要: Estimating Classification Confidence Using Kernel Densities

• arxiv url: http://arxiv.org/abs/2207.06529v2
• Date: Fri, 15 Jul 2022 02:39:02 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-18 11:19:34.230786
• Title: Estimating Classification Confidence Using Kernel Densities
• Title（参考訳）: 核密度を用いた分類信頼度の推定
• Authors: Peter Salamon, David Salamon, V. Adrian Cantu, Michelle An, Tyler Perry, Robert A. Edwards, Anca M. Segall
• Abstract要約: 本稿では,「探索的」機械学習分類問題に対する信頼性のポストホック校正について検討する。 カテゴリー固有の信頼度推定の慣用性を扱うために設計された4つの新しいアルゴリズムを導入・テストする。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper investigates the post-hoc calibration of confidence for "exploratory" machine learning classification problems. The difficulty in these problems stems from the continuing desire to push the boundaries of which categories have enough examples to generalize from when curating datasets, and confusion regarding the validity of those categories. We argue that for such problems the "one-versus-all" approach (top-label calibration) must be used rather than the "calibrate-the-full-response-matrix" approach advocated elsewhere in the literature. We introduce and test four new algorithms designed to handle the idiosyncrasies of category-specific confidence estimation. Chief among these methods is the use of kernel density ratios for confidence calibration including a novel, bulletproof algorithm for choosing the bandwidth. We test our claims and explore the limits of calibration on a bioinformatics application (PhANNs) as well as the classic MNIST benchmark. Finally, our analysis argues that post-hoc calibration should always be performed, should be based only on the test dataset, and should be sanity-checked visually.
• Abstract（参考訳）: 本稿では,「探索的」機械学習分類問題に対する信頼性のポストホック校正について検討する。 これらの問題の難しさは、データセットのキュレーション時に十分な例を持つカテゴリの境界を押し進めることと、それらのカテゴリの有効性に関する混乱に起因している。 このような問題に対して、文献の他所で提唱された「カリブレート・ザ・フル・レスポンス・マトリクス」アプローチよりも「ワン・ヴァース・オール」アプローチ(トップ・ラベル・キャリブレーション)を使わなければならないと論じる。 カテゴリー固有の信頼度推定の慣用性を扱うために設計された4つの新しいアルゴリズムを導入・テストする。 これらの手法の主な用途は、帯域幅を選択するための新しい防弾アルゴリズムを含む信頼性校正のためのカーネル密度比の利用である。 我々は,バイオインフォマティクスアプリケーション(PhANN)のキャリブレーション限界と,古典的なMNISTベンチマークを検証した。 最後に分析では,ポストホックキャリブレーションは常に実施されるべきであり,テストデータセットのみに基づくべきであり,サニティチェックを視覚的に行うべきである。

関連論文リスト

• Confidence Calibration of Classifiers with Many Classes [5.018156030818883]
  ニューラルネットワークに基づく分類モデルでは、最大クラス確率が信頼スコアとしてしばしば使用される。 このスコアは正しい予測を行う確率を十分に予測することは滅多になく、後処理のキャリブレーションステップを必要とする。
  論文  参考訳（メタデータ） (2024-11-05T10:51:01Z)
• Calibration of Neural Networks [77.34726150561087]
  本稿では,ニューラルネットワークの文脈における信頼性校正問題について調査する。 我々は,問題文,キャリブレーション定義,評価に対する異なるアプローチについて分析する。 実験実験では、様々なデータセットとモデルをカバーし、異なる基準に従って校正方法を比較する。
  論文  参考訳（メタデータ） (2023-03-19T20:27:51Z)
• Parametric Classification for Generalized Category Discovery: A Baseline Study [70.73212959385387]
  Generalized Category Discovery (GCD)は、ラベル付きサンプルから学習した知識を用いて、ラベルなしデータセットで新しいカテゴリを発見することを目的としている。 パラメトリック分類器の故障を調査し,高品質な監視が可能であった場合の過去の設計選択の有効性を検証し,信頼性の低い疑似ラベルを重要課題として同定する。 エントロピー正規化の利点を生かし、複数のGCDベンチマークにおける最先端性能を実現し、未知のクラス数に対して強いロバスト性を示す、単純で効果的なパラメトリック分類法を提案する。
  論文  参考訳（メタデータ） (2022-11-21T18:47:11Z)
• Investigation of Different Calibration Methods for Deep Speaker Embedding based Verification Systems [66.61691401921296]
  本稿では, ディープスピーカ埋込抽出器のスコアキャリブレーション法について検討する。 この研究のさらなる焦点は、スコア正規化がシステムの校正性能に与える影響を推定することである。
  論文  参考訳（メタデータ） (2022-03-28T21:22:22Z)
• Self-Certifying Classification by Linearized Deep Assignment [65.0100925582087]
  そこで我々は,PAC-Bayesリスク認定パラダイム内で,グラフ上のメトリックデータを分類するための新しい深層予測器のクラスを提案する。 PAC-Bayesの最近の文献とデータに依存した先行研究に基づいて、この手法は仮説空間上の後続分布の学習を可能にする。
  論文  参考訳（メタデータ） (2022-01-26T19:59:14Z)
• Least Square Calibration for Peer Review [18.063450032460047]
  ピアレーティングから上位候補を選択するためのフレキシブルなフレームワーク、すなわち最小二乗キャリブレーション(LSC)を提案する。 本フレームワークは、軽度仮定の下で、ノイズのない線形スコアリング関数の完全校正を確実に行う。 我々のアルゴリズムは、最高評価値に基づいて上位論文を選択するベースラインを一貫して上回る。
  論文  参考訳（メタデータ） (2021-10-25T02:40:33Z)
• Bayesian Confidence Calibration for Epistemic Uncertainty Modelling [4.358626952482686]
  キャリブレーション法の不確実性を考慮した信頼度推定手法を提案する。 物体検出校正のための最先端校正性能を実現する。
  論文  参考訳（メタデータ） (2021-09-21T10:53:16Z)
• Top-label calibration [3.3504365823045044]
  マルチクラス分類におけるポストホックキャリブレーションの問題点について検討し,ヒストグラム・バイニングに着目した。 信頼度キャリブレーションという一般的な概念は十分に強くはないことが分かっています -- 意味のある方法でキャリブレーションされていないが、完全に信頼度キャリブレーションされている予測器が存在するのです。 本稿では,信頼度キャリブレーションの直感と単純さを正確に捉えつつも,その欠点に対処する,密接に関連する(微妙に異なる)概念であるトップラベルキャリブレーションを提案する。
  論文  参考訳（メタデータ） (2021-07-18T03:27:50Z)
• Uncertainty Quantification and Deep Ensembles [79.4957965474334]
  ディープアンサンブルが必ずしもキャリブレーション特性の改善につながるとは限らないことを示す。 そこで本研究では,混成正規化などの現代的な手法と併用して標準アンサンブル法を用いることで,キャリブレーションの少ないモデルが得られることを示す。 このテキストは、データが不足しているときにディープラーニングを活用するために、最も単純で一般的な3つのアプローチの相互作用を調べる。
  論文  参考訳（メタデータ） (2020-07-17T07:32:24Z)
• Calibration of Neural Networks using Splines [51.42640515410253]
  キャリブレーション誤差の測定は、2つの経験的分布を比較します。 古典的コルモゴロフ・スミルノフ統計テスト(KS)にインスパイアされたビンニングフリーキャリブレーション尺度を導入する。 提案手法は,KS誤差に対する既存の手法と,他の一般的なキャリブレーション手法とを一貫して比較する。
  論文  参考訳（メタデータ） (2020-06-23T07:18:05Z)
• Mix-n-Match: Ensemble and Compositional Methods for Uncertainty Calibration in Deep Learning [21.08664370117846]
  我々は,Mix-n-Matchキャリブレーション戦略が,データ効率と表現力を大幅に向上することを示す。 標準評価プラクティスの潜在的な問題も明らかにします。 我々の手法はキャリブレーションと評価タスクの両方において最先端のソリューションより優れている。
  論文  参考訳（メタデータ） (2020-03-16T17:00:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。