論文の概要: QuantProb: Generalizing Probabilities along with Predictions for a Pre-trained Classifier
- arxiv url: http://arxiv.org/abs/2304.12766v2
- Date: Sun, 5 May 2024 04:38:35 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-08 01:36:03.980238
- Title: QuantProb: Generalizing Probabilities along with Predictions for a Pre-trained Classifier
- Title（参考訳）: QuantProb: 事前学習型分類器の予測とともに確率を一般化する
- Authors: Aditya Challa, Snehanshu Saha, Soma Dhavala,
- Abstract要約: ディープ・ネットワークの信頼性の欠如の理由は、ニューラルネットワークが現在トレーニングされている方法では、確率は小さな歪みをまたいで一般化しない、という理由にある、と我々は主張する。
損失関数から量子化表現の構成を分離し、元のネットワークを乱さずに量子化に基づく確率を計算する革新的な手法を提案する。
- 参考スコア（独自算出の注目度）: 1.8488661947561271
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Quantification of Uncertainty in predictions is a challenging problem. In the classification settings, although deep learning based models generalize well, class probabilities often lack reliability. Calibration errors are used to quantify uncertainty, and several methods exist to minimize calibration error. We argue that between the choice of having a minimum calibration error on original distribution which increases across distortions or having a (possibly slightly higher) calibration error which is constant across distortions, we prefer the latter We hypothesize that the reason for unreliability of deep networks is - The way neural networks are currently trained, the probabilities do not generalize across small distortions. We observe that quantile based approaches can potentially solve this problem. We propose an innovative approach to decouple the construction of quantile representations from the loss function allowing us to compute quantile based probabilities without disturbing the original network. We achieve this by establishing a novel duality property between quantiles and probabilities, and an ability to obtain quantile probabilities from any pre-trained classifier. While post-hoc calibration techniques successfully minimize calibration errors, they do not preserve robustness to distortions. We show that, Quantile probabilities (QuantProb), obtained from Quantile representations, preserve the calibration errors across distortions, since quantile probabilities generalize better than the naive Softmax probabilities.
- Abstract（参考訳）: 予測の不確かさの定量化は難しい問題である。
分類設定では、ディープラーニングベースのモデルはよく一般化するが、クラス確率は信頼性に欠けることが多い。
校正誤差は不確実性の定量化に使われ、校正誤差を最小化するためにいくつかの方法が存在する。
我々は、歪みによって増加する元の分布に最小限のキャリブレーション誤差を持つか、あるいは歪み間で一定である(おそらくはわずかに高い)キャリブレーション誤差を持つかの選択の間、ディープ・ネットワークの不確実性の原因は、現在ニューラルネットワークが訓練されている方法であり、確率は小さな歪みをまたいで一般化しない、と仮説を立てる。
我々は、量子的アプローチがこの問題を解決できる可能性を観察する。
損失関数から量子化表現を分離し、元のネットワークを乱さずに量子化に基づく確率を計算する革新的な手法を提案する。
我々は、量子化と確率の間の新しい双対性特性を確立し、事前訓練された分類器から量子化の確率を得る能力を得る。
ポストホック校正法は校正誤差を最小化することに成功したが、歪みに対する堅牢性は保たない。
本研究では,量子化確率がソフトマックス確率よりも一般化するため,量子化表現から得られる量子化確率(Quantile probabilities,Quantile probabilities,Quantile probabilities,Quantile probabilities,Quantile probabilities,Quantile probabilities,Quantile probabilities,Quantile Prob)について述べる。
関連論文リスト
- Orthogonal Causal Calibration [55.28164682911196]
我々は、任意の損失$ell$に対して、任意の因果パラメータのキャリブレーション誤差$theta$の一般的な上限を証明した。
我々は、因果校正のための2つのサンプル分割アルゴリズムの収束解析に境界を用いる。
論文 参考訳（メタデータ） (2024-06-04T03:35:25Z) - Calibration by Distribution Matching: Trainable Kernel Calibration
Metrics [56.629245030893685]
カーネルベースのキャリブレーションメトリクスを導入し、分類と回帰の両方で一般的なキャリブレーションの形式を統一・一般化する。
これらの指標は、異なるサンプル推定を許容しており、キャリブレーションの目的を経験的リスク最小化に組み込むのが容易である。
決定タスクにキャリブレーションメトリクスを調整し、正確な損失推定を行ない、後悔しない決定を行うための直感的なメカニズムを提供する。
論文 参考訳（メタデータ） (2023-10-31T06:19:40Z) - Multi-Head Multi-Loss Model Calibration [13.841172927454204]
我々は,深層アンサンブルの訓練と推論に要する費用を省く,単純化されたアンサンブルの形式を導入する。
具体的には、各頭部は、重み付きクロスエントロピー損失を最小限に抑えるために訓練されるが、重みは異なる枝によって異なる。
その結果,2つの挑戦データセットにおいて精度を犠牲にすることなく,精度の高いキャリブレーションを達成できることが示唆された。
論文 参考訳（メタデータ） (2023-03-02T09:32:32Z) - Sharp Calibrated Gaussian Processes [58.94710279601622]
キャリブレーションされたモデルを設計するための最先端のアプローチは、ガウス過程の後方分散を膨らませることに依存している。
本稿では,バニラガウス過程の後方分散にインスパイアされた計算を用いて,予測量子化を生成するキャリブレーション手法を提案する。
我々のアプローチは合理的な仮定の下で校正されたモデルが得られることを示す。
論文 参考訳（メタデータ） (2023-02-23T12:17:36Z) - Beyond calibration: estimating the grouping loss of modern neural
networks [68.8204255655161]
適切なスコアリングルール理論は、キャリブレーション損失が与えられた場合、個々のエラーを特徴づける欠片がグループ化損失であることを示している。
視覚およびNLPにおける現代のニューラルネットワークアーキテクチャは、特に分散シフト設定においてグループ化損失を示す。
論文 参考訳（メタデータ） (2022-10-28T07:04:20Z) - A Consistent and Differentiable Lp Canonical Calibration Error Estimator [21.67616079217758]
ディープニューラルネットワークは校正が不十分で、自信過剰な予測を出力する傾向がある。
ディリクレ核密度推定に基づく低バイアス・トレーニング可能な校正誤差推定器を提案する。
提案手法はカーネルの自然な選択であり,他の量の一貫した推定値を生成するのに利用できる。
論文 参考訳（メタデータ） (2022-10-13T15:11:11Z) - T-Cal: An optimal test for the calibration of predictive models [49.11538724574202]
有限検証データセットを用いた予測モデルの誤校正を仮説検証問題として検討する。
誤校正の検出は、クラスの条件付き確率が予測の十分滑らかな関数である場合にのみ可能である。
我々は、$ell$-Expected Error(ECE)のデバイアスドプラグイン推定器に基づくキャリブレーションのためのミニマックステストであるT-Calを提案する。
論文 参考訳（メタデータ） (2022-03-03T16:58:54Z) - $f$-Cal: Calibrated aleatoric uncertainty estimation from neural
networks for robot perception [9.425514903472545]
既存のアプローチでは、ネットワークアーキテクチャ、推論手順、損失関数を変更することで、ニューラルネットワークの知覚スタックから不確実性を推定する。
私たちの重要な洞察は、キャリブレーションはミニバッチのような複数の例に制約を課すことでのみ達成できるということです。
ニューラルネットワークの出力分布を、$f$-divergenceを最小にすることで、ターゲット分布に類似させることにより、従来のアプローチに比べてはるかに優れた校正モデルが得られる。
論文 参考訳（メタデータ） (2021-09-28T17:57:58Z) - Beyond Pinball Loss: Quantile Methods for Calibrated Uncertainty
Quantification [15.94100899123465]
それぞれの入力に対する真の条件量子化を予測するモデルは、全ての量子化レベルにおいて、基礎となる不確実性の正しい効率的な表現を示す。
現在の量子化法は、いわゆるピンボール損失の最適化に重点を置いている。
これらの欠点に対処する新しい量子的手法を開発した。
論文 参考訳（メタデータ） (2020-11-18T23:51:23Z) - Calibration of Neural Networks using Splines [51.42640515410253]
キャリブレーション誤差の測定は、2つの経験的分布を比較します。
古典的コルモゴロフ・スミルノフ統計テスト(KS)にインスパイアされたビンニングフリーキャリブレーション尺度を導入する。
提案手法は,KS誤差に対する既存の手法と,他の一般的なキャリブレーション手法とを一貫して比較する。
論文 参考訳（メタデータ） (2020-06-23T07:18:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。