論文の概要: Accuracy-Preserving Calibration via Statistical Modeling on Probability
Simplex
- arxiv url: http://arxiv.org/abs/2402.13765v1
- Date: Wed, 21 Feb 2024 12:39:20 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-22 15:34:50.848003
- Title: Accuracy-Preserving Calibration via Statistical Modeling on Probability
Simplex
- Title(参考訳): 確率シンプレックスの統計モデルによる精度保存校正
- Authors: Yasushi Esaki and Akihiro Nakamura and Keisuke Kawano and Ryoko
Tokuhisa and Takuro Kutsuna
- Abstract要約: 本稿では, 確率単純度に基づく確率モデルとして, コンクリート分布を用いた精度保存キャリブレーション法を提案する。
提案手法は,ベンチマークを用いてキャリブレーションを精度よく保存する作業において,従来の手法よりも優れていることを示す。
- 参考スコア(独自算出の注目度): 5.64979077798699
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Classification models based on deep neural networks (DNNs) must be calibrated
to measure the reliability of predictions. Some recent calibration methods have
employed a probabilistic model on the probability simplex. However, these
calibration methods cannot preserve the accuracy of pre-trained models, even
those with a high classification accuracy. We propose an accuracy-preserving
calibration method using the Concrete distribution as the probabilistic model
on the probability simplex. We theoretically prove that a DNN model trained on
cross-entropy loss has optimality as the parameter of the Concrete
distribution. We also propose an efficient method that synthetically generates
samples for training probabilistic models on the probability simplex. We
demonstrate that the proposed method can outperform previous methods in
accuracy-preserving calibration tasks using benchmarks.
- Abstract(参考訳): 深層ニューラルネットワーク(DNN)に基づく分類モデルは、予測の信頼性を測定するために校正されなければならない。
最近のキャリブレーション法では、確率単純性に関する確率論的モデルを採用している。
しかし、これらの校正法は、高い分類精度のモデルであっても、事前訓練されたモデルの精度を維持することはできない。
本稿では, 確率単純度に基づく確率モデルとして, コンクリート分布を用いた精度保存キャリブレーション法を提案する。
理論的には, クロスエントロピー損失をトレーニングしたDNNモデルが, コンクリート分布のパラメータとして最適であることを示す。
また,確率単純度に基づく確率モデル学習のためのサンプルを合成的に生成する効率的な手法を提案する。
提案手法は,ベンチマークを用いた校正作業の精度保存において,従来の手法よりも優れていることを示す。
関連論文リスト
- Calibrating Neural Simulation-Based Inference with Differentiable
Coverage Probability [50.44439018155837]
ニューラルモデルのトレーニング目的に直接キャリブレーション項を含めることを提案する。
古典的なキャリブレーション誤差の定式化を緩和することにより、エンドツーエンドのバックプロパゲーションを可能にする。
既存の計算パイプラインに直接適用でき、信頼性の高いブラックボックス後部推論が可能である。
論文 参考訳(メタデータ) (2023-10-20T10:20:45Z) - A Large-Scale Study of Probabilistic Calibration in Neural Network
Regression [3.13468877208035]
我々は、ニューラルネットワークの確率的キャリブレーションを評価するために、これまでで最大の実証的研究を行った。
そこで本研究では,新しい可微分再校正法と正規化法を導入し,その有効性に関する新たな知見を明らかにした。
論文 参考訳(メタデータ) (2023-06-05T09:33:39Z) - Training Normalizing Flows with the Precision-Recall Divergence [73.92251251511199]
特定精度リコールトレードオフを達成することは、em PR-divergencesと呼ぶ家族からの-divergencesの最小化に相当することを示す。
本稿では, 正規化フローをトレーニングして, 偏差を最小化し, 特に, 所与の高精度リコールトレードオフを実現する新しい生成モデルを提案する。
論文 参考訳(メタデータ) (2023-02-01T17:46:47Z) - Calibrated Selective Classification [38.01669058597009]
そこで我々は,「不確か」な不確実性のある例を拒否する手法を提案する。
本稿では,選択的校正モデル学習のためのフレームワークを提案する。そこでは,任意のベースモデルの選択的校正誤差を改善するために,個別のセレクタネットワークを訓練する。
われわれは,複数画像分類と肺癌リスク評価におけるアプローチの実証的効果を実証した。
論文 参考訳(メタデータ) (2022-08-25T13:31:09Z) - Correcting Model Bias with Sparse Implicit Processes [0.9187159782788579]
SIP(Sparse Implicit Processes)は,データ生成機構がモデルによって入力されるものと強く異なる場合,モデルバイアスを補正できることを示す。
合成データセットを用いて、SIPは、初期推定モデルの正確な予測よりもデータをよりよく反映する予測分布を提供することができることを示す。
論文 参考訳(メタデータ) (2022-07-21T18:00:01Z) - Modular Conformal Calibration [80.33410096908872]
回帰における再校正のためのアルゴリズムを多種多様なクラスで導入する。
このフレームワークは、任意の回帰モデルをキャリブレーションされた確率モデルに変換することを可能にする。
我々は17の回帰データセットに対するMCCの実証的研究を行った。
論文 参考訳(メタデータ) (2022-06-23T03:25:23Z) - T-Cal: An optimal test for the calibration of predictive models [49.11538724574202]
有限検証データセットを用いた予測モデルの誤校正を仮説検証問題として検討する。
誤校正の検出は、クラスの条件付き確率が予測の十分滑らかな関数である場合にのみ可能である。
我々は、$ell$-Expected Error(ECE)のデバイアスドプラグイン推定器に基づくキャリブレーションのためのミニマックステストであるT-Calを提案する。
論文 参考訳(メタデータ) (2022-03-03T16:58:54Z) - Theoretical characterization of uncertainty in high-dimensional linear
classification [24.073221004661427]
本研究では,高次元入力データとラベルの限られたサンプル数から学習する不確実性が,近似メッセージパッシングアルゴリズムによって得られることを示す。
我々は,信頼度を適切に正則化することで緩和する方法について論じるとともに,損失に対するクロスバリデーションが0/1誤差よりもキャリブレーションが優れていることを示す。
論文 参考訳(メタデータ) (2022-02-07T15:32:07Z) - Dense Uncertainty Estimation [62.23555922631451]
本稿では,ニューラルネットワークと不確実性推定手法について検討し,正確な決定論的予測と確実性推定の両方を実現する。
本研究では,アンサンブルに基づく手法と生成モデルに基づく手法の2つの不確実性推定法について検討し,それらの長所と短所を,完全/半端/弱度に制御されたフレームワークを用いて説明する。
論文 参考訳(メタデータ) (2021-10-13T01:23:48Z) - Scalable Marginal Likelihood Estimation for Model Selection in Deep
Learning [78.83598532168256]
階層型モデル選択は、推定困難のため、ディープラーニングではほとんど使われない。
本研究は,検証データが利用できない場合,限界的可能性によって一般化が向上し,有用であることを示す。
論文 参考訳(メタデータ) (2021-04-11T09:50:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。