論文の概要: Bayesian Confidence Calibration for Epistemic Uncertainty Modelling
- arxiv url: http://arxiv.org/abs/2109.10092v1
- Date: Tue, 21 Sep 2021 10:53:16 GMT
- ステータス: 処理完了
- システム内更新日: 2021-09-22 20:07:17.953928
- Title: Bayesian Confidence Calibration for Epistemic Uncertainty Modelling
- Title（参考訳）: てんかん不確実性モデリングのためのベイズ信頼度校正
- Authors: Fabian K\"uppers, Jan Kronenberger, Jonas Schneider, Anselm Haselhoff
- Abstract要約: キャリブレーション法の不確実性を考慮した信頼度推定手法を提案する。
物体検出校正のための最先端校正性能を実現する。
- 参考スコア（独自算出の注目度）: 4.358626952482686
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Modern neural networks have found to be miscalibrated in terms of confidence
calibration, i.e., their predicted confidence scores do not reflect the
observed accuracy or precision. Recent work has introduced methods for post-hoc
confidence calibration for classification as well as for object detection to
address this issue. Especially in safety critical applications, it is crucial
to obtain a reliable self-assessment of a model. But what if the calibration
method itself is uncertain, e.g., due to an insufficient knowledge base?
We introduce Bayesian confidence calibration - a framework to obtain
calibrated confidence estimates in conjunction with an uncertainty of the
calibration method. Commonly, Bayesian neural networks (BNN) are used to
indicate a network's uncertainty about a certain prediction. BNNs are
interpreted as neural networks that use distributions instead of weights for
inference. We transfer this idea of using distributions to confidence
calibration. For this purpose, we use stochastic variational inference to build
a calibration mapping that outputs a probability distribution rather than a
single calibrated estimate. Using this approach, we achieve state-of-the-art
calibration performance for object detection calibration. Finally, we show that
this additional type of uncertainty can be used as a sufficient criterion for
covariate shift detection. All code is open source and available at
https://github.com/EFS-OpenSource/calibration-framework.
- Abstract（参考訳）: 現代のニューラルネットワークは、信頼度校正の点で誤校正されていること、すなわち、彼らの予測された信頼度スコアは、観測された精度や精度を反映していない。
最近の研究は、分類のためのポストホック信頼度校正法や、この問題に対処するためのオブジェクト検出法を導入している。
特に安全上重要な応用においては,モデルの信頼性の高い自己評価を得ることが重要である。
しかし、例えば知識ベースが不足しているなど、キャリブレーション方法自体が不確かである場合はどうだろう?
ベイズ信頼度校正(bayesian confidence calibration) - 校正方法の不確実性とともに校正信頼度推定を得るための枠組み。
一般に、ベイズニューラルネットワーク(bnn)は、ある予測に関するネットワークの不確実性を示すために用いられる。
bnnは推論の重みの代わりに分布を使用するニューラルネットワークとして解釈される。
我々はこの分布を信頼性校正に利用するという考えを移す。
この目的のために、確率的変動推定を用いて、単一のキャリブレーション推定ではなく確率分布を出力するキャリブレーションマッピングを構築する。
このアプローチを用いて,物体検出校正のための最先端校正性能を実現する。
最後に,この追加的な不確かさを共変量シフト検出の十分な基準として使用できることを示す。
すべてのコードはオープンソースであり、https://github.com/EFS-OpenSource/calibration-frameworkで入手できる。
関連論文リスト
- Optimizing Calibration by Gaining Aware of Prediction Correctness [30.619608580138802]
クロスエントロピー(CE)損失はキャリブレータトレーニングに広く使われており、基底真理クラスに対する信頼を高めるためにモデルを強制する。
本稿では, キャリブレーションの目的から得られた, ポストホックキャリブレーションの新たなキャリブレーション手法を提案する。
論文 参考訳（メタデータ） (2024-04-19T17:25:43Z) - Two Sides of Miscalibration: Identifying Over and Under-Confidence
Prediction for Network Calibration [1.192436948211501]
安全クリティカルなタスクにおける信頼性予測には、ディープニューラルネットワークの信頼性校正が不可欠である。
ミススキャリブレーションは、過信と/または過信をモデル化する。
校正点とクラス別校正点を同定するために,新しい校正点である校正点を導入する。
クラスワイドの誤校正スコアをプロキシとして使用して,過度かつ過度に対処可能な校正手法を設計する。
論文 参考訳（メタデータ） (2023-08-06T17:59:14Z) - Calibration of Neural Networks [77.34726150561087]
本稿では,ニューラルネットワークの文脈における信頼性校正問題について調査する。
我々は,問題文,キャリブレーション定義,評価に対する異なるアプローチについて分析する。
実験実験では、様々なデータセットとモデルをカバーし、異なる基準に従って校正方法を比較する。
論文 参考訳（メタデータ） (2023-03-19T20:27:51Z) - Beyond calibration: estimating the grouping loss of modern neural
networks [68.8204255655161]
適切なスコアリングルール理論は、キャリブレーション損失が与えられた場合、個々のエラーを特徴づける欠片がグループ化損失であることを示している。
視覚およびNLPにおける現代のニューラルネットワークアーキテクチャは、特に分散シフト設定においてグループ化損失を示す。
論文 参考訳（メタデータ） (2022-10-28T07:04:20Z) - Sample-dependent Adaptive Temperature Scaling for Improved Calibration [95.7477042886242]
ニューラルネットワークの誤りを補うポストホックアプローチは、温度スケーリングを実行することだ。
入力毎に異なる温度値を予測し、信頼度と精度のミスマッチを調整することを提案する。
CIFAR10/100およびTiny-ImageNetデータセットを用いて,ResNet50およびWideResNet28-10アーキテクチャ上で本手法をテストする。
論文 参考訳（メタデータ） (2022-07-13T14:13:49Z) - Revisiting Calibration for Question Answering [16.54743762235555]
従来のキャリブレーション評価はモデル信頼性の有用性を反映していないと論じる。
モデルが誤った予測に低信頼を割り当て、正しい予測に高信頼を割り当てているかどうかをよりよく把握する新しい校正基準であるMacroCEを提案する。
論文 参考訳（メタデータ） (2022-05-25T05:49:56Z) - Confidence Calibration for Intent Detection via Hyperspherical Space and
Rebalanced Accuracy-Uncertainty Loss [17.26964140836123]
一部のシナリオでは、ユーザは正確さだけでなく、モデルの信頼性も気にします。
本稿では,超球面空間と精度・不確かさ損失の再バランスを用いたモデルを提案する。
本モデルでは,既存の校正手法より優れ,校正基準の大幅な改善を実現している。
論文 参考訳（メタデータ） (2022-03-17T12:01:33Z) - On the Dark Side of Calibration for Modern Neural Networks [65.83956184145477]
予測キャリブレーション誤差(ECE)を予測信頼度と改善度に分解する。
正規化に基づくキャリブレーションは、モデルの信頼性を損なうことのみに焦点を当てる。
ラベルの平滑化やミキサアップなど,多くのキャリブレーション手法により,DNNの精度を低下させることで,DNNの有用性を低下させることがわかった。
論文 参考訳（メタデータ） (2021-06-17T11:04:14Z) - Improving model calibration with accuracy versus uncertainty
optimization [17.056768055368384]
適切に校正されたモデルは、その予測が確実であるときに正確であり、不正確な場合に高い不確実性を示すべきである。
精度と不確実性の関係を不確実性校正のアンカーとして活用する最適化手法を提案する。
平均場変動推定によるアプローチの実証と最先端手法との比較を行った。
論文 参考訳（メタデータ） (2020-12-14T20:19:21Z) - Unlabelled Data Improves Bayesian Uncertainty Calibration under
Covariate Shift [100.52588638477862]
後続正則化に基づく近似ベイズ推定法を開発した。
前立腺癌の予後モデルを世界規模で導入する上で,本手法の有用性を実証する。
論文 参考訳（メタデータ） (2020-06-26T13:50:19Z) - Calibration of Neural Networks using Splines [51.42640515410253]
キャリブレーション誤差の測定は、2つの経験的分布を比較します。
古典的コルモゴロフ・スミルノフ統計テスト(KS)にインスパイアされたビンニングフリーキャリブレーション尺度を導入する。
提案手法は,KS誤差に対する既存の手法と,他の一般的なキャリブレーション手法とを一貫して比較する。
論文 参考訳（メタデータ） (2020-06-23T07:18:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。