論文の概要: Two Sides of Miscalibration: Identifying Over and Under-Confidence
Prediction for Network Calibration
- arxiv url: http://arxiv.org/abs/2308.03172v1
- Date: Sun, 6 Aug 2023 17:59:14 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-08 16:10:36.272223
- Title: Two Sides of Miscalibration: Identifying Over and Under-Confidence
Prediction for Network Calibration
- Title（参考訳）: 誤校正の2つの側面:ネットワーク校正における信頼度予測と信頼度予測
- Authors: Shuang Ao, Stefan Rueger, Advaith Siddharthan
- Abstract要約: 安全クリティカルなタスクにおける信頼性予測には、ディープニューラルネットワークの信頼性校正が不可欠である。
ミススキャリブレーションは、過信と/または過信をモデル化する。
校正点とクラス別校正点を同定するために,新しい校正点である校正点を導入する。
クラスワイドの誤校正スコアをプロキシとして使用して,過度かつ過度に対処可能な校正手法を設計する。
- 参考スコア（独自算出の注目度）: 1.192436948211501
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Proper confidence calibration of deep neural networks is essential for
reliable predictions in safety-critical tasks. Miscalibration can lead to model
over-confidence and/or under-confidence; i.e., the model's confidence in its
prediction can be greater or less than the model's accuracy. Recent studies
have highlighted the over-confidence issue by introducing calibration
techniques and demonstrated success on various tasks. However, miscalibration
through under-confidence has not yet to receive much attention. In this paper,
we address the necessity of paying attention to the under-confidence issue. We
first introduce a novel metric, a miscalibration score, to identify the overall
and class-wise calibration status, including being over or under-confident. Our
proposed metric reveals the pitfalls of existing calibration techniques, where
they often overly calibrate the model and worsen under-confident predictions.
Then we utilize the class-wise miscalibration score as a proxy to design a
calibration technique that can tackle both over and under-confidence. We report
extensive experiments that show our proposed methods substantially
outperforming existing calibration techniques. We also validate our proposed
calibration technique on an automatic failure detection task with a
risk-coverage curve, reporting that our methods improve failure detection as
well as trustworthiness of the model. The code are available at
\url{https://github.com/AoShuang92/miscalibration_TS}.
- Abstract（参考訳）: 安全クリティカルタスクの信頼性予測には,ディープニューラルネットワークの信頼性校正が不可欠である。
ミススキャリブレーションはモデル過信と/またはモデル過信につながる可能性がある;すなわち、モデルの予測に対する信頼性はモデルの正確性よりも大きいか小さいかのどちらかである。
近年の研究では、キャリブレーション手法を導入し、様々なタスクで成功をおさめている。
しかし、自信不足による不一致は、まだあまり注目されていない。
本稿では,信頼度の低い問題に注意を払う必要性に対処する。
まず,新しい基準,誤校正スコアを導入し,過度あるいは過度な信頼性を含む,全体的な校正状態とクラスレベルの校正状態を特定する。
提案手法は,既存のキャリブレーション手法の落とし穴を明らかにし,モデルを過度に校正し,信頼性の低い予測を悪化させる。
そこで我々は,クラスワイドの誤校正スコアをプロキシとして利用して,過度かつ過度に対処できる校正手法を設計する。
提案手法が既存のキャリブレーション手法を大きく上回ることを示す広範な実験を報告する。
また,提案手法が故障検出とモデルの信頼性を向上させることを報告し,リスクカバレッジ曲線を用いた自動故障検出タスクにおけるキャリブレーション手法の有効性を検証する。
コードは \url{https://github.com/aoshuang92/miscalibration_ts} で入手できる。
関連論文リスト
- Towards Certification of Uncertainty Calibration under Adversarial Attacks [96.48317453951418]
攻撃はキャリブレーションを著しく損なう可能性を示し, 対向的摂動下でのキャリブレーションにおける最悪のキャリブレーション境界として認定キャリブレーションを提案する。
我々は,新しいキャリブレーション攻撃を提案し,テクスタディバーショナルキャリブレーショントレーニングによりモデルキャリブレーションを改善する方法を示す。
論文 参考訳（メタデータ） (2024-05-22T18:52:09Z) - Revisiting Confidence Estimation: Towards Reliable Failure Prediction [53.79160907725975]
多くの信頼度推定法は誤分類誤りを検出するのに有害である。
本稿では, 最先端の故障予測性能を示す平坦な最小値を求めることにより, 信頼性ギャップを拡大することを提案する。
論文 参考訳（メタデータ） (2024-03-05T11:44:14Z) - Towards Calibrated Deep Clustering Network [60.71776081164377]
ディープクラスタリングでは、特定のクラスタに属するサンプルに対する推定信頼度はその実際の予測精度を大きく上回る。
推定された信頼度と実際の精度を効果的にキャリブレーションできる新しいデュアルヘッド(キャリブレーションヘッドとクラスタリングヘッド)深層クラスタリングモデルを提案する。
大規模実験により, 提案手法は, 最先端の深層クラスタリング手法を10倍に越えるだけでなく, クラスタリング精度も大幅に向上した。
論文 参考訳（メタデータ） (2024-03-04T11:23:40Z) - Calibration by Distribution Matching: Trainable Kernel Calibration
Metrics [56.629245030893685]
カーネルベースのキャリブレーションメトリクスを導入し、分類と回帰の両方で一般的なキャリブレーションの形式を統一・一般化する。
これらの指標は、異なるサンプル推定を許容しており、キャリブレーションの目的を経験的リスク最小化に組み込むのが容易である。
決定タスクにキャリブレーションメトリクスを調整し、正確な損失推定を行ない、後悔しない決定を行うための直感的なメカニズムを提供する。
論文 参考訳（メタデータ） (2023-10-31T06:19:40Z) - Calibration of Neural Networks [77.34726150561087]
本稿では,ニューラルネットワークの文脈における信頼性校正問題について調査する。
我々は,問題文,キャリブレーション定義,評価に対する異なるアプローチについて分析する。
実験実験では、様々なデータセットとモデルをカバーし、異なる基準に従って校正方法を比較する。
論文 参考訳（メタデータ） (2023-03-19T20:27:51Z) - On Calibrating Semantic Segmentation Models: Analyses and An Algorithm [51.85289816613351]
セマンティックセグメンテーションキャリブレーションの問題について検討する。
モデルキャパシティ、作物サイズ、マルチスケールテスト、予測精度はキャリブレーションに影響を及ぼす。
我々は、単純で統一的で効果的なアプローチ、すなわち選択的スケーリングを提案する。
論文 参考訳（メタデータ） (2022-12-22T22:05:16Z) - Confidence Calibration for Intent Detection via Hyperspherical Space and
Rebalanced Accuracy-Uncertainty Loss [17.26964140836123]
一部のシナリオでは、ユーザは正確さだけでなく、モデルの信頼性も気にします。
本稿では,超球面空間と精度・不確かさ損失の再バランスを用いたモデルを提案する。
本モデルでは,既存の校正手法より優れ,校正基準の大幅な改善を実現している。
論文 参考訳（メタデータ） (2022-03-17T12:01:33Z) - Bayesian Confidence Calibration for Epistemic Uncertainty Modelling [4.358626952482686]
キャリブレーション法の不確実性を考慮した信頼度推定手法を提案する。
物体検出校正のための最先端校正性能を実現する。
論文 参考訳（メタデータ） (2021-09-21T10:53:16Z) - Improving model calibration with accuracy versus uncertainty
optimization [17.056768055368384]
適切に校正されたモデルは、その予測が確実であるときに正確であり、不正確な場合に高い不確実性を示すべきである。
精度と不確実性の関係を不確実性校正のアンカーとして活用する最適化手法を提案する。
平均場変動推定によるアプローチの実証と最先端手法との比較を行った。
論文 参考訳（メタデータ） (2020-12-14T20:19:21Z) - Multivariate Confidence Calibration for Object Detection [7.16879432974126]
本稿では,物体検出手法の偏りのある信頼度推定を計測・校正するための新しい枠組みを提案する。
提案手法により,画像位置とボックススケールに対する補正された信頼度推定値が得られた。
提案手法は,物体検出タスクにおける最先端キャリブレーションモデルよりも優れていることを示す。
論文 参考訳（メタデータ） (2020-04-28T14:17:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。