論文の概要: Calibrating Deep Neural Networks using Explicit Regularisation and
Dynamic Data Pruning
- arxiv url: http://arxiv.org/abs/2212.10005v1
- Date: Tue, 20 Dec 2022 05:34:58 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-21 14:28:11.326868
- Title: Calibrating Deep Neural Networks using Explicit Regularisation and
Dynamic Data Pruning
- Title（参考訳）: 明示的正規化と動的データプルーニングを用いたディープニューラルネットワークの校正
- Authors: Ramya Hebbalaguppe, Rishabh Patra, Tirtharaj Dash, Gautam Shroff,
Lovekesh Vig
- Abstract要約: ディープニューラルネットワーク(DNN)は誤った予測をしがちで、予測された出力と関連する信頼スコアのミスマッチを示すことが多い。
そこで本研究では,分類損失を伴う新たな正規化手法を提案する。
- 参考スコア（独自算出の注目度）: 25.982037837953268
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Deep neural networks (DNN) are prone to miscalibrated predictions, often
exhibiting a mismatch between the predicted output and the associated
confidence scores. Contemporary model calibration techniques mitigate the
problem of overconfident predictions by pushing down the confidence of the
winning class while increasing the confidence of the remaining classes across
all test samples. However, from a deployment perspective, an ideal model is
desired to (i) generate well-calibrated predictions for high-confidence samples
with predicted probability say >0.95, and (ii) generate a higher proportion of
legitimate high-confidence samples. To this end, we propose a novel
regularization technique that can be used with classification losses, leading
to state-of-the-art calibrated predictions at test time; From a deployment
standpoint in safety-critical applications, only high-confidence samples from a
well-calibrated model are of interest, as the remaining samples have to undergo
manual inspection. Predictive confidence reduction of these potentially
``high-confidence samples'' is a downside of existing calibration approaches.
We mitigate this by proposing a dynamic train-time data pruning strategy that
prunes low-confidence samples every few epochs, providing an increase in
"confident yet calibrated samples". We demonstrate state-of-the-art calibration
performance across image classification benchmarks, reducing training time
without much compromise in accuracy. We provide insights into why our dynamic
pruning strategy that prunes low-confidence training samples leads to an
increase in high-confidence samples at test time.
- Abstract（参考訳）: ディープニューラルネットワーク(DNN)は誤った予測をしがちで、予測された出力と関連する信頼スコアのミスマッチを示すことが多い。
現代モデル校正技術は,全ての試験試料の残余クラスの信頼性を高めつつ,優勝クラスの信頼性を下げることによって,過信予測の問題を緩和する。
しかし、デプロイメントの観点からは、理想的なモデルが望まれる。
i) 予測確率 >0.95 の高信頼サンプルに対して、よく校正された予測を生成する。
(ii)正統な高信頼度試料の割合が高い。
そこで本研究では, 安全性に配慮したアプリケーションの展開の観点から, 信頼性の高いモデルからの高信頼度サンプルのみを手作業で検査する必要があるため, 分類損失に対処し, 最先端のキャリブレーション予測に繋がる新たな正則化手法を提案する。
これらの「高信頼サンプル」の予測的信頼性低下は、既存の校正手法の欠点である。
これを緩和するために、いくつかのエポック毎に低信頼のサンプルをプルークする動的列車時データプルーニング戦略を提案する。
画像分類ベンチマークにおける最先端校正性能を実証し,精度を損なうことなくトレーニング時間を短縮した。
低信頼のトレーニングサンプルをプルーニングするダイナミックなプルーニング戦略が、テスト時に高信頼のサンプルを増加させる理由に関する洞察を提供する。
関連論文リスト
- Typicalness-Aware Learning for Failure Detection [26.23185979968123]
ディープニューラルネットワーク(DNN)は、しばしば自信過剰な問題に悩まされる。
そこで本研究では,本問題に対処し,故障検出性能を向上させるために,S typicalness-Aware Learning (TAL) と呼ばれる新しい手法を提案する。
論文 参考訳（メタデータ） (2024-11-04T11:09:47Z) - Uncertainty-Calibrated Test-Time Model Adaptation without Forgetting [55.17761802332469]
テスト時間適応(TTA)は、与えられたモデルw.r.t.を任意のテストサンプルに適用することにより、トレーニングデータとテストデータの間の潜在的な分散シフトに取り組むことを目指している。
事前の手法は各テストサンプルに対してバックプロパゲーションを実行するため、多くのアプリケーションに対して許容できない最適化コストがかかる。
本稿では, 有効サンプル選択基準を策定し, 信頼性および非冗長なサンプルを同定する, 効率的なアンチフォッティングテスト時間適応法を提案する。
論文 参考訳（メタデータ） (2024-03-18T05:49:45Z) - Revisiting Confidence Estimation: Towards Reliable Failure Prediction [53.79160907725975]
多くの信頼度推定法は誤分類誤りを検出するのに有害である。
本稿では, 最先端の故障予測性能を示す平坦な最小値を求めることにより, 信頼性ギャップを拡大することを提案する。
論文 参考訳（メタデータ） (2024-03-05T11:44:14Z) - Towards Calibrated Deep Clustering Network [60.71776081164377]
ディープクラスタリングでは、特定のクラスタに属するサンプルに対する推定信頼度はその実際の予測精度を大きく上回る。
推定された信頼度と実際の精度を効果的にキャリブレーションできる新しいデュアルヘッド(キャリブレーションヘッドとクラスタリングヘッド)深層クラスタリングモデルを提案する。
大規模実験により, 提案手法は, 最先端の深層クラスタリング手法を10倍に越えるだけでなく, クラスタリング精度も大幅に向上した。
論文 参考訳（メタデータ） (2024-03-04T11:23:40Z) - Domain-adaptive and Subgroup-specific Cascaded Temperature Regression
for Out-of-distribution Calibration [16.930766717110053]
本稿では, メタセットをベースとした新しい温度回帰法を提案し, ポストホックキャリブレーション法を提案する。
予測されたカテゴリと信頼度に基づいて,各メタセットをサブグループに分割し,多様な不確実性を捉える。
回帰ネットワークは、カテゴリ特化および信頼レベル特化スケーリングを導出し、メタセット間のキャリブレーションを達成するように訓練される。
論文 参考訳（メタデータ） (2024-02-14T14:35:57Z) - Selective Learning: Towards Robust Calibration with Dynamic Regularization [79.92633587914659]
ディープラーニングにおけるミススキャリブレーションとは、予測された信頼とパフォーマンスの間には相違がある、という意味である。
トレーニング中に何を学ぶべきかを学ぶことを目的とした動的正規化(DReg)を導入し、信頼度調整のトレードオフを回避する。
論文 参考訳（メタデータ） (2024-02-13T11:25:20Z) - Multiclass Alignment of Confidence and Certainty for Network Calibration [10.15706847741555]
最近の研究では、ディープニューラルネットワーク(DNN)が過信的な予測を行う傾向があることが示されている。
予測平均信頼度と予測確実性(MACC)の多クラスアライメントとして知られる簡易なプラグアンドプレイ補助損失を特徴とする列車時キャリブレーション法を提案する。
本手法は,領域内および領域外両方のキャリブレーション性能を実現する。
論文 参考訳（メタデータ） (2023-09-06T00:56:24Z) - Learning Sample Difficulty from Pre-trained Models for Reliable
Prediction [55.77136037458667]
本稿では,大規模事前学習モデルを用いて,サンプル難易度を考慮したエントロピー正規化による下流モデルトレーニングを指導する。
我々は、挑戦的なベンチマークで精度と不確実性の校正を同時に改善する。
論文 参考訳（メタデータ） (2023-04-20T07:29:23Z) - Calibrated Selective Classification [34.08454890436067]
そこで我々は,「不確か」な不確実性のある例を拒否する手法を提案する。
本稿では,選択的校正モデル学習のためのフレームワークを提案する。そこでは,任意のベースモデルの選択的校正誤差を改善するために,個別のセレクタネットワークを訓練する。
われわれは,複数画像分類と肺癌リスク評価におけるアプローチの実証的効果を実証した。
論文 参考訳（メタデータ） (2022-08-25T13:31:09Z) - MEMO: Test Time Robustness via Adaptation and Augmentation [131.28104376280197]
テスト時間ロバスト化の問題、すなわちモデルロバスト性を改善するためにテストインプットを用いて検討する。
最近の先行研究ではテスト時間適応法が提案されているが、それぞれ追加の仮定を導入している。
モデルが確率的で適応可能な任意のテスト環境で使用できるシンプルなアプローチを提案する。
論文 参考訳（メタデータ） (2021-10-18T17:55:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。