論文の概要: AdaFocal: Calibration-aware Adaptive Focal Loss
- arxiv url: http://arxiv.org/abs/2211.11838v1
- Date: Mon, 21 Nov 2022 20:19:24 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-23 16:58:14.396555
- Title: AdaFocal: Calibration-aware Adaptive Focal Loss
- Title(参考訳): adafocal:キャリブレーションアウェア適応焦点損失
- Authors: Arindam Ghosh, Thomas Schaaf, Matt Gormley
- Abstract要約: 焦点損失のあるトレーニングは、クロスエントロピーよりもキャリブレーションが優れている。
AdaFocal と呼ばれる適応型焦点損失を校正する手法を提案する。
- 参考スコア(独自算出の注目度): 1.3973151111281488
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Much recent work has been devoted to the problem of ensuring that a neural
network's confidence scores match the true probability of being correct, i.e.
the calibration problem. Of note, it was found that training with focal loss
leads to better calibration than cross-entropy while achieving similar level of
accuracy \cite{mukhoti2020}. This success stems from focal loss regularizing
the entropy of the model's prediction (controlled by the parameter $\gamma$),
thereby reining in the model's overconfidence. Further improvement is expected
if $\gamma$ is selected independently for each training sample
(Sample-Dependent Focal Loss (FLSD-53) \cite{mukhoti2020}). However, FLSD-53 is
based on heuristics and does not generalize well. In this paper, we propose a
calibration-aware adaptive focal loss called AdaFocal that utilizes the
calibration properties of focal (and inverse-focal) loss and adaptively
modifies $\gamma_t$ for different groups of samples based on $\gamma_{t-1}$
from the previous step and the knowledge of model's under/over-confidence on
the validation set. We evaluate AdaFocal on various image recognition and one
NLP task, covering a wide variety of network architectures, to confirm the
improvement in calibration while achieving similar levels of accuracy.
Additionally, we show that models trained with AdaFocal achieve a significant
boost in out-of-distribution detection.
- Abstract(参考訳): 最近の研究は、ニューラルネットワークの信頼性スコアが正しい確率、すなわち校正問題と一致することを確実にする問題に焦点が当てられている。
また, 焦点損失によるトレーニングにより, クロスエントロピーよりもキャリブレーションが向上し, 同様の精度が得られた。
この成功は、モデルの予測のエントロピー(パラメータ$\gamma$によって制御される)を正則化することで、モデルの過信を抑えることに起因する。
さらに、トレーニングサンプル毎に$\gamma$が独立して選択されることが期待される(FLSD-53 \cite{mukhoti2020})。
しかし、FLSD-53はヒューリスティックスに基づいており、よく一般化されていない。
本稿では,focal(および逆焦点)損失のキャリブレーション特性を利用し,前段からの$\gamma_{t-1}$と検証集合に対するモデルの非信頼度に関する知識に基づいて,異なるサンプル群に対して$\gamma_t$を適応的に修飾するadafocalと呼ばれるキャリブレーション・アウェア適応焦点損失を提案する。
様々な画像認識と1つのnlpタスクにおけるadafocalを評価し,様々なネットワークアーキテクチャをカバーし,類似の精度を保ちながらキャリブレーションの改善を確認した。
さらに,adafocalでトレーニングされたモデルが,分散検出の大幅な向上を実現することを示す。
関連論文リスト
- Domain-adaptive and Subgroup-specific Cascaded Temperature Regression
for Out-of-distribution Calibration [16.930766717110053]
本稿では, メタセットをベースとした新しい温度回帰法を提案し, ポストホックキャリブレーション法を提案する。
予測されたカテゴリと信頼度に基づいて,各メタセットをサブグループに分割し,多様な不確実性を捉える。
回帰ネットワークは、カテゴリ特化および信頼レベル特化スケーリングを導出し、メタセット間のキャリブレーションを達成するように訓練される。
論文 参考訳(メタデータ) (2024-02-14T14:35:57Z) - Calibrated Uncertainties for Neural Radiance Fields [66.06029344664061]
我々は、NeRFモデルから不確実性を校正する最初の方法を提案する。
まず、パッチサンプリングに基づいて、各シーンに対して2つのNeRFモデルをトレーニングする。
第二に、一つのNeRFモデルのトレーニングのみを必要とする新しいメタキャリブレータである。
論文 参考訳(メタデータ) (2023-12-04T21:29:31Z) - Bridging Precision and Confidence: A Train-Time Loss for Calibrating
Object Detection [58.789823426981044]
本稿では,境界ボックスのクラス信頼度を予測精度に合わせることを目的とした,新たな補助損失定式化を提案する。
その結果,列車の走行時間損失はキャリブレーション基準を超過し,キャリブレーション誤差を低減させることがわかった。
論文 参考訳(メタデータ) (2023-03-25T08:56:21Z) - Beyond calibration: estimating the grouping loss of modern neural
networks [68.8204255655161]
適切なスコアリングルール理論は、キャリブレーション損失が与えられた場合、個々のエラーを特徴づける欠片がグループ化損失であることを示している。
視覚およびNLPにおける現代のニューラルネットワークアーキテクチャは、特に分散シフト設定においてグループ化損失を示す。
論文 参考訳(メタデータ) (2022-10-28T07:04:20Z) - Sample-dependent Adaptive Temperature Scaling for Improved Calibration [95.7477042886242]
ニューラルネットワークの誤りを補うポストホックアプローチは、温度スケーリングを実行することだ。
入力毎に異なる温度値を予測し、信頼度と精度のミスマッチを調整することを提案する。
CIFAR10/100およびTiny-ImageNetデータセットを用いて,ResNet50およびWideResNet28-10アーキテクチャ上で本手法をテストする。
論文 参考訳(メタデータ) (2022-07-13T14:13:49Z) - Bayesian Confidence Calibration for Epistemic Uncertainty Modelling [4.358626952482686]
キャリブレーション法の不確実性を考慮した信頼度推定手法を提案する。
物体検出校正のための最先端校正性能を実現する。
論文 参考訳(メタデータ) (2021-09-21T10:53:16Z) - Post-hoc Calibration of Neural Networks by g-Layers [51.42640515410253]
近年、ニューラルネットワークの校正に関する研究が急増している。
負ログライクリーフ(NLL)の最小化は、グローバルな最適化が達成されれば、トレーニングセット上の校正ネットワークにつながることが知られている。
基本ネットワーク (f$) が NLL のグローバルな最適化に繋がらず,追加レイヤ (g$) を追加し,パラメータを$g$ 1 に最適化することで NLL を最小化することで,キャリブレーションネットワークが得られることを示す。
論文 参考訳(メタデータ) (2020-06-23T07:55:10Z) - Calibrating Deep Neural Networks using Focal Loss [77.92765139898906]
ミススキャリブレーション(Miscalibration)は、モデルの信頼性と正しさのミスマッチである。
焦点損失は、既に十分に校正されたモデルを学ぶことができることを示す。
ほぼすべてのケースにおいて精度を損なうことなく,最先端のキャリブレーションを達成できることを示す。
論文 参考訳(メタデータ) (2020-02-21T17:35:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。