論文の概要: Class-Distribution-Aware Calibration for Long-Tailed Visual Recognition
- arxiv url: http://arxiv.org/abs/2109.05263v1
- Date: Sat, 11 Sep 2021 11:46:56 GMT
- ステータス: 処理完了
- システム内更新日: 2021-09-14 15:40:31.013392
- Title: Class-Distribution-Aware Calibration for Long-Tailed Visual Recognition
- Title(参考訳): 長期視覚認識のためのクラス分散・アウェアキャリブレーション
- Authors: Mobarakol Islam, Lalithkumar Seenivasan, Hongliang Ren, Ben Glocker
- Abstract要約: ディープニューラルネットワークはしばしば誤解され、自信過剰に予測される傾向がある。
温度スケーリング (TS) やラベル平滑化 (LS) といった最近の技術は、よく校正されたモデルを得る上での有効性を示している。
クラス分布を考慮したTSとLSは、キャリブレーション誤差と予測精度の両方において優れた性能が得られる不均衡なデータ分布に対応可能であることを示す。
- 参考スコア(独自算出の注目度): 25.415324340468548
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Despite impressive accuracy, deep neural networks are often miscalibrated and
tend to overly confident predictions. Recent techniques like temperature
scaling (TS) and label smoothing (LS) show effectiveness in obtaining a
well-calibrated model by smoothing logits and hard labels with scalar factors,
respectively. However, the use of uniform TS or LS factor may not be optimal
for calibrating models trained on a long-tailed dataset where the model
produces overly confident probabilities for high-frequency classes. In this
study, we propose class-distribution-aware TS (CDA-TS) and LS (CDA-LS) by
incorporating class frequency information in model calibration in the context
of long-tailed distribution. In CDA-TS, the scalar temperature value is
replaced with the CDA temperature vector encoded with class frequency to
compensate for the over-confidence. Similarly, CDA-LS uses a vector smoothing
factor and flattens the hard labels according to their corresponding class
distribution. We also integrate CDA optimal temperature vector with
distillation loss, which reduces miscalibration in self-distillation (SD). We
empirically show that class-distribution-aware TS and LS can accommodate the
imbalanced data distribution yielding superior performance in both calibration
error and predictive accuracy. We also observe that SD with an extremely
imbalanced dataset is less effective in terms of calibration performance. Code
is available in https://github.com/mobarakol/Class-Distribution-Aware-TS-LS.
- Abstract(参考訳): 精度は素晴らしいものの、ディープニューラルネットワークはしばしば誤って調整され、自信過剰な予測をする傾向がある。
温度スケーリング (TS) やラベル平滑化 (LS) といった最近の技術は, それぞれスカラー因子を用いたロジットと硬質ラベルを平滑化することにより, 良好な校正モデルが得られることを示す。
しかし、一様TSまたはLS因子の使用は、モデルが高頻度クラスに対して過度に確実な確率を生成する長い尾のデータセットで訓練されたモデルの校正に最適ではないかもしれない。
本研究では,モデルキャリブレーションにクラス周波数情報を組み込むことにより,クラス分布を考慮したTS(CDA-TS)とLS(CDA-LS)を提案する。
CDA-TSでは、スカラー温度値をクラス周波数に符号化したCDA温度ベクトルに置き換え、過信を補償する。
同様に、CDA-LSはベクトル滑らか化係数を使用し、対応するクラス分布に応じてハードラベルを平坦化する。
また,CDA最適温度ベクトルと蒸留損失を統合し,自己蒸留(SD)の誤校正を低減する。
クラス分散認識型tsとlsは、キャリブレーション誤差と予測精度の両方において優れた性能をもたらす不均衡データ分布を満足できることを実証的に示す。
また,極めて不均衡なデータセットを持つSDはキャリブレーション性能の点で効果が低いことも確認した。
コードはhttps://github.com/mobarakol/Class-Distribution-Aware-TS-LSで公開されている。
関連論文リスト
- Uncertainty-aware Sampling for Long-tailed Semi-supervised Learning [89.98353600316285]
擬似ラベルサンプリングのモデル化プロセスに不確実性を導入し、各クラスにおけるモデル性能が異なる訓練段階によって異なることを考慮した。
このアプローチにより、モデルは異なる訓練段階における擬似ラベルの不確かさを認識でき、それによって異なるクラスの選択閾値を適応的に調整できる。
FixMatchのような他の手法と比較して、UDTSは自然シーン画像データセットの精度を少なくとも5.26%、1.75%、9.96%、1.28%向上させる。
論文 参考訳(メタデータ) (2024-01-09T08:59:39Z) - Three Heads Are Better Than One: Complementary Experts for Long-Tailed
Semi-supervised Learning [79.86802448486334]
本稿では,様々なクラス分布をモデル化するComPlementary Experts (CPE) を提案する。
CPEは、CIFAR-10-LT、CIFAR-100-LT、STL-10-LTのベンチマークで最先端のパフォーマンスを達成する。
論文 参考訳(メタデータ) (2023-12-25T11:54:07Z) - Model Calibration in Dense Classification with Adaptive Label
Perturbation [44.62722402349157]
既存の密接な二分分類モデルは、過信される傾向がある。
本稿では,各トレーニング画像に対する独自のラベル摂動レベルを学習する適応ラベル摂動(ASLP)を提案する。
ASLPは、分布内および分布外の両方のデータに基づいて、密度の高い二分分類モデルの校正度を著しく改善することができる。
論文 参考訳(メタデータ) (2023-07-25T14:40:11Z) - Training a HyperDimensional Computing Classifier using a Threshold on
its Confidence [0.0]
本稿では,HDCモデルで正しく分類されたサンプルだけでなく,信頼性の低いサンプルも考慮して,HDCのトレーニング手順を拡張することを提案する。
提案手法は,UCIHAR,CTG,ISOLET,HANDのデータセットを用いて,ベースラインと比較して連続的に性能が向上することを確認した。
論文 参考訳(メタデータ) (2023-05-30T13:03:54Z) - Transfer Knowledge from Head to Tail: Uncertainty Calibration under
Long-tailed Distribution [24.734851889816206]
現在の校正技術は、異なるクラスを均等に扱い、暗黙的にトレーニングデータの分布が均衡していると仮定している。
テールクラスのサンプルの重みを推定し,知識伝達に基づくキャリブレーション手法を提案する。
論文 参考訳(メタデータ) (2023-04-13T13:48:18Z) - Sample-dependent Adaptive Temperature Scaling for Improved Calibration [95.7477042886242]
ニューラルネットワークの誤りを補うポストホックアプローチは、温度スケーリングを実行することだ。
入力毎に異なる温度値を予測し、信頼度と精度のミスマッチを調整することを提案する。
CIFAR10/100およびTiny-ImageNetデータセットを用いて,ResNet50およびWideResNet28-10アーキテクチャ上で本手法をテストする。
論文 参考訳(メタデータ) (2022-07-13T14:13:49Z) - ADT-SSL: Adaptive Dual-Threshold for Semi-Supervised Learning [68.53717108812297]
Semi-Supervised Learning (SSL)は、ラベル付きデータとラベルなしデータを併用してモデルをトレーニングすることで、高度な分類タスクを実現している。
本稿では,半教師付き学習(ADT-SSL)のための適応的デュアル閾値法を提案する。
実験の結果,提案したADT-SSLは最先端の分類精度を実現することがわかった。
論文 参考訳(メタデータ) (2022-05-21T11:52:08Z) - Label-Aware Distribution Calibration for Long-tailed Classification [25.588323749920324]
末尾クラスの分布を校正するためのラベル認識型LADC手法を提案する。
画像とテキストの長い尾のデータセットの実験は、LADCが既存の手法よりも大幅に優れていることを示した。
論文 参考訳(メタデータ) (2021-11-09T01:38:35Z) - Improving Calibration for Long-Tailed Recognition [68.32848696795519]
このようなシナリオにおけるキャリブレーションとパフォーマンスを改善する2つの方法を提案します。
異なるサンプルによるデータセットバイアスに対して,シフトバッチ正規化を提案する。
提案手法は,複数の長尾認識ベンチマークデータセットに新しいレコードをセットする。
論文 参考訳(メタデータ) (2021-04-01T13:55:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。