論文の概要: Class-Distribution-Aware Calibration for Long-Tailed Visual Recognition
- arxiv url: http://arxiv.org/abs/2109.05263v1
- Date: Sat, 11 Sep 2021 11:46:56 GMT
- ステータス: 処理完了
- システム内更新日: 2021-09-14 15:40:31.013392
- Title: Class-Distribution-Aware Calibration for Long-Tailed Visual Recognition
- Title（参考訳）: 長期視覚認識のためのクラス分散・アウェアキャリブレーション
- Authors: Mobarakol Islam, Lalithkumar Seenivasan, Hongliang Ren, Ben Glocker
- Abstract要約: ディープニューラルネットワークはしばしば誤解され、自信過剰に予測される傾向がある。
温度スケーリング (TS) やラベル平滑化 (LS) といった最近の技術は、よく校正されたモデルを得る上での有効性を示している。
クラス分布を考慮したTSとLSは、キャリブレーション誤差と予測精度の両方において優れた性能が得られる不均衡なデータ分布に対応可能であることを示す。
- 参考スコア（独自算出の注目度）: 25.415324340468548
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Despite impressive accuracy, deep neural networks are often miscalibrated and
tend to overly confident predictions. Recent techniques like temperature
scaling (TS) and label smoothing (LS) show effectiveness in obtaining a
well-calibrated model by smoothing logits and hard labels with scalar factors,
respectively. However, the use of uniform TS or LS factor may not be optimal
for calibrating models trained on a long-tailed dataset where the model
produces overly confident probabilities for high-frequency classes. In this
study, we propose class-distribution-aware TS (CDA-TS) and LS (CDA-LS) by
incorporating class frequency information in model calibration in the context
of long-tailed distribution. In CDA-TS, the scalar temperature value is
replaced with the CDA temperature vector encoded with class frequency to
compensate for the over-confidence. Similarly, CDA-LS uses a vector smoothing
factor and flattens the hard labels according to their corresponding class
distribution. We also integrate CDA optimal temperature vector with
distillation loss, which reduces miscalibration in self-distillation (SD). We
empirically show that class-distribution-aware TS and LS can accommodate the
imbalanced data distribution yielding superior performance in both calibration
error and predictive accuracy. We also observe that SD with an extremely
imbalanced dataset is less effective in terms of calibration performance. Code
is available in https://github.com/mobarakol/Class-Distribution-Aware-TS-LS.
- Abstract（参考訳）: 精度は素晴らしいものの、ディープニューラルネットワークはしばしば誤って調整され、自信過剰な予測をする傾向がある。
温度スケーリング (TS) やラベル平滑化 (LS) といった最近の技術は, それぞれスカラー因子を用いたロジットと硬質ラベルを平滑化することにより, 良好な校正モデルが得られることを示す。
しかし、一様TSまたはLS因子の使用は、モデルが高頻度クラスに対して過度に確実な確率を生成する長い尾のデータセットで訓練されたモデルの校正に最適ではないかもしれない。
本研究では,モデルキャリブレーションにクラス周波数情報を組み込むことにより,クラス分布を考慮したTS(CDA-TS)とLS(CDA-LS)を提案する。
CDA-TSでは、スカラー温度値をクラス周波数に符号化したCDA温度ベクトルに置き換え、過信を補償する。
同様に、CDA-LSはベクトル滑らか化係数を使用し、対応するクラス分布に応じてハードラベルを平坦化する。
また,CDA最適温度ベクトルと蒸留損失を統合し,自己蒸留(SD)の誤校正を低減する。
クラス分散認識型tsとlsは、キャリブレーション誤差と予測精度の両方において優れた性能をもたらす不均衡データ分布を満足できることを実証的に示す。
また,極めて不均衡なデータセットを持つSDはキャリブレーション性能の点で効果が低いことも確認した。
コードはhttps://github.com/mobarakol/Class-Distribution-Aware-TS-LSで公開されている。
関連論文リスト
- Continuous Contrastive Learning for Long-Tailed Semi-Supervised Recognition [50.61991746981703]
現在の最先端のLTSSLアプローチは、大規模な未ラベルデータに対して高品質な擬似ラベルに依存している。
本稿では,長期学習における様々な提案を統一する新しい確率的枠組みを提案する。
我々は、信頼度とスムーズな擬似ラベルを用いて、我々のフレームワークをラベルなしデータに拡張する、連続的コントラスト学習手法であるCCLを導入する。
論文 参考訳（メタデータ） (2024-10-08T15:06:10Z) - Calibrating Language Models with Adaptive Temperature Scaling [58.056023173579625]
本稿では,各トークンの温度スケーリングパラメータを予測するポストホックキャリブレーション法であるAdaptive Temperature Scaling (ATS)を紹介する。
ATSは、以前のキャリブレーション法と比較して、3つの下流自然言語評価ベンチマークで10-50%以上のキャリブレーションを改善する。
論文 参考訳（メタデータ） (2024-09-29T22:54:31Z) - CALICO: Confident Active Learning with Integrated Calibration [11.978551396144532]
トレーニングプロセス中にサンプル選択に使用される信頼度を自己校正するALフレームワークを提案する。
ラベル付きサンプルが少ないソフトマックス分類器と比較して,分類性能が向上した。
論文 参考訳（メタデータ） (2024-07-02T15:05:19Z) - Towards Understanding Why Label Smoothing Degrades Selective Classification and How to Fix It [6.19039575840278]
ラベルスムーシング(LS)はニューラルネットワークをトレーニングするための一般的な正規化手法である。
LSは、正誤予測の不確実なランク順を格下げする。
我々は、ロジトレベルの勾配を分析することによって、この振る舞いを説明する。
論文 参考訳（メタデータ） (2024-03-19T06:46:24Z) - Uncertainty-aware Sampling for Long-tailed Semi-supervised Learning [89.98353600316285]
擬似ラベルサンプリングのモデル化プロセスに不確実性を導入し、各クラスにおけるモデル性能が異なる訓練段階によって異なることを考慮した。
このアプローチにより、モデルは異なる訓練段階における擬似ラベルの不確かさを認識でき、それによって異なるクラスの選択閾値を適応的に調整できる。
FixMatchのような他の手法と比較して、UDTSは自然シーン画像データセットの精度を少なくとも5.26%、1.75%、9.96%、1.28%向上させる。
論文 参考訳（メタデータ） (2024-01-09T08:59:39Z) - Three Heads Are Better Than One: Complementary Experts for Long-Tailed Semi-supervised Learning [74.44500692632778]
本稿では,様々なクラス分布をモデル化するComPlementary Experts (CPE) を提案する。
CPEは、CIFAR-10-LT、CIFAR-100-LT、STL-10-LTのベンチマークで最先端のパフォーマンスを達成する。
論文 参考訳（メタデータ） (2023-12-25T11:54:07Z) - Model Calibration in Dense Classification with Adaptive Label
Perturbation [44.62722402349157]
既存の密接な二分分類モデルは、過信される傾向がある。
本稿では,各トレーニング画像に対する独自のラベル摂動レベルを学習する適応ラベル摂動(ASLP)を提案する。
ASLPは、分布内および分布外の両方のデータに基づいて、密度の高い二分分類モデルの校正度を著しく改善することができる。
論文 参考訳（メタデータ） (2023-07-25T14:40:11Z) - Flexible Distribution Alignment: Towards Long-tailed Semi-supervised Learning with Proper Calibration [18.376601653387315]
Longtailed semi-supervised learning (LTSSL)は、半教師付きアプリケーションのための実践的なシナリオである。
この問題は、ラベル付きとラベルなしのクラス分布の相違によってしばしば悪化する。
本稿では,新しい適応ロジット調整型損失フレームワークFlexDAを紹介する。
論文 参考訳（メタデータ） (2023-06-07T17:50:59Z) - Transfer Knowledge from Head to Tail: Uncertainty Calibration under
Long-tailed Distribution [24.734851889816206]
現在の校正技術は、異なるクラスを均等に扱い、暗黙的にトレーニングデータの分布が均衡していると仮定している。
テールクラスのサンプルの重みを推定し,知識伝達に基づくキャリブレーション手法を提案する。
論文 参考訳（メタデータ） (2023-04-13T13:48:18Z) - Improving Calibration for Long-Tailed Recognition [68.32848696795519]
このようなシナリオにおけるキャリブレーションとパフォーマンスを改善する2つの方法を提案します。
異なるサンプルによるデータセットバイアスに対して,シフトバッチ正規化を提案する。
提案手法は,複数の長尾認識ベンチマークデータセットに新しいレコードをセットする。
論文 参考訳（メタデータ） (2021-04-01T13:55:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。