論文の概要: Dual-Branch Temperature Scaling Calibration for Long-Tailed Recognition

• arxiv url: http://arxiv.org/abs/2308.08366v1
• Date: Wed, 16 Aug 2023 13:40:58 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-17 13:26:31.809884
• Title: Dual-Branch Temperature Scaling Calibration for Long-Tailed Recognition
• Title（参考訳）: ロングテール認識のためのデュアルブランチ温度スケーリング校正
• Authors: Jialin Guo, Zhenyu Wu, Zhiqiang Zhan, Yang Ji
• Abstract要約: 本稿では,二分岐温度スケーリングキャリブレーションモデル(Dual-TS)を提案する。 異なるカテゴリの温度パラメータの多様性と、少数クラスの稀なサンプルに対する温度パラメータの非一般化性を同時に検討する。 我々のモデルでは、従来のECEとEsbin-ECEメトリクスの両方で最先端のモデルが得られます。
• 参考スコア（独自算出の注目度）: 19.12557383199547
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The calibration for deep neural networks is currently receiving widespread attention and research. Miscalibration usually leads to overconfidence of the model. While, under the condition of long-tailed distribution of data, the problem of miscalibration is more prominent due to the different confidence levels of samples in minority and majority categories, and it will result in more serious overconfidence. To address this problem, some current research have designed diverse temperature coefficients for different categories based on temperature scaling (TS) method. However, in the case of rare samples in minority classes, the temperature coefficient is not generalizable, and there is a large difference between the temperature coefficients of the training set and the validation set. To solve this challenge, this paper proposes a dual-branch temperature scaling calibration model (Dual-TS), which considers the diversities in temperature parameters of different categories and the non-generalizability of temperature parameters for rare samples in minority classes simultaneously. Moreover, we noticed that the traditional calibration evaluation metric, Excepted Calibration Error (ECE), gives a higher weight to low-confidence samples in the minority classes, which leads to inaccurate evaluation of model calibration. Therefore, we also propose Equal Sample Bin Excepted Calibration Error (Esbin-ECE) as a new calibration evaluation metric. Through experiments, we demonstrate that our model yields state-of-the-art in both traditional ECE and Esbin-ECE metrics.
• Abstract（参考訳）: ディープニューラルネットワークの校正は、現在広く注目と研究を受けている。 ミススキャリブレーションは通常、モデルの過信につながる。 長期にわたるデータ分布の条件下では、少数派と多数派におけるサンプルの信頼度が異なるため、不一致の問題はより顕著であり、より深刻な過信をもたらすことになる。 この問題に対処するため、いくつかの研究は温度スケーリング(TS)法に基づいて異なるカテゴリの様々な温度係数を設計している。 しかし,マイノリティクラスでの希少サンプルの場合,温度係数は一般化せず,トレーニングセットの温度係数と検証セットとの間に大きな差がある。 そこで本研究では, 異なるカテゴリーの温度パラメータの多様性と, マイノリティクラスにおける希少試料の温度パラメータの非一般化性を同時に考慮した2分岐温度スケーリング校正モデル(dual-ts)を提案する。 さらに,従来のキャリブレーション評価尺度であるExcepted Calibration Error (ECE) が,マイノリティクラスにおける低信頼度サンプルよりも高い重みを与え,モデルキャリブレーションの不正確な評価につながることに気付いた。 そこで我々は,新しい校正評価指標としてEsbin-ECE(Equal Sample Bin Excepted Calibration Error)を提案する。 実験により,従来のECEとEsbin-ECEの両指標において,我々のモデルが最先端となることを示す。

関連論文リスト

• Calibrating Language Models with Adaptive Temperature Scaling [58.056023173579625]
  本稿では,各トークンの温度スケーリングパラメータを予測するポストホックキャリブレーション法であるAdaptive Temperature Scaling (ATS)を紹介する。 ATSは、以前のキャリブレーション法と比較して、3つの下流自然言語評価ベンチマークで10-50%以上のキャリブレーションを改善する。
  論文  参考訳（メタデータ） (2024-09-29T22:54:31Z)
• A Confidence Interval for the $\ell_2$ Expected Calibration Error [35.88784957918326]
  我々は信頼区間を$ell$ expected the Error (ECE) で開発する。 信頼性キャリブレーションの一般的な概念とキャリブレーションの両方を含む,トップ1からk$のキャリブレーションを考える。 ECEのデバイアスド推定器では、正規性を示すが、校正モデルとミスドモデルに対する収束率と分散は異なる。
  論文  参考訳（メタデータ） (2024-08-16T20:00:08Z)
• On the Limitations of Temperature Scaling for Distributions with Overlaps [8.486166869140929]
  一般的な分布集合に対する経験的リスク最小化器の場合, 温度スケーリング性能は, クラス間の重なり合いによって低下することを示す。 そこで本研究では,Mixupデータ拡張手法によって引き起こされる経験的リスクの修正形式を最適化することで,キャリブレーション性能が良好であることが実証された。
  論文  参考訳（メタデータ） (2023-06-01T14:35:28Z)
• Calibration of Neural Networks [77.34726150561087]
  本稿では,ニューラルネットワークの文脈における信頼性校正問題について調査する。 我々は,問題文,キャリブレーション定義,評価に対する異なるアプローチについて分析する。 実験実験では、様々なデータセットとモデルをカバーし、異なる基準に従って校正方法を比較する。
  論文  参考訳（メタデータ） (2023-03-19T20:27:51Z)
• Enabling Calibration In The Zero-Shot Inference of Large Vision-Language Models [58.720142291102135]
  プロンプト、データセット、アーキテクチャといった関連する変数のキャリブレーションを測定し、CLIPによるゼロショット推論が誤校正されていることを見つけます。 学習した1つの温度は、推論データセットにまたがって特定のCLIPモデルごとに一般化され、選択が促される。
  論文  参考訳（メタデータ） (2023-03-11T17:14:04Z)
• Variable-Based Calibration for Machine Learning Classifiers [11.9995808096481]
  モデルのキャリブレーション特性を特徴付けるために,変数ベースのキャリブレーションの概念を導入する。 ほぼ完全なキャリブレーション誤差を持つモデルでは,データの特徴の関数としてかなりの誤校正が期待できることがわかった。
  論文  参考訳（メタデータ） (2022-09-30T00:49:31Z)
• Sample-dependent Adaptive Temperature Scaling for Improved Calibration [95.7477042886242]
  ニューラルネットワークの誤りを補うポストホックアプローチは、温度スケーリングを実行することだ。 入力毎に異なる温度値を予測し、信頼度と精度のミスマッチを調整することを提案する。 CIFAR10/100およびTiny-ImageNetデータセットを用いて,ResNet50およびWideResNet28-10アーキテクチャ上で本手法をテストする。
  論文  参考訳（メタデータ） (2022-07-13T14:13:49Z)
• Revisiting Calibration for Question Answering [16.54743762235555]
  従来のキャリブレーション評価はモデル信頼性の有用性を反映していないと論じる。 モデルが誤った予測に低信頼を割り当て、正しい予測に高信頼を割り当てているかどうかをよりよく把握する新しい校正基準であるMacroCEを提案する。
  論文  参考訳（メタデータ） (2022-05-25T05:49:56Z)
• Parameterized Temperature Scaling for Boosting the Expressive Power in Post-Hoc Uncertainty Calibration [57.568461777747515]
  我々は新しいキャリブレーション手法であるパラメタライズド温度スケーリング(PTS)を導入する。 最新のポストホックキャリブレータの精度保持性能は、その本質的な表現力によって制限されることを実証します。 当社の新しい精度保存手法が,多数のモデルアーキテクチャやデータセット,メトリクスにおいて,既存のアルゴリズムを一貫して上回っていることを示す。
  論文  参考訳（メタデータ） (2021-02-24T10:18:30Z)
• Uncertainty Quantification and Deep Ensembles [79.4957965474334]
  ディープアンサンブルが必ずしもキャリブレーション特性の改善につながるとは限らないことを示す。 そこで本研究では,混成正規化などの現代的な手法と併用して標準アンサンブル法を用いることで,キャリブレーションの少ないモデルが得られることを示す。 このテキストは、データが不足しているときにディープラーニングを活用するために、最も単純で一般的な3つのアプローチの相互作用を調べる。
  論文  参考訳（メタデータ） (2020-07-17T07:32:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。