論文の概要: On the Limitations of Temperature Scaling for Distributions with
Overlaps
- arxiv url: http://arxiv.org/abs/2306.00740v2
- Date: Fri, 29 Sep 2023 16:21:03 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-02 18:27:24.962060
- Title: On the Limitations of Temperature Scaling for Distributions with
Overlaps
- Title(参考訳): オーバーラップ分布における温度スケーリングの限界について
- Authors: Muthu Chidambaram and Rong Ge
- Abstract要約: 一般的な分布集合に対する経験的リスク最小化器の場合, 温度スケーリング性能は, クラス間の重なり合いによって低下することを示す。
そこで本研究では,Mixupデータ拡張手法によって引き起こされる経験的リスクの修正形式を最適化することで,キャリブレーション性能が良好であることが実証された。
- 参考スコア(独自算出の注目度): 8.486166869140929
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Despite the impressive generalization capabilities of deep neural networks,
they have been repeatedly shown to be overconfident when they are wrong. Fixing
this issue is known as model calibration, and has consequently received much
attention in the form of modified training schemes and post-training
calibration procedures such as temperature scaling. While temperature scaling
is frequently used because of its simplicity, it is often outperformed by
modified training schemes. In this work, we identify a specific bottleneck for
the performance of temperature scaling. We show that for empirical risk
minimizers for a general set of distributions in which the supports of classes
have overlaps, the performance of temperature scaling degrades with the amount
of overlap between classes, and asymptotically becomes no better than random
when there are a large number of classes. On the other hand, we prove that
optimizing a modified form of the empirical risk induced by the Mixup data
augmentation technique can in fact lead to reasonably good calibration
performance, showing that training-time calibration may be necessary in some
situations. We also verify that our theoretical results reflect practice by
showing that Mixup significantly outperforms empirical risk minimization (with
respect to multiple calibration metrics) on image classification benchmarks
with class overlaps introduced in the form of label noise.
- Abstract(参考訳): ディープニューラルネットワークの印象的な一般化機能にも関わらず、誤った場合には自信過剰であることが繰り返し示されています。
この問題を解決することはモデルキャリブレーションと呼ばれ、改良されたトレーニングスキームと温度スケーリングのようなトレーニング後のキャリブレーション手順という形で多くの注目を集めている。
温度スケーリングは単純さのため頻繁に用いられるが、しばしば改良されたトレーニングスキームによって置き換えられる。
本研究では,温度スケーリング性能の特定のボトルネックを特定する。
クラスのサポートが重複する分布の一般的な集合に対する経験的リスク最小化器の場合、温度スケーリング性能はクラス間の重複量とともに低下し、多数のクラスが存在する場合、漸近的にランダムに向上しないことを示す。
一方,Mixupデータ拡張技術によって引き起こされる経験的リスクの修正形式を最適化すると,ある程度のキャリブレーション性能が得られることが証明され,一部の状況ではトレーニング時間キャリブレーションが必要であることが示唆された。
また,Mixupがラベルノイズの形でクラスオーバーラップを導入した画像分類ベンチマークにおいて,実験的リスク最小化(複数のキャリブレーション指標)を著しく上回ることを示すことによって,我々の理論的結果が実践を反映していることを検証する。
関連論文リスト
- Calibration by Distribution Matching: Trainable Kernel Calibration
Metrics [56.629245030893685]
カーネルベースのキャリブレーションメトリクスを導入し、分類と回帰の両方で一般的なキャリブレーションの形式を統一・一般化する。
これらの指標は、異なるサンプル推定を許容しており、キャリブレーションの目的を経験的リスク最小化に組み込むのが容易である。
決定タスクにキャリブレーションメトリクスを調整し、正確な損失推定を行ない、後悔しない決定を行うための直感的なメカニズムを提供する。
論文 参考訳(メタデータ) (2023-10-31T06:19:40Z) - Dual-Branch Temperature Scaling Calibration for Long-Tailed Recognition [19.12557383199547]
本稿では,二分岐温度スケーリングキャリブレーションモデル(Dual-TS)を提案する。
異なるカテゴリの温度パラメータの多様性と、少数クラスの稀なサンプルに対する温度パラメータの非一般化性を同時に検討する。
我々のモデルでは、従来のECEとEsbin-ECEメトリクスの両方で最先端のモデルが得られます。
論文 参考訳(メタデータ) (2023-08-16T13:40:58Z) - Set Learning for Accurate and Calibrated Models [17.187117466317265]
Odd-$k$-out Learningは単一の例ではなく集合のクロスエントロピー誤差を最小限にする。
OKOは、ハードラベルでトレーニングしたり、追加のキャリブレーションパラメータチューニングを落としたりしても、キャリブレーションが良くなる。
論文 参考訳(メタデータ) (2023-07-05T12:39:58Z) - Multi-Head Multi-Loss Model Calibration [13.841172927454204]
我々は,深層アンサンブルの訓練と推論に要する費用を省く,単純化されたアンサンブルの形式を導入する。
具体的には、各頭部は、重み付きクロスエントロピー損失を最小限に抑えるために訓練されるが、重みは異なる枝によって異なる。
その結果,2つの挑戦データセットにおいて精度を犠牲にすることなく,精度の高いキャリブレーションを達成できることが示唆された。
論文 参考訳(メタデータ) (2023-03-02T09:32:32Z) - Sharp Calibrated Gaussian Processes [58.94710279601622]
キャリブレーションされたモデルを設計するための最先端のアプローチは、ガウス過程の後方分散を膨らませることに依存している。
本稿では,バニラガウス過程の後方分散にインスパイアされた計算を用いて,予測量子化を生成するキャリブレーション手法を提案する。
我々のアプローチは合理的な仮定の下で校正されたモデルが得られることを示す。
論文 参考訳(メタデータ) (2023-02-23T12:17:36Z) - Adaptive Temperature Scaling for Robust Calibration of Deep Neural
Networks [0.7219077740523682]
本研究では、信頼性スケーリングの課題、特に温度スケーリングを一般化するポストホック手法に焦点を当てる。
ニューラルネットワークのような複雑なデータモデルがたくさん存在すると、パフォーマンスは向上するが、データ量に制限がある場合には失敗する傾向にある。
本研究では,エントロピーに基づく温度スケーリングを提案し,そのエントロピーに応じて予測の信頼性を尺度化する。
論文 参考訳(メタデータ) (2022-07-31T16:20:06Z) - Sample-dependent Adaptive Temperature Scaling for Improved Calibration [95.7477042886242]
ニューラルネットワークの誤りを補うポストホックアプローチは、温度スケーリングを実行することだ。
入力毎に異なる温度値を予測し、信頼度と精度のミスマッチを調整することを提案する。
CIFAR10/100およびTiny-ImageNetデータセットを用いて,ResNet50およびWideResNet28-10アーキテクチャ上で本手法をテストする。
論文 参考訳(メタデータ) (2022-07-13T14:13:49Z) - Parameterized Temperature Scaling for Boosting the Expressive Power in
Post-Hoc Uncertainty Calibration [57.568461777747515]
我々は新しいキャリブレーション手法であるパラメタライズド温度スケーリング(PTS)を導入する。
最新のポストホックキャリブレータの精度保持性能は、その本質的な表現力によって制限されることを実証します。
当社の新しい精度保存手法が,多数のモデルアーキテクチャやデータセット,メトリクスにおいて,既存のアルゴリズムを一貫して上回っていることを示す。
論文 参考訳(メタデータ) (2021-02-24T10:18:30Z) - Uncertainty Quantification and Deep Ensembles [79.4957965474334]
ディープアンサンブルが必ずしもキャリブレーション特性の改善につながるとは限らないことを示す。
そこで本研究では,混成正規化などの現代的な手法と併用して標準アンサンブル法を用いることで,キャリブレーションの少ないモデルが得られることを示す。
このテキストは、データが不足しているときにディープラーニングを活用するために、最も単純で一般的な3つのアプローチの相互作用を調べる。
論文 参考訳(メタデータ) (2020-07-17T07:32:24Z) - Unsupervised Calibration under Covariate Shift [92.02278658443166]
ドメインシフト下でのキャリブレーションの問題を導入し、それに対処するための重要サンプリングに基づくアプローチを提案する。
実世界のデータセットと合成データセットの両方において,本手法の有効性を評価し検討した。
論文 参考訳(メタデータ) (2020-06-29T21:50:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。