論文の概要: Combining Ensembles and Data Augmentation can Harm your Calibration
- arxiv url: http://arxiv.org/abs/2010.09875v2
- Date: Mon, 22 Mar 2021 19:55:32 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-05 21:04:41.197218
- Title: Combining Ensembles and Data Augmentation can Harm your Calibration
- Title（参考訳）: アンサンブルとデータ拡張の組み合わせは、キャリブレーションを損なう
- Authors: Yeming Wen, Ghassen Jerfel, Rafael Muller, Michael W. Dusenberry,
Jasper Snoek, Balaji Lakshminarayanan, Dustin Tran
- Abstract要約: アンサンブルとデータ拡張を組み合わせることで、モデルのキャリブレーションを損なう可能性がある。
我々は,アンサンブルやデータ拡張のみを個別に使用することよりも,精度とキャリブレーションの利得を高い精度で達成し,両世界のベストを達成できる簡単な補正を提案する。
- 参考スコア（独自算出の注目度）: 33.94335246681807
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Ensemble methods which average over multiple neural network predictions are a
simple approach to improve a model's calibration and robustness. Similarly,
data augmentation techniques, which encode prior information in the form of
invariant feature transformations, are effective for improving calibration and
robustness. In this paper, we show a surprising pathology: combining ensembles
and data augmentation can harm model calibration. This leads to a trade-off in
practice, whereby improved accuracy by combining the two techniques comes at
the expense of calibration. On the other hand, selecting only one of the
techniques ensures good uncertainty estimates at the expense of accuracy. We
investigate this pathology and identify a compounding under-confidence among
methods which marginalize over sets of weights and data augmentation techniques
which soften labels. Finally, we propose a simple correction, achieving the
best of both worlds with significant accuracy and calibration gains over using
only ensembles or data augmentation individually. Applying the correction
produces new state-of-the art in uncertainty calibration across CIFAR-10,
CIFAR-100, and ImageNet.
- Abstract（参考訳）: 複数のニューラルネットワーク予測の平均的なアンサンブル法は、モデルのキャリブレーションとロバスト性を改善するための単純なアプローチである。
同様に、不変特徴変換の形で事前情報を符号化するデータ拡張技術は、校正と堅牢性を改善するのに有効である。
本稿では,アンサンブルとデータ拡張の組み合わせがモデルのキャリブレーションを損なうという驚くべき病理学を示す。
これにより、実際にはトレードオフが発生し、2つのテクニックを組み合わせることで精度が向上し、キャリブレーションのコストがかかる。
一方,提案手法の1つだけを選択することで,精度を犠牲にして良好な不確実性推定が可能である。
この病理学を解明し,重みの組を辺縁化する手法とラベルを軟化させるデータ拡張法との複合化を明らかにした。
最後に,アンサンブルやデータ拡張のみを個別に使用するよりも,高い精度とキャリブレーションゲインで両世界のベストを達成できる簡単な補正を提案する。
補正を適用することで、CIFAR-10、CIFAR-100、ImageNetで不確実な校正を行う新しい最先端技術が生み出される。
関連論文リスト
- Feature Clipping for Uncertainty Calibration [24.465567005078135]
現代のディープニューラルネットワーク(DNN)は、しばしば過剰な自信に悩まされ、誤校正につながる。
この問題に対処するために,特徴クリッピング(FC)と呼ばれるポストホックキャリブレーション手法を提案する。
FCは特定の閾値に特徴値をクリップし、高い校正誤差サンプルのエントロピーを効果的に増加させる。
論文 参考訳（メタデータ） (2024-10-16T06:44:35Z) - Fill In The Gaps: Model Calibration and Generalization with Synthetic Data [2.89287673224661]
本稿では,合成データを精度良く組み込んだキャリブレーション手法を提案する。
本稿では,予測校正誤差(ECE)をPAC学習フレームワークを用いて導出する。
平均34%の精度, 33%のECE低下を認めた。
論文 参考訳（メタデータ） (2024-10-07T23:06:42Z) - On Calibrating Semantic Segmentation Models: Analyses and An Algorithm [51.85289816613351]
セマンティックセグメンテーションキャリブレーションの問題について検討する。
モデルキャパシティ、作物サイズ、マルチスケールテスト、予測精度はキャリブレーションに影響を及ぼす。
我々は、単純で統一的で効果的なアプローチ、すなわち選択的スケーリングを提案する。
論文 参考訳（メタデータ） (2022-12-22T22:05:16Z) - On the Importance of Calibration in Semi-supervised Learning [13.859032326378188]
State-of-the-art (SOTA) の半教師付き学習(SSL)手法はラベル付きデータとラベルなしデータの混在を活用することに成功している。
我々は、キャリブレーションを最適化し、標準ビジョンベンチマークでその有効性を実証する新しいSSLモデル群を紹介します。
論文 参考訳（メタデータ） (2022-10-10T15:41:44Z) - Sample-dependent Adaptive Temperature Scaling for Improved Calibration [95.7477042886242]
ニューラルネットワークの誤りを補うポストホックアプローチは、温度スケーリングを実行することだ。
入力毎に異なる温度値を予測し、信頼度と精度のミスマッチを調整することを提案する。
CIFAR10/100およびTiny-ImageNetデータセットを用いて,ResNet50およびWideResNet28-10アーキテクチャ上で本手法をテストする。
論文 参考訳（メタデータ） (2022-07-13T14:13:49Z) - Improved Predictive Uncertainty using Corruption-based Calibration [64.49386167517582]
モデル予測が正しいという信頼性/不確かさをデータ上で推定するための簡単なポストホック校正法を提案する。
我々は、既知の腐敗の強度の異なるキャリブレーションセットを破損させることにより、サロゲート校正セットを合成する。
論文 参考訳（メタデータ） (2021-06-07T16:27:18Z) - Parameterized Temperature Scaling for Boosting the Expressive Power in
Post-Hoc Uncertainty Calibration [57.568461777747515]
我々は新しいキャリブレーション手法であるパラメタライズド温度スケーリング(PTS)を導入する。
最新のポストホックキャリブレータの精度保持性能は、その本質的な表現力によって制限されることを実証します。
当社の新しい精度保存手法が,多数のモデルアーキテクチャやデータセット,メトリクスにおいて,既存のアルゴリズムを一貫して上回っていることを示す。
論文 参考訳（メタデータ） (2021-02-24T10:18:30Z) - Uncertainty Quantification and Deep Ensembles [79.4957965474334]
ディープアンサンブルが必ずしもキャリブレーション特性の改善につながるとは限らないことを示す。
そこで本研究では,混成正規化などの現代的な手法と併用して標準アンサンブル法を用いることで,キャリブレーションの少ないモデルが得られることを示す。
このテキストは、データが不足しているときにディープラーニングを活用するために、最も単純で一般的な3つのアプローチの相互作用を調べる。
論文 参考訳（メタデータ） (2020-07-17T07:32:24Z) - Diverse Ensembles Improve Calibration [14.678791405731486]
アンサンブルメンバーごとに異なるデータ拡張を用いてキャリブレーションを改善するための簡単な手法を提案する。
さらに,テストとトレーニングの分布が同じである場合のキャリブレーションを改善するために,拡張されていないインプットと拡張されたインプットを混合するというアイデアも活用する。
論文 参考訳（メタデータ） (2020-07-08T15:48:12Z) - Unsupervised Calibration under Covariate Shift [92.02278658443166]
ドメインシフト下でのキャリブレーションの問題を導入し、それに対処するための重要サンプリングに基づくアプローチを提案する。
実世界のデータセットと合成データセットの両方において,本手法の有効性を評価し検討した。
論文 参考訳（メタデータ） (2020-06-29T21:50:07Z) - Mix-n-Match: Ensemble and Compositional Methods for Uncertainty
Calibration in Deep Learning [21.08664370117846]
我々は,Mix-n-Matchキャリブレーション戦略が,データ効率と表現力を大幅に向上することを示す。
標準評価プラクティスの潜在的な問題も明らかにします。
我々の手法はキャリブレーションと評価タスクの両方において最先端のソリューションより優れている。
論文 参考訳（メタデータ） (2020-03-16T17:00:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。