論文の概要: Post-hoc Uncertainty Calibration for Domain Drift Scenarios
- arxiv url: http://arxiv.org/abs/2012.10988v1
- Date: Sun, 20 Dec 2020 18:21:13 GMT
- ステータス: 処理完了
- システム内更新日: 2021-05-01 04:50:24.665363
- Title: Post-hoc Uncertainty Calibration for Domain Drift Scenarios
- Title（参考訳）: ドメインドリフトシナリオに対するポストホック不確実性校正
- Authors: Christian Tomani, Sebastian Gruber, Muhammed Ebrar Erdem, Daniel
Cremers, Florian Buettner
- Abstract要約: 既存のポストホックキャリブレーション手法は、ドメインシフト下での過信予測を高い精度で得ることを示した。
ポストホックキャリブレーションステップを実行する前に、検証セットのサンプルに摂動を適用する簡単な戦略を紹介します。
- 参考スコア（独自算出の注目度）: 46.88826364244423
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We address the problem of uncertainty calibration. While standard deep neural
networks typically yield uncalibrated predictions, calibrated confidence scores
that are representative of the true likelihood of a prediction can be achieved
using post-hoc calibration methods. However, to date the focus of these
approaches has been on in-domain calibration. Our contribution is two-fold.
First, we show that existing post-hoc calibration methods yield highly
over-confident predictions under domain shift. Second, we introduce a simple
strategy where perturbations are applied to samples in the validation set
before performing the post-hoc calibration step. In extensive experiments, we
demonstrate that this perturbation step results in substantially better
calibration under domain shift on a wide range of architectures and modelling
tasks.
- Abstract（参考訳）: 不確実性校正の問題に対処する。
標準のディープニューラルネットワークは通常、非校正された予測を生成するが、予測の真の可能性を表す校正された信頼スコアは、ポストホックキャリブレーション法を用いて達成できる。
しかし、これまでこれらのアプローチはドメイン内校正に重点を置いてきた。
私たちの貢献は2倍です。
まず,既存のポストホックキャリブレーション手法が,ドメインシフト下での信頼度の高い予測をもたらすことを示す。
第2に,ポストホックキャリブレーションステップを行う前に,検証セット内のサンプルに摂動を適用する簡単な戦略を提案する。
広範にわたる実験では、この摂動ステップにより、幅広いアーキテクチャやモデリングタスクにおけるドメインシフトのキャリブレーションが大幅に向上することを示した。
関連論文リスト
- Towards Certification of Uncertainty Calibration under Adversarial Attacks [96.48317453951418]
攻撃はキャリブレーションを著しく損なう可能性を示し, 対向的摂動下でのキャリブレーションにおける最悪のキャリブレーション境界として認定キャリブレーションを提案する。
我々は,新しいキャリブレーション攻撃を提案し,テクスタディバーショナルキャリブレーショントレーニングによりモデルキャリブレーションを改善する方法を示す。
論文 参考訳（メタデータ） (2024-05-22T18:52:09Z) - Multiclass Confidence and Localization Calibration for Object Detection [4.119048608751183]
ディープニューラルネットワーク(DNN)は、過信的な予測を行う傾向があり、調整が不十分である。
本稿では,現代の物体検出手法を校正するための新しい列車時手法を提案する。
論文 参考訳（メタデータ） (2023-06-14T06:14:16Z) - Sharp Calibrated Gaussian Processes [58.94710279601622]
キャリブレーションされたモデルを設計するための最先端のアプローチは、ガウス過程の後方分散を膨らませることに依存している。
本稿では,バニラガウス過程の後方分散にインスパイアされた計算を用いて,予測量子化を生成するキャリブレーション手法を提案する。
我々のアプローチは合理的な仮定の下で校正されたモデルが得られることを示す。
論文 参考訳（メタデータ） (2023-02-23T12:17:36Z) - On Calibrating Semantic Segmentation Models: Analyses and An Algorithm [51.85289816613351]
セマンティックセグメンテーションキャリブレーションの問題について検討する。
モデルキャパシティ、作物サイズ、マルチスケールテスト、予測精度はキャリブレーションに影響を及ぼす。
我々は、単純で統一的で効果的なアプローチ、すなわち選択的スケーリングを提案する。
論文 参考訳（メタデータ） (2022-12-22T22:05:16Z) - On Calibration of Scene-Text Recognition Models [16.181357648680365]
我々は最近のSTR法を分析し、それらが常に過信であることを示す。
注意に基づくデコーダでは,個々の文字予測のキャリブレーションが単語レベルのキャリブレーション誤差を増加させることを示す。
論文 参考訳（メタデータ） (2020-12-23T13:25:25Z) - Unsupervised Calibration under Covariate Shift [92.02278658443166]
ドメインシフト下でのキャリブレーションの問題を導入し、それに対処するための重要サンプリングに基づくアプローチを提案する。
実世界のデータセットと合成データセットの両方において,本手法の有効性を評価し検討した。
論文 参考訳（メタデータ） (2020-06-29T21:50:07Z) - Calibration of Pre-trained Transformers [55.57083429195445]
本研究ではBERTとRoBERTaに着目し,自然言語推論,パラフレーズ検出,コモンセンス推論という3つのタスクのキャリブレーションを分析した。
その結果,(1) 事前学習モデルを用いてドメイン内キャリブレーションを行う場合, ベースラインと比較して, ドメイン外キャリブレーション誤差が3.5倍も低いこと,(2) ドメイン内キャリブレーション誤差をさらに低減するために温度スケーリングが有効であること,および, ラベルスムーシングを用いて実証的不確実性を意図的に増大させることにより, ドメイン内キャリブレーション後部キャリブレーションを支援すること,などが示されている。
論文 参考訳（メタデータ） (2020-03-17T18:58:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。