論文の概要: Improving Uncertainty Calibration of Deep Neural Networks via Truth Discovery and Geometric Optimization

• arxiv url: http://arxiv.org/abs/2106.14662v1
• Date: Fri, 25 Jun 2021 06:44:16 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-29 13:59:17.806726
• Title: Improving Uncertainty Calibration of Deep Neural Networks via Truth Discovery and Geometric Optimization
• Title（参考訳）: 真理発見と幾何最適化による深層ニューラルネットワークの不確実性校正の改善
• Authors: Chunwei Ma, Ziyun Huang, Jiayi Xian, Mingchen Gao, Jinhui Xu
• Abstract要約: 本研究では,アンサンブルとポストホックの校正手法を統合するための真理発見フレームワークを提案する。 CIFARやImageNetなどの大規模データセットでは,最先端のキャリブレーション手法に対して一貫した改善が見られた。
• 参考スコア（独自算出の注目度）: 22.57474734944132
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Deep Neural Networks (DNNs), despite their tremendous success in recent years, could still cast doubts on their predictions due to the intrinsic uncertainty associated with their learning process. Ensemble techniques and post-hoc calibrations are two types of approaches that have individually shown promise in improving the uncertainty calibration of DNNs. However, the synergistic effect of the two types of methods has not been well explored. In this paper, we propose a truth discovery framework to integrate ensemble-based and post-hoc calibration methods. Using the geometric variance of the ensemble candidates as a good indicator for sample uncertainty, we design an accuracy-preserving truth estimator with provably no accuracy drop. Furthermore, we show that post-hoc calibration can also be enhanced by truth discovery-regularized optimization. On large-scale datasets including CIFAR and ImageNet, our method shows consistent improvement against state-of-the-art calibration approaches on both histogram-based and kernel density-based evaluation metrics. Our codes are available at https://github.com/horsepurve/truly-uncertain.
• Abstract（参考訳）: 近年のDeep Neural Networks(DNN)は、その成功にもかかわらず、学習プロセスに固有の不確実性のために、予測に疑問を投げかける可能性がある。 アンサンブル技術とポストホックキャリブレーションは、DNNの不確実性キャリブレーションの改善を個別に示す2種類のアプローチである。 しかし,2種類の手法の相乗効果はよく研究されていない。 本稿では,アンサンブル法とポストホック校正法を統合するための真理発見フレームワークを提案する。 そこで,アンサンブル候補の幾何分散をサンプル不確かさのよい指標として用い,精度を保った真理推定器を設計した。 さらに,事実発見正規化最適化により,ポストホックキャリブレーションを向上できることを示す。 CIFAR や ImageNet などの大規模データセットでは,ヒストグラムとカーネル密度に基づく評価指標に対する最先端キャリブレーション手法に対して一貫した改善が見られた。 私たちのコードはhttps://github.com/ horsepurve/truly-uncertainで入手できます。

関連論文リスト

• Towards Calibrated Robust Fine-Tuning of Vision-Language Models [97.19901765814431]
  視覚言語モデル(VLM)におけるOOD精度と校正誤差の両方を改善する頑健な微調整法を提案する。 この知見に基づいて,最小の特異値を持つ制約付きマルチモーダルコントラスト損失を用いて微調整を行う新しいフレームワークを設計する。
  論文  参考訳（メタデータ） (2023-11-03T05:41:25Z)
• Bridging Precision and Confidence: A Train-Time Loss for Calibrating Object Detection [58.789823426981044]
  本稿では,境界ボックスのクラス信頼度を予測精度に合わせることを目的とした,新たな補助損失定式化を提案する。 その結果,列車の走行時間損失はキャリブレーション基準を超過し,キャリブレーション誤差を低減させることがわかった。
  論文  参考訳（メタデータ） (2023-03-25T08:56:21Z)
• Beyond In-Domain Scenarios: Robust Density-Aware Calibration [48.00374886504513]
  ディープラーニングモデルをキャリブレーションして不確実性を認識した予測を生成することは、ディープニューラルネットワークが安全クリティカルなアプリケーションにますますデプロイされるため、非常に重要です。 k-nearest-neighbors(KNN)に基づく精度保存と密度認識手法であるDACを提案する。 DACはドメインシフトやOODのキャリブレーション性能の堅牢性を高めつつ,ドメイン内予測の不確実性評価に優れることを示す。
  論文  参考訳（メタデータ） (2023-02-10T08:48:32Z)
• Evaluating Uncertainty Calibration for Open-Set Recognition [5.8022510096020525]
  ディープニューラルネットワーク(DNN)は、アウト・オブ・ディストリビューション(OOD)データに過信的な確率を提供する。 我々は,OODデータに対する従来のキャリブレーション手法とは大きく異なる方法で,オープンセット条件に対する一般的なキャリブレーション手法を評価する。
  論文  参考訳（メタデータ） (2022-05-15T02:08:35Z)
• On the Dark Side of Calibration for Modern Neural Networks [65.83956184145477]
  予測キャリブレーション誤差(ECE)を予測信頼度と改善度に分解する。 正規化に基づくキャリブレーションは、モデルの信頼性を損なうことのみに焦点を当てる。 ラベルの平滑化やミキサアップなど,多くのキャリブレーション手法により,DNNの精度を低下させることで,DNNの有用性を低下させることがわかった。
  論文  参考訳（メタデータ） (2021-06-17T11:04:14Z)
• Uncertainty-Aware Deep Calibrated Salient Object Detection [74.58153220370527]
  既存のディープニューラルネットワークに基づくサルエントオブジェクト検出(SOD)手法は主に高いネットワーク精度の追求に重点を置いている。 これらの手法は、信頼不均衡問題として知られるネットワーク精度と予測信頼の間のギャップを見落としている。 我々は,不確実性を考慮した深部SODネットワークを導入し,深部SODネットワークの過信を防止するための2つの戦略を提案する。
  論文  参考訳（メタデータ） (2020-12-10T23:28:36Z)
• Combining Ensembles and Data Augmentation can Harm your Calibration [33.94335246681807]
  アンサンブルとデータ拡張を組み合わせることで、モデルのキャリブレーションを損なう可能性がある。 我々は,アンサンブルやデータ拡張のみを個別に使用することよりも,精度とキャリブレーションの利得を高い精度で達成し,両世界のベストを達成できる簡単な補正を提案する。
  論文  参考訳（メタデータ） (2020-10-19T21:25:22Z)
• On Calibration of Mixup Training for Deep Neural Networks [1.6242924916178283]
  我々は、Mixupが必ずしも校正を改善していないという実証的な証拠を論じ、提示する。 我々の損失はベイズ決定理論にインスパイアされ、確率的モデリングの損失を設計するための新しいトレーニングフレームワークが導入された。 キャリブレーション性能を一貫した改善を施した最先端の精度を提供する。
  論文  参考訳（メタデータ） (2020-03-22T16:54:31Z)
• Mix-n-Match: Ensemble and Compositional Methods for Uncertainty Calibration in Deep Learning [21.08664370117846]
  我々は,Mix-n-Matchキャリブレーション戦略が,データ効率と表現力を大幅に向上することを示す。 標準評価プラクティスの潜在的な問題も明らかにします。 我々の手法はキャリブレーションと評価タスクの両方において最先端のソリューションより優れている。
  論文  参考訳（メタデータ） (2020-03-16T17:00:35Z)
• Calibrating Deep Neural Networks using Focal Loss [77.92765139898906]
  ミススキャリブレーション(Miscalibration)は、モデルの信頼性と正しさのミスマッチである。 焦点損失は、既に十分に校正されたモデルを学ぶことができることを示す。 ほぼすべてのケースにおいて精度を損なうことなく,最先端のキャリブレーションを達成できることを示す。
  論文  参考訳（メタデータ） (2020-02-21T17:35:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。