論文の概要: Beyond In-Domain Scenarios: Robust Density-Aware Calibration

• arxiv url: http://arxiv.org/abs/2302.05118v2
• Date: Tue, 4 Jul 2023 16:46:16 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-06 23:18:29.825099
• Title: Beyond In-Domain Scenarios: Robust Density-Aware Calibration
• Title（参考訳）: ドメイン内シナリオを超えて:ロバスト密度対応キャリブレーション
• Authors: Christian Tomani, Futa Waseda, Yuesong Shen and Daniel Cremers
• Abstract要約: ディープラーニングモデルをキャリブレーションして不確実性を認識した予測を生成することは、ディープニューラルネットワークが安全クリティカルなアプリケーションにますますデプロイされるため、非常に重要です。 k-nearest-neighbors(KNN)に基づく精度保存と密度認識手法であるDACを提案する。 DACはドメインシフトやOODのキャリブレーション性能の堅牢性を高めつつ,ドメイン内予測の不確実性評価に優れることを示す。
• 参考スコア（独自算出の注目度）: 48.00374886504513
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Calibrating deep learning models to yield uncertainty-aware predictions is crucial as deep neural networks get increasingly deployed in safety-critical applications. While existing post-hoc calibration methods achieve impressive results on in-domain test datasets, they are limited by their inability to yield reliable uncertainty estimates in domain-shift and out-of-domain (OOD) scenarios. We aim to bridge this gap by proposing DAC, an accuracy-preserving as well as Density-Aware Calibration method based on k-nearest-neighbors (KNN). In contrast to existing post-hoc methods, we utilize hidden layers of classifiers as a source for uncertainty-related information and study their importance. We show that DAC is a generic method that can readily be combined with state-of-the-art post-hoc methods. DAC boosts the robustness of calibration performance in domain-shift and OOD, while maintaining excellent in-domain predictive uncertainty estimates. We demonstrate that DAC leads to consistently better calibration across a large number of model architectures, datasets, and metrics. Additionally, we show that DAC improves calibration substantially on recent large-scale neural networks pre-trained on vast amounts of data.
• Abstract（参考訳）: 深層ニューラルネットワークがますます安全クリティカルなアプリケーションに展開されていく中、ディープラーニングモデルを校正して不確実性を認識することは重要だ。 既存のhoc後のキャリブレーション手法は、ドメイン内テストデータセットで印象的な結果が得られたが、それらはドメインシフトおよびドメイン外(ood)シナリオにおいて信頼性の高い不確実性推定ができないため、制限されている。 このギャップを,k-nearest-neighbors (knn) に基づく精度保存法であるdacと密度認識校正法を提案することで橋渡しする。 従来のポストホック法とは対照的に,分類器の隠れた層を不確実性に関する情報の源として利用し,その重要性について検討する。 DACは最先端のポストホック手法と簡単に組み合わせられる汎用手法であることを示す。 DACは、ドメインシフトとOODのキャリブレーション性能のロバスト性を高め、ドメイン内予測の不確実性評価を良好に維持する。 私たちは、DACが多数のモデルアーキテクチャ、データセット、メトリクスのキャリブレーションを一貫して改善することを示した。 さらに,DACは大量のデータを事前学習した最近の大規模ニューラルネットワークにおいて,キャリブレーションを大幅に改善することを示す。

関連論文リスト

• Consistency Calibration: Improving Uncertainty Calibration via Consistency among Perturbed Neighbors [22.39558434131574]
  モデルキャリブレーションの代替視点として一貫性の概念を導入する。 本稿では,入力間の一貫性に基づいて信頼度を調整する,一貫性(CC)と呼ばれるポストホックキャリブレーション手法を提案する。 また,ロジットレベルでの摂動は計算効率を著しく向上させることを示した。
  論文  参考訳（メタデータ） (2024-10-16T06:55:02Z)
• Consistency-Guided Temperature Scaling Using Style and Content Information for Out-of-Domain Calibration [24.89907794192497]
  領域外キャリブレーション性能を向上させるために,整合性誘導温度スケーリング(CTS)を提案する。 私たちは、複数のドメイン設定でデータサンプルを適切に表現できる重要なコンポーネントであるスタイルとコンテントという2つの異なる側面を考慮に入れています。 これは、精度を損なうことなくソースドメインのみを使用することで実現でき、我々のスキームは様々な信頼できるAIシステムに直接適用できる。
  論文  参考訳（メタデータ） (2024-02-22T23:36:18Z)
• Cal-DETR: Calibrated Detection Transformer [67.75361289429013]
  本稿では,Deformable-DETR,UP-DETR,DINOのキャリブレーション検出トランス(Cal-DETR)のメカニズムを提案する。 我々は、不確実性を利用してクラスロジットを変調する不確実性誘導ロジット変調機構を開発する。 その結果、Cal-DETRは、ドメイン内およびドメイン外の両方を校正する競合する列車時間法に対して有効であることがわかった。
  論文  参考訳（メタデータ） (2023-11-06T22:13:10Z)
• Multiclass Alignment of Confidence and Certainty for Network Calibration [10.15706847741555]
  最近の研究では、ディープニューラルネットワーク(DNN)が過信的な予測を行う傾向があることが示されている。 予測平均信頼度と予測確実性(MACC)の多クラスアライメントとして知られる簡易なプラグアンドプレイ補助損失を特徴とする列車時キャリブレーション法を提案する。 本手法は,領域内および領域外両方のキャリブレーション性能を実現する。
  論文  参考訳（メタデータ） (2023-09-06T00:56:24Z)
• PseudoCal: A Source-Free Approach to Unsupervised Uncertainty Calibration in Domain Adaptation [87.69789891809562]
  非教師なしドメイン適応(UDA)は、未ラベルのターゲットドメインのモデルの精度を向上する顕著な進歩を目撃している。 UDAモデルの安全な配置の重要な側面であるターゲット領域における予測不確実性の校正は、あまり注目されていない。 PseudoCalは、ラベルのないターゲットデータにのみ依存するソースフリーキャリブレーション手法である。
  論文  参考訳（メタデータ） (2023-07-14T17:21:41Z)
• Multiclass Confidence and Localization Calibration for Object Detection [4.119048608751183]
  ディープニューラルネットワーク(DNN)は、過信的な予測を行う傾向があり、調整が不十分である。 本稿では,現代の物体検出手法を校正するための新しい列車時手法を提案する。
  論文  参考訳（メタデータ） (2023-06-14T06:14:16Z)
• Bridging Precision and Confidence: A Train-Time Loss for Calibrating Object Detection [58.789823426981044]
  本稿では,境界ボックスのクラス信頼度を予測精度に合わせることを目的とした,新たな補助損失定式化を提案する。 その結果,列車の走行時間損失はキャリブレーション基準を超過し,キャリブレーション誤差を低減させることがわかった。
  論文  参考訳（メタデータ） (2023-03-25T08:56:21Z)
• Improving Uncertainty Calibration of Deep Neural Networks via Truth Discovery and Geometric Optimization [22.57474734944132]
  本研究では,アンサンブルとポストホックの校正手法を統合するための真理発見フレームワークを提案する。 CIFARやImageNetなどの大規模データセットでは,最先端のキャリブレーション手法に対して一貫した改善が見られた。
  論文  参考訳（メタデータ） (2021-06-25T06:44:16Z)
• Transferable Calibration with Lower Bias and Variance in Domain Adaptation [139.4332115349543]
  ドメイン適応(DA)は、ラベル付きソースドメインからラベル付きターゲットドメインへの学習マシンの転送を可能にする。 DAモデルの予測的不確実性を推定する方法は、安全クリティカルなシナリオにおける意思決定に不可欠である。 TransCalは既存のDAメソッドの校正に簡単に適用できる。
  論文  参考訳（メタデータ） (2020-07-16T11:09:36Z)
• Unlabelled Data Improves Bayesian Uncertainty Calibration under Covariate Shift [100.52588638477862]
  後続正則化に基づく近似ベイズ推定法を開発した。 前立腺癌の予後モデルを世界規模で導入する上で,本手法の有用性を実証する。
  論文  参考訳（メタデータ） (2020-06-26T13:50:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。