論文の概要: Proximity-Informed Calibration for Deep Neural Networks

• arxiv url: http://arxiv.org/abs/2306.04590v2
• Date: Sun, 17 Mar 2024 06:43:38 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-20 04:32:24.764954
• Title: Proximity-Informed Calibration for Deep Neural Networks
• Title（参考訳）: 深部ニューラルネットワークの確率インフォームド校正
• Authors: Miao Xiong, Ailin Deng, Pang Wei Koh, Jiaying Wu, Shen Li, Jianqing Xu, Bryan Hooi,
• Abstract要約: ProCalは、近接性に基づいてサンプル信頼度を調整する理論的保証を持つプラグアンドプレイアルゴリズムである。 ProCalは、近接バイアスに対処し、バランスの取れた、長い、分布シフトの設定の校正を改善するのに有効であることを示す。
• 参考スコア（独自算出の注目度）: 49.330703634912915
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Confidence calibration is central to providing accurate and interpretable uncertainty estimates, especially under safety-critical scenarios. However, we find that existing calibration algorithms often overlook the issue of *proximity bias*, a phenomenon where models tend to be more overconfident in low proximity data (i.e., data lying in the sparse region of the data distribution) compared to high proximity samples, and thus suffer from inconsistent miscalibration across different proximity samples. We examine the problem over 504 pretrained ImageNet models and observe that: 1) Proximity bias exists across a wide variety of model architectures and sizes; 2) Transformer-based models are relatively more susceptible to proximity bias than CNN-based models; 3) Proximity bias persists even after performing popular calibration algorithms like temperature scaling; 4) Models tend to overfit more heavily on low proximity samples than on high proximity samples. Motivated by the empirical findings, we propose ProCal, a plug-and-play algorithm with a theoretical guarantee to adjust sample confidence based on proximity. To further quantify the effectiveness of calibration algorithms in mitigating proximity bias, we introduce proximity-informed expected calibration error (PIECE) with theoretical analysis. We show that ProCal is effective in addressing proximity bias and improving calibration on balanced, long-tail, and distribution-shift settings under four metrics over various model architectures. We believe our findings on proximity bias will guide the development of *fairer and better-calibrated* models, contributing to the broader pursuit of trustworthy AI. Our code is available at: https://github.com/MiaoXiong2320/ProximityBias-Calibration.
• Abstract（参考訳）: 信頼性キャリブレーションは、特に安全クリティカルなシナリオにおいて、正確で解釈可能な不確実性推定を提供することの中心である。 しかし, 従来のキャリブレーションアルゴリズムでは, 低近接データ(つまりデータ分布のスパース領域にあるデータ)において, 高近接データよりもモデルの方が過度に信頼される傾向にあり, 異なる近接サンプル間での不整合な誤校正に悩まされる, という問題もしばしば見過ごされる。 我々は、504以上の事前学習されたImageNetモデルの問題を調べ、それを観察する。 1) 確率バイアスは,多種多様なモデルアーキテクチャやサイズにわたって存在する。 2)トランスフォーマーベースモデルは,CNNベースモデルよりも近接バイアスに比較的敏感である。 3)温度スケーリングのような一般的な校正アルゴリズムを実行した後でも、確率バイアスは持続する。 4) モデルは高近接サンプルよりも低近接サンプルに過度に適合する傾向にある。 実験結果に触発されたProCalは,近接性に基づく標本の信頼度調整を理論的に保証するプラグアンドプレイアルゴリズムである。 近接バイアス低減のためのキャリブレーションアルゴリズムの有効性をさらに定量化するため,理論解析による近接インフォームド予測キャリブレーション誤差(PIECE)を導入する。 ProCalは, モデルアーキテクチャ上の4つの指標の下で, 近接バイアスに対処し, バランス, ロングテール, 分布シフトの設定のキャリブレーションを改善するのに有効であることを示す。 近接バイアスに関する我々の発見は、信頼に値するAIの幅広い追求に寄与し、*fairerとより良い校正された*モデルの開発を導いてくれると信じています。 私たちのコードは、https://github.com/MiaoXiong2320/ProximityBias-Calibrationで利用可能です。

関連論文リスト

• Multiclass Alignment of Confidence and Certainty for Network Calibration [10.15706847741555]
  最近の研究では、ディープニューラルネットワーク(DNN)が過信的な予測を行う傾向があることが示されている。 予測平均信頼度と予測確実性(MACC)の多クラスアライメントとして知られる簡易なプラグアンドプレイ補助損失を特徴とする列車時キャリブレーション法を提案する。 本手法は,領域内および領域外両方のキャリブレーション性能を実現する。
  論文  参考訳（メタデータ） (2023-09-06T00:56:24Z)
• Calibration of Neural Networks [77.34726150561087]
  本稿では,ニューラルネットワークの文脈における信頼性校正問題について調査する。 我々は,問題文,キャリブレーション定義,評価に対する異なるアプローチについて分析する。 実験実験では、様々なデータセットとモデルをカバーし、異なる基準に従って校正方法を比較する。
  論文  参考訳（メタデータ） (2023-03-19T20:27:51Z)
• Confidence Calibration for Intent Detection via Hyperspherical Space and Rebalanced Accuracy-Uncertainty Loss [17.26964140836123]
  一部のシナリオでは、ユーザは正確さだけでなく、モデルの信頼性も気にします。 本稿では,超球面空間と精度・不確かさ損失の再バランスを用いたモデルを提案する。 本モデルでは,既存の校正手法より優れ,校正基準の大幅な改善を実現している。
  論文  参考訳（メタデータ） (2022-03-17T12:01:33Z)
• T-Cal: An optimal test for the calibration of predictive models [49.11538724574202]
  有限検証データセットを用いた予測モデルの誤校正を仮説検証問題として検討する。 誤校正の検出は、クラスの条件付き確率が予測の十分滑らかな関数である場合にのみ可能である。 我々は、$ell$-Expected Error(ECE)のデバイアスドプラグイン推定器に基づくキャリブレーションのためのミニマックステストであるT-Calを提案する。
  論文  参考訳（メタデータ） (2022-03-03T16:58:54Z)
• Bayesian Confidence Calibration for Epistemic Uncertainty Modelling [4.358626952482686]
  キャリブレーション法の不確実性を考慮した信頼度推定手法を提案する。 物体検出校正のための最先端校正性能を実現する。
  論文  参考訳（メタデータ） (2021-09-21T10:53:16Z)
• Revisiting the Calibration of Modern Neural Networks [44.26439222399464]
  現代のニューラルネットワークにおける誤校正の多くの事例が報告されており、より新しい、より正確なモデルが低い校正された予測を生み出す傾向が示唆されている。 モデルキャリブレーションと精度を体系的に関連付け,最新のモデル,特に畳み込みを使用しないモデルが最適なキャリブレーションであることを示す。 また,モデルサイズと事前学習量の差が完全には説明できないことを示し,アーキテクチャがキャリブレーション特性の主要な決定要因であることを示唆した。
  論文  参考訳（メタデータ） (2021-06-15T09:24:43Z)
• Improving Uncertainty Calibration via Prior Augmented Data [56.88185136509654]
  ニューラルネットワークは、普遍関数近似器として機能することで、複雑なデータ分布から学習することに成功した。 彼らはしばしば予測に自信過剰であり、不正確で誤った確率的予測に繋がる。 本稿では,モデルが不当に過信である特徴空間の領域を探索し,それらの予測のエントロピーをラベルの以前の分布に対して条件的に高める手法を提案する。
  論文  参考訳（メタデータ） (2021-02-22T07:02:37Z)
• Unlabelled Data Improves Bayesian Uncertainty Calibration under Covariate Shift [100.52588638477862]
  後続正則化に基づく近似ベイズ推定法を開発した。 前立腺癌の予後モデルを世界規模で導入する上で,本手法の有用性を実証する。
  論文  参考訳（メタデータ） (2020-06-26T13:50:19Z)
• Calibrating Deep Neural Networks using Focal Loss [77.92765139898906]
  ミススキャリブレーション(Miscalibration)は、モデルの信頼性と正しさのミスマッチである。 焦点損失は、既に十分に校正されたモデルを学ぶことができることを示す。 ほぼすべてのケースにおいて精度を損なうことなく,最先端のキャリブレーションを達成できることを示す。
  論文  参考訳（メタデータ） (2020-02-21T17:35:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。