論文の概要: Decoupling of neural network calibration measures

• arxiv url: http://arxiv.org/abs/2406.02411v1
• Date: Tue, 4 Jun 2024 15:21:37 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-05 15:40:59.269346
• Title: Decoupling of neural network calibration measures
• Title（参考訳）: ニューラルネットワークキャリブレーション対策のデカップリング
• Authors: Dominik Werner Wolf, Prasannavenkatesh Balaji, Alexander Braun, Markus Ulrich,
• Abstract要約: 本稿では,AUSE(Area Under Sparsification Error curve)測定値に焦点をあてて,異なるニューラルネットワークキャリブレーション尺度の結合について検討する。 本稿では,現行の手法は自由度を保ち,安全クリティカルな機能のホモログ化のユニークなモデルを妨げると結論付けている。
• 参考スコア（独自算出の注目度）: 45.70855737027571
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: A lot of effort is currently invested in safeguarding autonomous driving systems, which heavily rely on deep neural networks for computer vision. We investigate the coupling of different neural network calibration measures with a special focus on the Area Under the Sparsification Error curve (AUSE) metric. We elaborate on the well-known inconsistency in determining optimal calibration using the Expected Calibration Error (ECE) and we demonstrate similar issues for the AUSE, the Uncertainty Calibration Score (UCS), as well as the Uncertainty Calibration Error (UCE). We conclude that the current methodologies leave a degree of freedom, which prevents a unique model calibration for the homologation of safety-critical functionalities. Furthermore, we propose the AUSE as an indirect measure for the residual uncertainty, which is irreducible for a fixed network architecture and is driven by the stochasticity in the underlying data generation process (aleatoric contribution) as well as the limitation in the hypothesis space (epistemic contribution).
• Abstract（参考訳）: 現在、コンピュータービジョンのためのディープニューラルネットワークに大きく依存している自動運転システムの保護に多くの努力が注がれている。 本研究では,ニューラルネットワークのキャリブレーション対策と,スペーシフィケーション誤差曲線(AUSE)測定値に基づく領域に着目した結合性について検討する。 我々は、期待校正誤差(ECE)を用いた最適校正判定の不整合について詳しく検討し、AUSE、不確かさ校正スコア(UCS)、および不確かさ校正誤差(UCE)に関しても同様の問題を示す。 本稿は,現行の手法が自由度を保ち,安全クリティカル機能のホモログ化のためのユニークなモデル校正を妨げていると結論付けている。 さらに、AUSEは、固定されたネットワークアーキテクチャでは不可能であり、基礎となるデータ生成プロセス(アリアティックコントリビューション)の確率性や仮説空間(エステミックコントリビューション)の制限によって駆動される、残留不確実性の間接尺度として提案する。

関連論文リスト

• On Measuring Calibration of Discrete Probabilistic Neural Networks [3.120856767382004]
  高次元確率分布を最大極大で適合させるニューラルネットワークの訓練は、不確実性定量化の有効な方法となっている。 expected Error (ECE) や Negative Log Likelihood (NLL) といった従来のメトリクスには制限がある。 本稿では,これらのバイアスや仮定を伴わずにキャリブレーションの誤差を測定するために,条件付きカーネル平均埋め込みを用いた新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-05-20T23:30:07Z)
• Calibration by Distribution Matching: Trainable Kernel Calibration Metrics [56.629245030893685]
  カーネルベースのキャリブレーションメトリクスを導入し、分類と回帰の両方で一般的なキャリブレーションの形式を統一・一般化する。 これらの指標は、異なるサンプル推定を許容しており、キャリブレーションの目的を経験的リスク最小化に組み込むのが容易である。 決定タスクにキャリブレーションメトリクスを調整し、正確な損失推定を行ない、後悔しない決定を行うための直感的なメカニズムを提供する。
  論文  参考訳（メタデータ） (2023-10-31T06:19:40Z)
• PseudoCal: A Source-Free Approach to Unsupervised Uncertainty Calibration in Domain Adaptation [87.69789891809562]
  非教師なしドメイン適応(UDA)は、未ラベルのターゲットドメインのモデルの精度を向上する顕著な進歩を目撃している。 UDAモデルの安全な配置の重要な側面であるターゲット領域における予測不確実性の校正は、あまり注目されていない。 PseudoCalは、ラベルのないターゲットデータにのみ依存するソースフリーキャリブレーション手法である。
  論文  参考訳（メタデータ） (2023-07-14T17:21:41Z)
• Calibration-Aware Bayesian Learning [37.82259435084825]
  本稿では、キャリブレーション対応ベイズニューラルネットワーク(CA-BNN)と呼ばれる統合フレームワークを提案する。 ベイズ学習のように変分分布を最適化しながら、データ依存あるいはデータ非依存の正則化をそれぞれ適用する。 予測キャリブレーション誤差(ECE)と信頼性図を用いて,提案手法の利点を検証した。
  論文  参考訳（メタデータ） (2023-05-12T14:19:15Z)
• On Calibrated Model Uncertainty in Deep Learning [0.0]
  損失校正されたベイジアンフレームワークの近似推論を,ドロップウェイトに基づくベイジアンニューラルネットワークに拡張する。 損失校正された不確実性から得られる決定は、簡単な代替手段よりも、診断性能を大幅に向上させることができることを示す。
  論文  参考訳（メタデータ） (2022-06-15T20:16:32Z)
• Evaluating Uncertainty Calibration for Open-Set Recognition [5.8022510096020525]
  ディープニューラルネットワーク(DNN)は、アウト・オブ・ディストリビューション(OOD)データに過信的な確率を提供する。 我々は,OODデータに対する従来のキャリブレーション手法とは大きく異なる方法で,オープンセット条件に対する一般的なキャリブレーション手法を評価する。
  論文  参考訳（メタデータ） (2022-05-15T02:08:35Z)
• Bayesian Confidence Calibration for Epistemic Uncertainty Modelling [4.358626952482686]
  キャリブレーション法の不確実性を考慮した信頼度推定手法を提案する。 物体検出校正のための最先端校正性能を実現する。
  論文  参考訳（メタデータ） (2021-09-21T10:53:16Z)
• Unsupervised Calibration under Covariate Shift [92.02278658443166]
  ドメインシフト下でのキャリブレーションの問題を導入し、それに対処するための重要サンプリングに基づくアプローチを提案する。 実世界のデータセットと合成データセットの両方において,本手法の有効性を評価し検討した。
  論文  参考訳（メタデータ） (2020-06-29T21:50:07Z)
• Unlabelled Data Improves Bayesian Uncertainty Calibration under Covariate Shift [100.52588638477862]
  後続正則化に基づく近似ベイズ推定法を開発した。 前立腺癌の予後モデルを世界規模で導入する上で,本手法の有用性を実証する。
  論文  参考訳（メタデータ） (2020-06-26T13:50:19Z)
• Calibration of Neural Networks using Splines [51.42640515410253]
  キャリブレーション誤差の測定は、2つの経験的分布を比較します。 古典的コルモゴロフ・スミルノフ統計テスト(KS)にインスパイアされたビンニングフリーキャリブレーション尺度を導入する。 提案手法は,KS誤差に対する既存の手法と,他の一般的なキャリブレーション手法とを一貫して比較する。
  論文  参考訳（メタデータ） (2020-06-23T07:18:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。