論文の概要: A Stitch in Time Saves Nine: A Train-Time Regularizing Loss for Improved Neural Network Calibration

• arxiv url: http://arxiv.org/abs/2203.13834v1
• Date: Fri, 25 Mar 2022 18:02:13 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-03 06:33:37.662859
• Title: A Stitch in Time Saves Nine: A Train-Time Regularizing Loss for Improved Neural Network Calibration
• Title（参考訳）: 時間の短所で9つ節約する: ニューラルネットワークのキャリブレーション改善のための列車時間正規化損失
• Authors: Ramya Hebbalaguppe, Jatin Prakash, Neelabh Madan, Chetan Arora
• Abstract要約: 信頼性と精度の多クラス差(MDCA)という,新たな補助的損失関数を提案する。 MDCAを用いたトレーニングは,画像分類やセグメンテーションタスクにおける予測誤差(ECE)と静的誤差(SCE)の観点から,より良い校正モデルをもたらすことを示す。
• 参考スコア（独自算出の注目度）: 12.449806152650657
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deep Neural Networks ( DNN s) are known to make overconfident mistakes, which makes their use problematic in safety-critical applications. State-of-the-art ( SOTA ) calibration techniques improve on the confidence of predicted labels alone and leave the confidence of non-max classes (e.g. top-2, top-5) uncalibrated. Such calibration is not suitable for label refinement using post-processing. Further, most SOTA techniques learn a few hyper-parameters post-hoc, leaving out the scope for image, or pixel specific calibration. This makes them unsuitable for calibration under domain shift, or for dense prediction tasks like semantic segmentation. In this paper, we argue for intervening at the train time itself, so as to directly produce calibrated DNN models. We propose a novel auxiliary loss function: Multi-class Difference in Confidence and Accuracy ( MDCA ), to achieve the same MDCA can be used in conjunction with other application/task-specific loss functions. We show that training with MDCA leads to better-calibrated models in terms of Expected Calibration Error ( ECE ), and Static Calibration Error ( SCE ) on image classification, and segmentation tasks. We report ECE ( SCE ) score of 0.72 (1.60) on the CIFAR 100 dataset, in comparison to 1.90 (1.71) by the SOTA. Under domain shift, a ResNet-18 model trained on PACS dataset using MDCA gives an average ECE ( SCE ) score of 19.7 (9.7) across all domains, compared to 24.2 (11.8) by the SOTA. For the segmentation task, we report a 2X reduction in calibration error on PASCAL - VOC dataset in comparison to Focal Loss. Finally, MDCA training improves calibration even on imbalanced data, and for natural language classification tasks. We have released the code here: code is available at https://github.com/mdca-loss
• Abstract（参考訳）: ディープニューラルネットワーク(DNN)は、過信的なミスを犯すことで知られており、安全クリティカルなアプリケーションでの使用に問題がある。 最先端(SOTA)キャリブレーション技術は、予測ラベルのみの信頼性を改善し、非マックスクラス(トップ2、トップ5)の信頼性を損なう。 このようなキャリブレーションは、後処理を用いたラベルリファインメントには適さない。 さらに、ほとんどのSOTA技術は、いくつかのハイパーパラメーターをポストホックで学習し、画像のスコープやピクセル固有のキャリブレーションを除外する。 これにより、ドメインシフトの下でのキャリブレーションや、セマンティックセグメンテーションのような密集した予測タスクには適さない。 本稿では,列車時間自体の介入を論じ,キャリブレーションDNNモデルを直接生成する。 MDCA(Multi-class difference in Confidence and Accuracy)は,他のアプリケーションやタスク固有の損失関数と組み合わせて,同一のMDCAを実現する機能である。 MDCAを用いたトレーニングは,画像分類やセグメンテーションタスクにおいて,期待校正誤差 (ECE) と静的校正誤差 (SCE) の観点から,より良い校正モデルをもたらすことを示す。 CIFAR 100 データセットの ECE (SCE ) スコアは 0.72 (1.60) であり、SOTA は 1.90 (1.71) である。 ドメインシフトの下では、MDCAを用いてPACSデータセットでトレーニングされたResNet-18モデルは、SOTAの24.2 (11.8)と比較すると、平均的なECEスコア(SCE)が全ドメインで19.7 (9.7)である。 セグメンテーションタスクでは,Focal Lossと比較してPASCAL-VOCデータセットの校正誤差を2倍に削減した。 最後に、MDCAトレーニングは、不均衡なデータや自然言語分類タスクに対しても校正を改善する。 コードはhttps://github.com/mdca-lossで入手できる。

関連論文リスト

• ForeCal: Random Forest-based Calibration for DNNs [0.0]
  我々はランダム森林に基づく新しいポストホックキャリブレーションアルゴリズムであるForeCalを提案する。 ForeCalはランダム森林の2つのユニークな特性を生かしている。 ForeCal は,AUC が測定した基準の識別力に最小限の影響を与え,予測誤差(ECE) で既存手法より優れることを示す。
  論文  参考訳（メタデータ） (2024-09-04T04:56:41Z)
• Average Calibration Error: A Differentiable Loss for Improved Reliability in Image Segmentation [17.263160921956445]
  本稿では,L1平均キャリブレーション誤差(mL1-ACE)を新たな補助損失関数として用いて,セグメンテーション品質を損なうことなく画素ワイドキャリブレーションを改善することを提案する。 この損失は、ハード・ビンニングを用いても直接微分可能であり、近似的ではあるが微分可能なサロゲートやソフト・ビンニングのアプローチを回避できることが示される。
  論文  参考訳（メタデータ） (2024-03-11T14:31:03Z)
• Bridging Precision and Confidence: A Train-Time Loss for Calibrating Object Detection [58.789823426981044]
  本稿では,境界ボックスのクラス信頼度を予測精度に合わせることを目的とした,新たな補助損失定式化を提案する。 その結果,列車の走行時間損失はキャリブレーション基準を超過し,キャリブレーション誤差を低減させることがわかった。
  論文  参考訳（メタデータ） (2023-03-25T08:56:21Z)
• DOMINO: Domain-aware Model Calibration in Medical Image Segmentation [51.346121016559024]
  現代のディープニューラルネットワークはキャリブレーションが不十分で、信頼性と信頼性を損なう。 本稿では,クラスラベル間のセマンティック・コンフューザビリティと階層的類似性を利用したドメイン認識モデルキャリブレーション手法であるDOMINOを提案する。 その結果,DOMINOを校正したディープニューラルネットワークは,頭部画像分割における非校正モデルや最先端形態計測法よりも優れていた。
  論文  参考訳（メタデータ） (2022-09-13T15:31:52Z)
• Sample-dependent Adaptive Temperature Scaling for Improved Calibration [95.7477042886242]
  ニューラルネットワークの誤りを補うポストホックアプローチは、温度スケーリングを実行することだ。 入力毎に異なる温度値を予測し、信頼度と精度のミスマッチを調整することを提案する。 CIFAR10/100およびTiny-ImageNetデータセットを用いて,ResNet50およびWideResNet28-10アーキテクチャ上で本手法をテストする。
  論文  参考訳（メタデータ） (2022-07-13T14:13:49Z)
• On the Dark Side of Calibration for Modern Neural Networks [65.83956184145477]
  予測キャリブレーション誤差(ECE)を予測信頼度と改善度に分解する。 正規化に基づくキャリブレーションは、モデルの信頼性を損なうことのみに焦点を当てる。 ラベルの平滑化やミキサアップなど,多くのキャリブレーション手法により,DNNの精度を低下させることで,DNNの有用性を低下させることがわかった。
  論文  参考訳（メタデータ） (2021-06-17T11:04:14Z)
• Transferable Calibration with Lower Bias and Variance in Domain Adaptation [139.4332115349543]
  ドメイン適応(DA)は、ラベル付きソースドメインからラベル付きターゲットドメインへの学習マシンの転送を可能にする。 DAモデルの予測的不確実性を推定する方法は、安全クリティカルなシナリオにおける意思決定に不可欠である。 TransCalは既存のDAメソッドの校正に簡単に適用できる。
  論文  参考訳（メタデータ） (2020-07-16T11:09:36Z)
• On Calibration of Mixup Training for Deep Neural Networks [1.6242924916178283]
  我々は、Mixupが必ずしも校正を改善していないという実証的な証拠を論じ、提示する。 我々の損失はベイズ決定理論にインスパイアされ、確率的モデリングの損失を設計するための新しいトレーニングフレームワークが導入された。 キャリブレーション性能を一貫した改善を施した最先端の精度を提供する。
  論文  参考訳（メタデータ） (2020-03-22T16:54:31Z)
• Calibrating Deep Neural Networks using Focal Loss [77.92765139898906]
  ミススキャリブレーション(Miscalibration)は、モデルの信頼性と正しさのミスマッチである。 焦点損失は、既に十分に校正されたモデルを学ぶことができることを示す。 ほぼすべてのケースにおいて精度を損なうことなく,最先端のキャリブレーションを達成できることを示す。
  論文  参考訳（メタデータ） (2020-02-21T17:35:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。