論文の概要: On the Dark Side of Calibration for Modern Neural Networks

• arxiv url: http://arxiv.org/abs/2106.09385v1
• Date: Thu, 17 Jun 2021 11:04:14 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-19 02:08:38.951517
• Title: On the Dark Side of Calibration for Modern Neural Networks
• Title（参考訳）: 現代のニューラルネットワークの校正の暗面について
• Authors: Aditya Singh, Alessandro Bay, Biswa Sengupta, Andrea Mirabile
• Abstract要約: 予測キャリブレーション誤差(ECE)を予測信頼度と改善度に分解する。 正規化に基づくキャリブレーションは、モデルの信頼性を損なうことのみに焦点を当てる。 ラベルの平滑化やミキサアップなど,多くのキャリブレーション手法により,DNNの精度を低下させることで,DNNの有用性を低下させることがわかった。
• 参考スコア（独自算出の注目度）: 65.83956184145477
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Modern neural networks are highly uncalibrated. It poses a significant challenge for safety-critical systems to utilise deep neural networks (DNNs), reliably. Many recently proposed approaches have demonstrated substantial progress in improving DNN calibration. However, they hardly touch upon refinement, which historically has been an essential aspect of calibration. Refinement indicates separability of a network's correct and incorrect predictions. This paper presents a theoretically and empirically supported exposition for reviewing a model's calibration and refinement. Firstly, we show the breakdown of expected calibration error (ECE), into predicted confidence and refinement. Connecting with this result, we highlight that regularisation based calibration only focuses on naively reducing a model's confidence. This logically has a severe downside to a model's refinement. We support our claims through rigorous empirical evaluations of many state of the art calibration approaches on standard datasets. We find that many calibration approaches with the likes of label smoothing, mixup etc. lower the utility of a DNN by degrading its refinement. Even under natural data shift, this calibration-refinement trade-off holds for the majority of calibration methods. These findings call for an urgent retrospective into some popular pathways taken for modern DNN calibration.
• Abstract（参考訳）: 現代のニューラルネットワークは高度に不完全である。 これは、ディープニューラルネットワーク(DNN)を確実に活用する安全クリティカルシステムにとって、大きな課題となる。 最近提案された多くのアプローチは、DNNキャリブレーションの改善に大きく進歩している。 しかし、歴史的に校正の重要な側面であった改良にはほとんど触れていない。 リファインメントは、ネットワークの正誤予測の分離可能性を示す。 本稿では,モデルキャリブレーションとリファインメントの検証のための理論的,実証的に支持された展示について述べる。 まず,期待校正誤差(ece)の崩壊を予測した信頼性と精細度に示す。 この結果と結びつくことで、正規化に基づくキャリブレーションはモデルの信頼性を損なうことだけに焦点を当てる。 これは論理的にモデルの洗練に対する深刻な欠点である。 我々は、標準データセットにおける様々な技術キャリブレーションアプローチの厳密な経験的評価を通じて、我々の主張を支持する。 ラベルの平滑化やミキサアップなど,多くのキャリブレーション手法が用いられている。 DNNの利便性を低下させる。 自然なデータシフトの下でも、このキャリブレーション抑制トレードオフは、キャリブレーション手法の大部分に当てはまる。 これらの知見は、現代のDNN校正のために取られたいくつかの一般的な経路に対する緊急のふりかえりを呼び起こす。

関連論文リスト

• Feature Clipping for Uncertainty Calibration [24.465567005078135]
  現代のディープニューラルネットワーク(DNN)は、しばしば過剰な自信に悩まされ、誤校正につながる。 この問題に対処するために,特徴クリッピング(FC)と呼ばれるポストホックキャリブレーション手法を提案する。 FCは特定の閾値に特徴値をクリップし、高い校正誤差サンプルのエントロピーを効果的に増加させる。
  論文  参考訳（メタデータ） (2024-10-16T06:44:35Z)
• Bridging Precision and Confidence: A Train-Time Loss for Calibrating Object Detection [58.789823426981044]
  本稿では,境界ボックスのクラス信頼度を予測精度に合わせることを目的とした,新たな補助損失定式化を提案する。 その結果,列車の走行時間損失はキャリブレーション基準を超過し,キャリブレーション誤差を低減させることがわかった。
  論文  参考訳（メタデータ） (2023-03-25T08:56:21Z)
• DOMINO: Domain-aware Model Calibration in Medical Image Segmentation [51.346121016559024]
  現代のディープニューラルネットワークはキャリブレーションが不十分で、信頼性と信頼性を損なう。 本稿では,クラスラベル間のセマンティック・コンフューザビリティと階層的類似性を利用したドメイン認識モデルキャリブレーション手法であるDOMINOを提案する。 その結果,DOMINOを校正したディープニューラルネットワークは,頭部画像分割における非校正モデルや最先端形態計測法よりも優れていた。
  論文  参考訳（メタデータ） (2022-09-13T15:31:52Z)
• Meta-Calibration: Learning of Model Calibration Using Differentiable Expected Calibration Error [46.12703434199988]
  我々は、キャリブレーション品質を直接最適化できる、期待キャリブレーション誤差(DECE)のための新しい微分可能なサロゲートを導入する。 また、DECEを用いて検証セットの校正を最適化するメタラーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-06-17T15:47:50Z)
• Revisiting the Calibration of Modern Neural Networks [44.26439222399464]
  現代のニューラルネットワークにおける誤校正の多くの事例が報告されており、より新しい、より正確なモデルが低い校正された予測を生み出す傾向が示唆されている。 モデルキャリブレーションと精度を体系的に関連付け,最新のモデル,特に畳み込みを使用しないモデルが最適なキャリブレーションであることを示す。 また,モデルサイズと事前学習量の差が完全には説明できないことを示し,アーキテクチャがキャリブレーション特性の主要な決定要因であることを示唆した。
  論文  参考訳（メタデータ） (2021-06-15T09:24:43Z)
• Uncertainty Quantification and Deep Ensembles [79.4957965474334]
  ディープアンサンブルが必ずしもキャリブレーション特性の改善につながるとは限らないことを示す。 そこで本研究では,混成正規化などの現代的な手法と併用して標準アンサンブル法を用いることで,キャリブレーションの少ないモデルが得られることを示す。 このテキストは、データが不足しているときにディープラーニングを活用するために、最も単純で一般的な3つのアプローチの相互作用を調べる。
  論文  参考訳（メタデータ） (2020-07-17T07:32:24Z)
• Post-hoc Calibration of Neural Networks by g-Layers [51.42640515410253]
  近年、ニューラルネットワークの校正に関する研究が急増している。 負ログライクリーフ(NLL)の最小化は、グローバルな最適化が達成されれば、トレーニングセット上の校正ネットワークにつながることが知られている。 基本ネットワーク (f$) が NLL のグローバルな最適化に繋がらず,追加レイヤ (g$) を追加し,パラメータを$g$ 1 に最適化することで NLL を最小化することで,キャリブレーションネットワークが得られることを示す。
  論文  参考訳（メタデータ） (2020-06-23T07:55:10Z)
• On Calibration of Mixup Training for Deep Neural Networks [1.6242924916178283]
  我々は、Mixupが必ずしも校正を改善していないという実証的な証拠を論じ、提示する。 我々の損失はベイズ決定理論にインスパイアされ、確率的モデリングの損失を設計するための新しいトレーニングフレームワークが導入された。 キャリブレーション性能を一貫した改善を施した最先端の精度を提供する。
  論文  参考訳（メタデータ） (2020-03-22T16:54:31Z)
• Calibrating Deep Neural Networks using Focal Loss [77.92765139898906]
  ミススキャリブレーション(Miscalibration)は、モデルの信頼性と正しさのミスマッチである。 焦点損失は、既に十分に校正されたモデルを学ぶことができることを示す。 ほぼすべてのケースにおいて精度を損なうことなく,最先端のキャリブレーションを達成できることを示す。
  論文  参考訳（メタデータ） (2020-02-21T17:35:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。