論文の概要: Soft Calibration Objectives for Neural Networks

• arxiv url: http://arxiv.org/abs/2108.00106v1
• Date: Fri, 30 Jul 2021 23:30:20 GMT
• ステータス: 処理完了
• システム内更新日: 2021-08-03 15:36:25.323093
• Title: Soft Calibration Objectives for Neural Networks
• Title（参考訳）: ニューラルネットワークのためのソフトキャリブレーション目標
• Authors: Archit Karandikar, Nicholas Cain, Dustin Tran, Balaji Lakshminarayanan, Jonathon Shlens, Michael C. Mozer, Becca Roelofs
• Abstract要約: そこで本研究では,一般的なキャリブレーションエラー推定器のソフト(連続)バージョンに基づくキャリブレーション改善のための差別化可能な損失を提案する。 トレーニングに組み込むと、これらのソフトキャリブレーション損失は、1%未満の精度で、複数のデータセットにまたがる最先端の単一モデルECEを実現する。
• 参考スコア（独自算出の注目度）: 40.03050811956859
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Optimal decision making requires that classifiers produce uncertainty estimates consistent with their empirical accuracy. However, deep neural networks are often under- or over-confident in their predictions. Consequently, methods have been developed to improve the calibration of their predictive uncertainty both during training and post-hoc. In this work, we propose differentiable losses to improve calibration based on a soft (continuous) version of the binning operation underlying popular calibration-error estimators. When incorporated into training, these soft calibration losses achieve state-of-the-art single-model ECE across multiple datasets with less than 1% decrease in accuracy. For instance, we observe an 82% reduction in ECE (70% relative to the post-hoc rescaled ECE) in exchange for a 0.7% relative decrease in accuracy relative to the cross entropy baseline on CIFAR-100. When incorporated post-training, the soft-binning-based calibration error objective improves upon temperature scaling, a popular recalibration method. Overall, experiments across losses and datasets demonstrate that using calibration-sensitive procedures yield better uncertainty estimates under dataset shift than the standard practice of using a cross entropy loss and post-hoc recalibration methods.
• Abstract（参考訳）: 最適決定は、分類器がその経験的精度と一致する不確実性推定を生成することを要求する。 しかし、ディープニューラルネットワークは、しばしばその予測に自信を欠くか、過剰である。 その結果、トレーニングとポストホックの両方において予測不確実性の校正を改善する方法が開発された。 本研究では,一般的なキャリブレーションエラー推定器のソフト(連続)バージョンに基づくキャリブレーション改善のための相異なる損失を提案する。 トレーニングに組み込むと、これらのソフトキャリブレーション損失は、1%未満の精度で、複数のデータセットにまたがる最先端の単一モデルECEを実現する。 例えば,CIFAR-100のクロスエントロピーベースラインに対する精度の0.7%の低下と引き換えに,ECEの82%の低下(ポストホック再スケールECEの70%)を観測した。 ポストトレーニングを組み込んだ場合,ソフトバイニングによるキャリブレーション誤差は温度スケーリングにより改善され,一般的な校正法である。 全体として、損失とデータセット間の実験は、キャリブレーションに敏感な手順を用いることで、クロスエントロピーロスとポストホックなリカバリ法を使用する標準的なプラクティスよりも、データセットシフト時の不確実性推定が向上することを示している。

関連論文リスト

• Calibrating Deep Neural Network using Euclidean Distance [5.675312975435121]
  機械学習では、Focal Lossは、サンプルの分類が難しいことを強調することで、誤分類率を減らすために一般的に使用される。 高校正誤差は予測確率と実際の結果との相違を示し、モデルの信頼性に影響を及ぼす。 本研究では,FCL (Focal Loss) と呼ばれる新しい損失関数を導入する。
  論文  参考訳（メタデータ） (2024-10-23T23:06:50Z)
• Feature Clipping for Uncertainty Calibration [24.465567005078135]
  現代のディープニューラルネットワーク(DNN)は、しばしば過剰な自信に悩まされ、誤校正につながる。 この問題に対処するために,特徴クリッピング(FC)と呼ばれるポストホックキャリブレーション手法を提案する。 FCは特定の閾値に特徴値をクリップし、高い校正誤差サンプルのエントロピーを効果的に増加させる。
  論文  参考訳（メタデータ） (2024-10-16T06:44:35Z)
• A Confidence Interval for the $\ell_2$ Expected Calibration Error [35.88784957918326]
  我々は信頼区間を$ell$ expected the Error (ECE) で開発する。 信頼性キャリブレーションの一般的な概念とキャリブレーションの両方を含む,トップ1からk$のキャリブレーションを考える。 ECEのデバイアスド推定器では、正規性を示すが、校正モデルとミスドモデルに対する収束率と分散は異なる。
  論文  参考訳（メタデータ） (2024-08-16T20:00:08Z)
• Calibration by Distribution Matching: Trainable Kernel Calibration Metrics [56.629245030893685]
  カーネルベースのキャリブレーションメトリクスを導入し、分類と回帰の両方で一般的なキャリブレーションの形式を統一・一般化する。 これらの指標は、異なるサンプル推定を許容しており、キャリブレーションの目的を経験的リスク最小化に組み込むのが容易である。 決定タスクにキャリブレーションメトリクスを調整し、正確な損失推定を行ない、後悔しない決定を行うための直感的なメカニズムを提供する。
  論文  参考訳（メタデータ） (2023-10-31T06:19:40Z)
• Calibration of Neural Networks [77.34726150561087]
  本稿では,ニューラルネットワークの文脈における信頼性校正問題について調査する。 我々は,問題文,キャリブレーション定義,評価に対する異なるアプローチについて分析する。 実験実験では、様々なデータセットとモデルをカバーし、異なる基準に従って校正方法を比較する。
  論文  参考訳（メタデータ） (2023-03-19T20:27:51Z)
• Sample-dependent Adaptive Temperature Scaling for Improved Calibration [95.7477042886242]
  ニューラルネットワークの誤りを補うポストホックアプローチは、温度スケーリングを実行することだ。 入力毎に異なる温度値を予測し、信頼度と精度のミスマッチを調整することを提案する。 CIFAR10/100およびTiny-ImageNetデータセットを用いて,ResNet50およびWideResNet28-10アーキテクチャ上で本手法をテストする。
  論文  参考訳（メタデータ） (2022-07-13T14:13:49Z)
• Parameterized Temperature Scaling for Boosting the Expressive Power in Post-Hoc Uncertainty Calibration [57.568461777747515]
  我々は新しいキャリブレーション手法であるパラメタライズド温度スケーリング(PTS)を導入する。 最新のポストホックキャリブレータの精度保持性能は、その本質的な表現力によって制限されることを実証します。 当社の新しい精度保存手法が,多数のモデルアーキテクチャやデータセット,メトリクスにおいて,既存のアルゴリズムを一貫して上回っていることを示す。
  論文  参考訳（メタデータ） (2021-02-24T10:18:30Z)
• Localized Calibration: Metrics and Recalibration [133.07044916594361]
  完全大域キャリブレーションと完全個別化キャリブレーションのギャップにまたがる細粒度キャリブレーション指標を提案する。 次に,局所再校正法であるLoReを導入し,既存の校正法よりもLCEを改善する。
  論文  参考訳（メタデータ） (2021-02-22T07:22:12Z)
• Mitigating Bias in Calibration Error Estimation [28.46667300490605]
  本研究では,ECE_binが真の校正誤差を体系的に過小評価または過大評価できることを示すシミュレーションフレームワークを提案する。 ECE_sweep は、ビンの数をできるだけ多く選択する簡単な代替校正誤差メトリックを提案します。
  論文  参考訳（メタデータ） (2020-12-15T23:28:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。