論文の概要: Calibrating Deep Neural Networks using Focal Loss

• arxiv url: http://arxiv.org/abs/2002.09437v2
• Date: Mon, 26 Oct 2020 14:22:17 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-30 00:26:32.938016
• Title: Calibrating Deep Neural Networks using Focal Loss
• Title（参考訳）: 焦点損失を用いたディープニューラルネットワークの校正
• Authors: Jishnu Mukhoti, Viveka Kulharia, Amartya Sanyal, Stuart Golodetz, Philip H.S. Torr, Puneet K. Dokania
• Abstract要約: ミススキャリブレーション(Miscalibration)は、モデルの信頼性と正しさのミスマッチである。 焦点損失は、既に十分に校正されたモデルを学ぶことができることを示す。 ほぼすべてのケースにおいて精度を損なうことなく,最先端のキャリブレーションを達成できることを示す。
• 参考スコア（独自算出の注目度）: 77.92765139898906
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Miscalibration - a mismatch between a model's confidence and its correctness - of Deep Neural Networks (DNNs) makes their predictions hard to rely on. Ideally, we want networks to be accurate, calibrated and confident. We show that, as opposed to the standard cross-entropy loss, focal loss [Lin et. al., 2017] allows us to learn models that are already very well calibrated. When combined with temperature scaling, whilst preserving accuracy, it yields state-of-the-art calibrated models. We provide a thorough analysis of the factors causing miscalibration, and use the insights we glean from this to justify the empirically excellent performance of focal loss. To facilitate the use of focal loss in practice, we also provide a principled approach to automatically select the hyperparameter involved in the loss function. We perform extensive experiments on a variety of computer vision and NLP datasets, and with a wide variety of network architectures, and show that our approach achieves state-of-the-art calibration without compromising on accuracy in almost all cases. Code is available at https://github.com/torrvision/focal_calibration.
• Abstract（参考訳）: 深層ニューラルネットワーク(DNN)のモデルの信頼性と正しさのミスマッチであるミススキャリブレーション(Miscalibration)は、予測を頼りにすることを難しくする。 理想的には、ネットワークが正確で、校正され、自信を持っていてほしい。 標準的なクロスエントロピー損失とは対照的に、焦点損失(Lin, al., 2017)により、既に非常によく校正されたモデルを学ぶことができる。 温度スケーリングと組み合わせると、精度を保ちながら、最先端の校正モデルが得られる。 我々は,誤校正の原因を徹底的に分析し,そこから得られた知見を用いて,焦点損失の実験的に優れた性能を正当化する。 実際、焦点損失の使用を容易にするために、損失関数にかかわるハイパーパラメータを自動的に選択する原則的なアプローチも提供します。 我々は様々なコンピュータビジョンとNLPデータセット、および様々なネットワークアーキテクチャに関する広範な実験を行い、ほぼ全てのケースにおいて精度を損なうことなく最先端のキャリブレーションを実現することを示す。 コードはhttps://github.com/torvision/focal_calibrationで入手できる。

関連論文リスト

• Calibrating Deep Neural Network using Euclidean Distance [5.675312975435121]
  機械学習では、Focal Lossは、サンプルの分類が難しいことを強調することで、誤分類率を減らすために一般的に使用される。 高校正誤差は予測確率と実際の結果との相違を示し、モデルの信頼性に影響を及ぼす。 本研究では,FCL (Focal Loss) と呼ばれる新しい損失関数を導入する。
  論文  参考訳（メタデータ） (2024-10-23T23:06:50Z)
• Proximity-Informed Calibration for Deep Neural Networks [49.330703634912915]
  ProCalは、近接性に基づいてサンプル信頼度を調整する理論的保証を持つプラグアンドプレイアルゴリズムである。 ProCalは、近接バイアスに対処し、バランスの取れた、長い、分布シフトの設定の校正を改善するのに有効であることを示す。
  論文  参考訳（メタデータ） (2023-06-07T16:40:51Z)
• Bridging Precision and Confidence: A Train-Time Loss for Calibrating Object Detection [58.789823426981044]
  本稿では,境界ボックスのクラス信頼度を予測精度に合わせることを目的とした,新たな補助損失定式化を提案する。 その結果,列車の走行時間損失はキャリブレーション基準を超過し,キャリブレーション誤差を低減させることがわかった。
  論文  参考訳（メタデータ） (2023-03-25T08:56:21Z)
• AdaFocal: Calibration-aware Adaptive Focal Loss [8.998525155518836]
  焦点損失のあるトレーニングは、クロスエントロピーよりもキャリブレーションが優れている。 AdaFocal と呼ばれる適応型焦点損失を校正する手法を提案する。
  論文  参考訳（メタデータ） (2022-11-21T20:19:24Z)
• DOMINO: Domain-aware Model Calibration in Medical Image Segmentation [51.346121016559024]
  現代のディープニューラルネットワークはキャリブレーションが不十分で、信頼性と信頼性を損なう。 本稿では,クラスラベル間のセマンティック・コンフューザビリティと階層的類似性を利用したドメイン認識モデルキャリブレーション手法であるDOMINOを提案する。 その結果,DOMINOを校正したディープニューラルネットワークは,頭部画像分割における非校正モデルや最先端形態計測法よりも優れていた。
  論文  参考訳（メタデータ） (2022-09-13T15:31:52Z)
• Sample-dependent Adaptive Temperature Scaling for Improved Calibration [95.7477042886242]
  ニューラルネットワークの誤りを補うポストホックアプローチは、温度スケーリングを実行することだ。 入力毎に異なる温度値を予測し、信頼度と精度のミスマッチを調整することを提案する。 CIFAR10/100およびTiny-ImageNetデータセットを用いて,ResNet50およびWideResNet28-10アーキテクチャ上で本手法をテストする。
  論文  参考訳（メタデータ） (2022-07-13T14:13:49Z)
• Deep Calibration of Interest Rates Model [0.0]
  ディープラーニングの普及にもかかわらず、CIRやガウス家のような古典的なレートモデルはまだ広く使われている。 本稿では,ニューラルネットワークを用いたG2++モデルの5つのパラメータの校正を提案する。
  論文  参考訳（メタデータ） (2021-10-28T14:08:45Z)
• On the Dark Side of Calibration for Modern Neural Networks [65.83956184145477]
  予測キャリブレーション誤差(ECE)を予測信頼度と改善度に分解する。 正規化に基づくキャリブレーションは、モデルの信頼性を損なうことのみに焦点を当てる。 ラベルの平滑化やミキサアップなど,多くのキャリブレーション手法により,DNNの精度を低下させることで,DNNの有用性を低下させることがわかった。
  論文  参考訳（メタデータ） (2021-06-17T11:04:14Z)
• On Calibration of Mixup Training for Deep Neural Networks [1.6242924916178283]
  我々は、Mixupが必ずしも校正を改善していないという実証的な証拠を論じ、提示する。 我々の損失はベイズ決定理論にインスパイアされ、確率的モデリングの損失を設計するための新しいトレーニングフレームワークが導入された。 キャリブレーション性能を一貫した改善を施した最先端の精度を提供する。
  論文  参考訳（メタデータ） (2020-03-22T16:54:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。