論文の概要: Dual Focal Loss for Calibration

• arxiv url: http://arxiv.org/abs/2305.13665v1
• Date: Tue, 23 May 2023 04:19:16 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-24 19:16:01.829944
• Title: Dual Focal Loss for Calibration
• Title（参考訳）: キャリブレーションのための二重焦点損失
• Authors: Linwei Tao, Minjing Dong and Chang Xu
• Abstract要約: 二重ロジットに着目した新たな損失関数を提案する。 これら2つのロジット間のギャップを最大化することにより、提案した二重焦点損失は、過信と過信のバランスを改善することができる。
• 参考スコア（独自算出の注目度）: 21.663687352629225
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The use of deep neural networks in real-world applications require well-calibrated networks with confidence scores that accurately reflect the actual probability. However, it has been found that these networks often provide over-confident predictions, which leads to poor calibration. Recent efforts have sought to address this issue by focal loss to reduce over-confidence, but this approach can also lead to under-confident predictions. While different variants of focal loss have been explored, it is difficult to find a balance between over-confidence and under-confidence. In our work, we propose a new loss function by focusing on dual logits. Our method not only considers the ground truth logit, but also take into account the highest logit ranked after the ground truth logit. By maximizing the gap between these two logits, our proposed dual focal loss can achieve a better balance between over-confidence and under-confidence. We provide theoretical evidence to support our approach and demonstrate its effectiveness through evaluations on multiple models and datasets, where it achieves state-of-the-art performance. Code is available at https://github.com/Linwei94/DualFocalLoss
• Abstract（参考訳）: 現実世界のアプリケーションにおけるディープニューラルネットワークの使用には、実際の確率を正確に反映する信頼スコアを持つ、よく校正されたネットワークが必要である。 しかし、これらのネットワークはしばしば過信的な予測を提供し、キャリブレーションが低くなることが判明した。 近年、過信を減らそうとする焦点損失によるこの問題への対処が試みられているが、このアプローチは過信の予測にも繋がる可能性がある。 焦点損失の異なる変種が研究されているが、過信と過信のバランスを見つけることは困難である。 本研究では,二重ロジットに着目した新しい損失関数を提案する。 本手法は, 基礎的真理ロジットを考えるだけでなく, 基礎的真理ロジットの次位の上位ロジットを考慮に入れる。 これら2つのロジット間のギャップを最大化することにより、提案した二重焦点損失は、過信と過信のバランスを改善することができる。 我々は,提案手法を支持する理論的証拠を提供し,その効果を複数のモデルやデータセット上で評価することで実証する。 コードはhttps://github.com/Linwei94/DualFocalLossで入手できる。

関連論文リスト

• Revisiting Confidence Estimation: Towards Reliable Failure Prediction [53.79160907725975]
  多くの信頼度推定法は誤分類誤りを検出するのに有害である。 本稿では, 最先端の故障予測性能を示す平坦な最小値を求めることにより, 信頼性ギャップを拡大することを提案する。
  論文  参考訳（メタデータ） (2024-03-05T11:44:14Z)
• Binary Classification with Confidence Difference [100.08818204756093]
  本稿では,信頼性差分法 (ConfDiff) という,弱教師付き二項分類問題について考察する。 本稿では,この問題に対処するためのリスク一貫性のあるアプローチを提案し,推定誤差が最適収束率と一致することを示す。 また,整合性や収束率も証明されたオーバーフィッティング問題を緩和するためのリスク補正手法も導入する。
  論文  参考訳（メタデータ） (2023-10-09T11:44:50Z)
• Rethinking Confidence Calibration for Failure Prediction [37.43981354073841]
  現代のディープニューラルネットワークは、しばしば誤った予測を過信している。 ほとんどの信頼性校正手法は、故障予測に役に立たないか有害であることがわかった。 フラット・ミニマは故障予測に有用である,という単純な仮説を提案する。
  論文  参考訳（メタデータ） (2023-03-06T08:54:18Z)
• Understanding Softmax Confidence and Uncertainty [95.71801498763216]
  トレーニング分布から遠く離れたデータで予測する場合、ニューラルネットワークは不確実性を高めることができない、という指摘がしばしばある。 しかし、不確実性のプロキシとしてソフトマックスの信頼性を生かして、このためにのみテストするタスクにおいて、控えめな成功を達成します。 本稿では,この矛盾を解明し,ソフトマックスの信頼度と不確実性との相関を助長する2つの暗黙バイアスを同定する。
  論文  参考訳（メタデータ） (2021-06-09T10:37:29Z)
• Learning to Cascade: Confidence Calibration for Improving the Accuracy and Computational Cost of Cascade Inference Systems [2.28438857884398]
  ディープニューラルネットワークは非常に正確だが、自信過剰であることが知られている。 信頼度スコアが信頼度スコアを使用するシステムのパフォーマンスを改善するかどうかは不明だ。 カスケードへの学習」という新しい信頼性校正法を提案します。
  論文  参考訳（メタデータ） (2021-04-15T07:09:09Z)
• Uncertainty-Aware Deep Calibrated Salient Object Detection [74.58153220370527]
  既存のディープニューラルネットワークに基づくサルエントオブジェクト検出(SOD)手法は主に高いネットワーク精度の追求に重点を置いている。 これらの手法は、信頼不均衡問題として知られるネットワーク精度と予測信頼の間のギャップを見落としている。 我々は,不確実性を考慮した深部SODネットワークを導入し,深部SODネットワークの過信を防止するための2つの戦略を提案する。
  論文  参考訳（メタデータ） (2020-12-10T23:28:36Z)
• Confidence-aware Adversarial Learning for Self-supervised Semantic Matching [29.132600499226406]
  我々はCAMNet(Confidence-Aware Semantic Matching Network)を紹介する。 まず、自己教師付き学習を通して、一致予測のための高密度信頼マップを推定する。 第2に、推定された信頼度に基づいて、画像平面上の他の位置との信頼性の高いマッチングを伝播することにより、初期予測を洗練する。 我々は,改良中の信頼を利用してセマンティックマッチングの精度を向上し,マッチングネットワーク全体を対象としたエンドツーエンドの自己教師付き対人学習手法を開発した最初の人物である。
  論文  参考訳（メタデータ） (2020-08-25T09:15:48Z)
• Confidence-Aware Learning for Deep Neural Networks [4.9812879456945]
  本稿では,新たな損失関数であるCorrectness Ranking Lossを用いたディープニューラルネットワークのトレーニング手法を提案する。 クラス確率を明示的に規則化し、信頼度に応じて順序付けされたランキングでより良い信頼度の推定を行う。 従来の深層分類器とほぼ同じ計算コストを持ち、1つの推論で信頼性のある予測を出力する。
  論文  参考訳（メタデータ） (2020-07-03T02:00:35Z)
• Being Bayesian, Even Just a Bit, Fixes Overconfidence in ReLU Networks [65.24701908364383]
  我々は、ReLUネットワーク上の不確実性に対する十分条件が「少しベイズ校正される」ことを示す。 さらに,これらの知見を,共通深部ReLUネットワークとLaplace近似を用いた各種標準実験により実証的に検証した。
  論文  参考訳（メタデータ） (2020-02-24T08:52:06Z)
• Calibrating Deep Neural Networks using Focal Loss [77.92765139898906]
  ミススキャリブレーション(Miscalibration)は、モデルの信頼性と正しさのミスマッチである。 焦点損失は、既に十分に校正されたモデルを学ぶことができることを示す。 ほぼすべてのケースにおいて精度を損なうことなく,最先端のキャリブレーションを達成できることを示す。
  論文  参考訳（メタデータ） (2020-02-21T17:35:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。