論文の概要: On Focal Loss for Class-Posterior Probability Estimation: A Theoretical Perspective

• arxiv url: http://arxiv.org/abs/2011.09172v2
• Date: Mon, 14 Dec 2020 04:15:40 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-24 03:26:47.181980
• Title: On Focal Loss for Class-Posterior Probability Estimation: A Theoretical Perspective
• Title（参考訳）: クラス後確率推定のための焦点損失について:理論的視点
• Authors: Nontawat Charoenphakdee, Jayakorn Vongkulbhisal, Nuttapong Chairatanakul, Masashi Sugiyama
• Abstract要約: まず、焦点損失が分類校正されたこと、すなわち、最小化器がベイズ最適分類器を確実に得ることを証明する。 すると、焦点損失が厳密には適切でないことを証明し、すなわち、分類器の信頼性スコアが真のクラス後確率と一致しない。 提案手法は,クラス後確率推定の精度を大幅に向上させる。
• 参考スコア（独自算出の注目度）: 83.19406301934245
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The focal loss has demonstrated its effectiveness in many real-world applications such as object detection and image classification, but its theoretical understanding has been limited so far. In this paper, we first prove that the focal loss is classification-calibrated, i.e., its minimizer surely yields the Bayes-optimal classifier and thus the use of the focal loss in classification can be theoretically justified. However, we also prove a negative fact that the focal loss is not strictly proper, i.e., the confidence score of the classifier obtained by focal loss minimization does not match the true class-posterior probability and thus it is not reliable as a class-posterior probability estimator. To mitigate this problem, we next prove that a particular closed-form transformation of the confidence score allows us to recover the true class-posterior probability. Through experiments on benchmark datasets, we demonstrate that our proposed transformation significantly improves the accuracy of class-posterior probability estimation.
• Abstract（参考訳）: 焦点損失は物体検出や画像分類などの実世界の多くの応用において有効性を示しているが、理論的な理解は限られている。 本稿では,まず,焦点損失が分類共役であることを示す。すなわち,その最小化器はベイズ最適分類器を産出するので,分類における焦点損失の利用を理論的に正当化することができる。 しかし、焦点損失が厳密には正しくないこと、すなわち焦点損失最小化によって得られた分類器の信頼度スコアが真の類後確率と一致しないこと、従って類後確率推定器として信頼できないという負の事実も証明する。 この問題を緩和するために、信頼度スコアの特定の閉形式変換によって真のクラス後確率を回復できることを示す。 ベンチマークデータセットを用いた実験により,提案手法がクラス後確率推定の精度を大幅に向上することを示す。

関連論文リスト

• Sharp error bounds for imbalanced classification: how many examples in the minority class? [6.74159270845872]
  損失関数の再重み付け(英: reweighting the loss function)は、リスク測度内の真正と真負の率の平衡を許容する標準手順である。 この領域における重要な理論的研究にもかかわらず、既存の結果は不均衡な分類フレームワークにおける主要な課題に適切に対処していない。 希少なクラス確率がゼロに近づくような環境では、2つの寄与を示す。
  論文  参考訳（メタデータ） (2023-10-23T11:45:34Z)
• Calibrating Neural Simulation-Based Inference with Differentiable Coverage Probability [50.44439018155837]
  ニューラルモデルのトレーニング目的に直接キャリブレーション項を含めることを提案する。 古典的なキャリブレーション誤差の定式化を緩和することにより、エンドツーエンドのバックプロパゲーションを可能にする。 既存の計算パイプラインに直接適用でき、信頼性の高いブラックボックス後部推論が可能である。
  論文  参考訳（メタデータ） (2023-10-20T10:20:45Z)
• When Does Confidence-Based Cascade Deferral Suffice? [69.28314307469381]
  カスケードは、推論コストをサンプル毎に適応的に変化させる古典的な戦略である。 deferralルールは、シーケンス内の次の分類子を呼び出すか、または予測を終了するかを決定する。 カスケードの構造に執着しているにもかかわらず、信頼に基づく推論は実際は極めてうまく機能することが多い。
  論文  参考訳（メタデータ） (2023-07-06T04:13:57Z)
• Beyond calibration: estimating the grouping loss of modern neural networks [68.8204255655161]
  適切なスコアリングルール理論は、キャリブレーション損失が与えられた場合、個々のエラーを特徴づける欠片がグループ化損失であることを示している。 視覚およびNLPにおける現代のニューラルネットワークアーキテクチャは、特に分散シフト設定においてグループ化損失を示す。
  論文  参考訳（メタデータ） (2022-10-28T07:04:20Z)
• DBCal: Density Based Calibration of classifier predictions for uncertainty quantification [0.0]
  本稿では,機械学習手法を用いて予測の不確かさを定量化する手法を提案する。 提案手法は,2つのニューラルネットワークの出力が正しい確率を正確に推定する。
  論文  参考訳（メタデータ） (2022-04-01T01:03:41Z)
• Identifying Incorrect Classifications with Balanced Uncertainty [21.130311978327196]
  不確実性推定は、コストに敏感なディープラーニングアプリケーションには不可欠である。 本研究では,不確実性推定における不均衡を2種類の分布バイアスとしてモデル化するための分布不均衡を提案する。 そこで我々は,新たな分布的焦点損失目標を持つ不確実性推定器を学習する,バランスト・トゥルー・クラス確率フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-10-15T11:52:31Z)
• Don't Just Blame Over-parametrization for Over-confidence: Theoretical Analysis of Calibration in Binary Classification [58.03725169462616]
  理論上は、過剰パラメトリゼーションは過剰信頼の唯一の理由ではない。 我々は、ロジスティック回帰は本質的に信頼過剰であり、実現可能で、非パラメータな設定であることを示す。 おそらく驚くことに、過剰な信頼が常にそうであるとは限らないことも示します。
  論文  参考訳（メタデータ） (2021-02-15T21:38:09Z)
• Classification with Rejection Based on Cost-sensitive Classification [83.50402803131412]
  学習のアンサンブルによる拒絶を用いた新しい分類法を提案する。 実験により, クリーン, ノイズ, 正の未ラベル分類における提案手法の有用性が示された。
  論文  参考訳（メタデータ） (2020-10-22T14:05:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。