論文の概要: Superior Scoring Rules for Probabilistic Evaluation of Single-Label Multi-Class Classification Tasks

• arxiv url: http://arxiv.org/abs/2407.17697v1
• Date: Thu, 25 Jul 2024 01:46:05 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-26 15:37:23.584347
• Title: Superior Scoring Rules for Probabilistic Evaluation of Single-Label Multi-Class Classification Tasks
• Title（参考訳）: 単ラベル多クラス分類タスクの確率的評価のための上位スコーリングルール
• Authors: Rouhollah Ahmadian, Mehdi Ghatee, Johan Wahlström,
• Abstract要約: 本研究では, PLL (Penalized Brier Score) と PLL (Penalized Logarithmic Loss) と呼ばれる優れたスコアリングルールを導入し, 確率的分類のモデル評価を改善する。 Brier ScoreやLogarithmic Lossのような伝統的なスコアリングルールは、正しい分類と比較すると、誤分類により良いスコアを割り当てることがある。
• 参考スコア（独自算出の注目度）: 4.330536982864108
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This study introduces novel superior scoring rules called Penalized Brier Score (PBS) and Penalized Logarithmic Loss (PLL) to improve model evaluation for probabilistic classification. Traditional scoring rules like Brier Score and Logarithmic Loss sometimes assign better scores to misclassifications in comparison with correct classifications. This discrepancy from the actual preference for rewarding correct classifications can lead to suboptimal model selection. By integrating penalties for misclassifications, PBS and PLL modify traditional proper scoring rules to consistently assign better scores to correct predictions. Formal proofs demonstrate that PBS and PLL satisfy strictly proper scoring rule properties while also preferentially rewarding accurate classifications. Experiments showcase the benefits of using PBS and PLL for model selection, model checkpointing, and early stopping. PBS exhibits a higher negative correlation with the F1 score compared to the Brier Score during training. Thus, PBS more effectively identifies optimal checkpoints and early stopping points, leading to improved F1 scores. Comparative analysis verifies models selected by PBS and PLL achieve superior F1 scores. Therefore, PBS and PLL address the gap between uncertainty quantification and accuracy maximization by encapsulating both proper scoring principles and explicit preference for true classifications. The proposed metrics can enhance model evaluation and selection for reliable probabilistic classification.
• Abstract（参考訳）: 本研究では, PLL (Penalized Brier Score) と PLL (Penalized Logarithmic Loss) と呼ばれる新たな優れたスコアリングルールを導入し, 確率的分類のモデル評価を改善する。 Brier ScoreやLogarithmic Lossのような伝統的なスコアリングルールは、正しい分類と比較すると、誤分類により良いスコアを割り当てることがある。 正しい分類に報いるという実際の好みとの違いは、最適なモデル選択につながる。 誤分類のための罰則を統合することで、PBSとPLLは従来の適切なスコアリングルールを変更して、常により良いスコアを正しい予測に割り当てる。 形式的証明は、PBSとPLLが厳密な適切なスコアリングルール特性を満足すると同時に、正確な分類を優先的に報いることを示している。 実験では、モデル選択、モデルチェックポイント、早期停止にPBSとPLLを使用することの利点が示されている。 PBSはトレーニング中のBrier Scoreと比較してF1スコアと高い負の相関を示す。 したがって、PBSはより効果的に最適なチェックポイントと早期停止ポイントを識別し、F1スコアを改善する。 比較分析は、PBSとPLLが選択したモデルが優れたF1スコアを達成することを検証する。 したがって、PBSとPLLは、真の分類に対する適切なスコアリング原理と明示的な選好の両方をカプセル化することにより、不確かさの定量化と精度の最大化のギャップに対処する。 提案手法は,信頼性の高い確率的分類のためのモデル評価と選択を促進できる。

関連論文リスト

• Language Generation with Strictly Proper Scoring Rules [70.340673452404]
  本稿では,非局所的なスコアリングルールを用いた言語モデリングが可能な,スコアリングルールを言語生成に適用するための戦略を提案する。 対数スコアの代替として、ブライアスコアと球面スコアの2つの古典的厳密なスコアルールを用いて言語生成モデルを訓練する。
  論文  参考訳（メタデータ） (2024-05-29T09:09:00Z)
• Self-Evaluation Improves Selective Generation in Large Language Models [54.003992911447696]
  オープンエンド生成タスクをトークンレベルの予測タスクに再構成する。 我々はLSMに答えを自己評価するように指示する。 自己評価に基づくスコアリング手法をベンチマークする。
  論文  参考訳（メタデータ） (2023-12-14T19:09:22Z)
• Leveraging Uncertainty Estimates To Improve Classifier Performance [4.4951754159063295]
  バイナリ分類では、正のクラスのモデルスコアが、アプリケーション要求に基づいて選択されたしきい値を超えるかどうかに基づいて、インスタンスのラベルを予測する。 しかし、モデルスコアは真の肯定率と一致しないことが多い。 これは特に、クラス間の差分サンプリングを含むトレーニングや、トレインとテスト設定間の分散ドリフトがある場合に当てはまる。
  論文  参考訳（メタデータ） (2023-11-20T12:40:25Z)
• When Does Confidence-Based Cascade Deferral Suffice? [69.28314307469381]
  カスケードは、推論コストをサンプル毎に適応的に変化させる古典的な戦略である。 deferralルールは、シーケンス内の次の分類子を呼び出すか、または予測を終了するかを決定する。 カスケードの構造に執着しているにもかかわらず、信頼に基づく推論は実際は極めてうまく機能することが多い。
  論文  参考訳（メタデータ） (2023-07-06T04:13:57Z)
• Progressive Purification for Instance-Dependent Partial Label Learning [37.65717805892473]
  部分ラベル学習 (PLL) は、固定だが未知の候補ラベルが正しい候補ラベルのセットでアノテートされた例から、多クラス分類器を訓練することを目的としている。 候補ラベルは常にインスタンス依存であり、インスタンス依存の例で訓練されたモデルが理想的な例に収束できるという理論的保証はない。 本稿では,POP(PrOgressive Purification, PrOgressive Purification, PrOgressive Purification, PrOgressive Purification, PrOgressive Purification, PrOgressive Purification, PrOgressive Purification, PrOgressive Purification, PrOgressive Purification, PrOgressive Purification, PrOgressive Purification, PrOgressive Purification, PrOgressive Purification, PrOgressive Purification, PrOgressive Purification, PrOgressive Purification, PrOgressive Purification, PrOgressive Purification, PrOgressive Purification
  論文  参考訳（メタデータ） (2022-06-02T02:07:12Z)
• When in Doubt: Improving Classification Performance with Alternating Normalization [57.39356691967766]
  分類のための非パラメトリック後処理ステップである交互正規化(CAN)を用いた分類を導入する。 CANは、予測されたクラス確率分布を再調整することで、挑戦的な例の分類精度を向上させる。 多様な分類課題にまたがってその効果を実証的に示す。
  論文  参考訳（メタデータ） (2021-09-28T02:55:42Z)
• Exploring Classification Equilibrium in Long-Tailed Object Detection [29.069986049436157]
  そこで本研究では,各カテゴリの平均分類スコアを用いて,各カテゴリの分類精度を示す。 EBL (Equilibrium Loss) と Memory-augmented Feature Smpling (MFS) 法による分類のバランスをとる。 尾クラスの検出性能を15.6 APで改善し、最新の長い尾を持つ物体検出器を1 AP以上で上回っている。
  論文  参考訳（メタデータ） (2021-08-17T08:39:04Z)
• Evaluating Large-Vocabulary Object Detectors: The Devil is in the Details [107.2722027807328]
  我々は、APのデフォルト実装はカテゴリー独立ではなく、適切に校正された検出器を直接報酬するものではないことを発見した。 既定の実装ではゲーム可能なメトリックが生成され、単純で非合理的な再ランクポリシーがAPを大きなマージンで改善できることが示される。 我々は,近年の大規模語彙検出の進歩をベンチマークし,新たなクラスごとの独立性評価において,多くの報告された利益が改善に結びついていないことを発見した。
  論文  参考訳（メタデータ） (2021-02-01T18:56:02Z)
• Unbiased Subdata Selection for Fair Classification: A Unified Framework and Scalable Algorithms [0.8376091455761261]
  このフレームワーク内の多くの分類モデルが混合整数凸プログラムとして再キャストできることを示した。 そして,提案問題において,分類結果の「解決不能な部分データ選択」が強く解決可能であることを示す。 これにより、分類インスタンスを解決するための反復精錬戦略(IRS)の開発を動機付けます。
  論文  参考訳（メタデータ） (2020-12-22T21:09:38Z)
• Pointwise Binary Classification with Pairwise Confidence Comparisons [97.79518780631457]
  ペアワイズ比較(Pcomp)分類を提案し、ラベルのないデータのペアしか持たない。 我々はPcomp分類をノイズラベル学習に結びつけて、進歩的UREを開発し、一貫性の正則化を課すことにより改善する。
  論文  参考訳（メタデータ） (2020-10-05T09:23:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。