論文の概要: Evaluating Classification Systems Against Soft Labels with Fuzzy Precision and Recall

• arxiv url: http://arxiv.org/abs/2309.13938v1
• Date: Mon, 25 Sep 2023 08:16:01 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-26 16:43:17.627888
• Title: Evaluating Classification Systems Against Soft Labels with Fuzzy Precision and Recall
• Title（参考訳）: ファジィ精度とリコールによるソフトラベル分類システムの評価
• Authors: Manu Harju, Annamaria Mesaros
• Abstract要約: 本稿では,データを定量化せずに精度,リコール,Fスコアを計算する新しい手法を提案する。 提案したメトリクスは、定義がバイナリラベルで使用されるときに一致するため、確立されたメトリクスを拡張します。
• 参考スコア（独自算出の注目度）: 1.1603243575080535
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Classification systems are normally trained by minimizing the cross-entropy between system outputs and reference labels, which makes the Kullback-Leibler divergence a natural choice for measuring how closely the system can follow the data. Precision and recall provide another perspective for measuring the performance of a classification system. Non-binary references can arise from various sources, and it is often beneficial to use the soft labels for training instead of the binarized data. However, the existing definitions for precision and recall require binary reference labels, and binarizing the data can cause erroneous interpretations. We present a novel method to calculate precision, recall and F-score without quantizing the data. The proposed metrics extend the well established metrics as the definitions coincide when used with binary labels. To understand the behavior of the metrics we show simple example cases and an evaluation of different sound event detection models trained on real data with soft labels.
• Abstract（参考訳）: 分類システムは、通常、システム出力と参照ラベルの間の交差エントロピーを最小化することで訓練されるため、kullback-leiblerの発散は、システムがどの程度データを追跡できるかを測定するための自然な選択となる。 精度とリコールは、分類システムの性能を測定する別の視点を提供する。 非バイナリ参照は様々なソースから発生しうるため、二項化データの代わりにソフトラベルをトレーニングに使用することは、しばしば有益である。 しかし、既存の精度とリコールの定義ではバイナリ参照ラベルが必要であり、データのバイナライズは誤った解釈を引き起こす可能性がある。 データを定量化せずに精度、リコール、Fスコアを計算する新しい手法を提案する。 提案したメトリクスは、定義がバイナリラベルで使用されるときに一致するため、確立されたメトリクスを拡張します。 測定値の振る舞いを理解するために, ソフトラベルを用いた実データを用いた各種音響事象検出モデルの評価と, 簡単な例を示す。

関連論文リスト

• Dual-Label Learning With Irregularly Present Labels [14.817794592309637]
  本研究は,2ラベル学習に焦点をあて,新たなトレーニングおよび推論フレームワークであるデュアルラベル学習(DLL)を提案する。 提案手法は,F1スコアやMAPEの10%向上により,ベースライン手法よりも一貫した予測を行う。 また,ラベルの欠落率を60%に抑えることで,ラベルの欠落率を10%に抑えることができた。
  論文  参考訳（メタデータ） (2024-10-18T11:07:26Z)
• Inaccurate Label Distribution Learning with Dependency Noise [52.08553913094809]
  本稿では,依存雑音に基づく不正確なラベル分布学習(DN-ILDL)フレームワークを導入し,ラベル分布学習におけるノイズによる課題に対処する。 本稿では,DN-ILDLがILDL問題に効果的に対処し,既存のLCL法より優れていることを示す。
  論文  参考訳（メタデータ） (2024-05-26T07:58:07Z)
• Drawing the Same Bounding Box Twice? Coping Noisy Annotations in Object Detection with Repeated Labels [6.872072177648135]
  そこで本研究では,基礎的真理推定手法に適合する新しい局所化アルゴリズムを提案する。 また,本アルゴリズムは,TexBiGデータセット上でのトレーニングにおいて,優れた性能を示す。
  論文  参考訳（メタデータ） (2023-09-18T13:08:44Z)
• Self-Adaptive Label Augmentation for Semi-supervised Few-shot Classification [121.63992191386502]
  Few-shotの分類は、ラベル付きサンプルがわずかにあれば、新しいタスクをうまく一般化できるモデルを学ぶことを目的としている。 そこで本研究では,手動で定義した指標を用いて,ラベルのない各サンプルに適切なラベルを割り当てる半教師付き小ショット分類手法を提案する。 SALAの目新しいところは、タスク適応計量であり、エンドツーエンドの方法で異なるタスクに対するメトリックを適応的に学習することができる。
  論文  参考訳（メタデータ） (2022-06-16T13:14:03Z)
• Rethinking Pseudo Labels for Semi-Supervised Object Detection [84.697097472401]
  物体検出に適した確実な擬似ラベルを導入する。 我々は,クラス不均衡問題を緩和するために,各カテゴリの擬似ラベルと再重み付き損失関数を生成するために使用する閾値を動的に調整する。 提案手法では,COCOのラベル付きデータのみを用いて,教師付きベースラインを最大10%改善する。
  論文  参考訳（メタデータ） (2021-06-01T01:32:03Z)
• Disentangling Sampling and Labeling Bias for Learning in Large-Output Spaces [64.23172847182109]
  異なる負のサンプリングスキームが支配的ラベルと稀なラベルで暗黙的にトレードオフパフォーマンスを示す。 すべてのラベルのサブセットで作業することで生じるサンプリングバイアスと、ラベルの不均衡に起因するデータ固有のラベルバイアスの両方に明示的に対処する統一された手段を提供する。
  論文  参考訳（メタデータ） (2021-05-12T15:40:13Z)
• Pointwise Binary Classification with Pairwise Confidence Comparisons [97.79518780631457]
  ペアワイズ比較(Pcomp)分類を提案し、ラベルのないデータのペアしか持たない。 我々はPcomp分類をノイズラベル学習に結びつけて、進歩的UREを開発し、一貫性の正則化を課すことにより改善する。
  論文  参考訳（メタデータ） (2020-10-05T09:23:58Z)
• Learning with Out-of-Distribution Data for Audio Classification [60.48251022280506]
  我々は,OODインスタンスを破棄するよりも,特定のOODインスタンスを検出・復号化することで,学習に肯定的な影響を及ぼすことを示す。 提案手法は,畳み込みニューラルネットワークの性能を著しく向上させる。
  論文  参考訳（メタデータ） (2020-02-11T21:08:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。