論文の概要: $F_β$-plot -- a visual tool for evaluating imbalanced data classifiers

• arxiv url: http://arxiv.org/abs/2404.08709v1
• Date: Thu, 11 Apr 2024 18:07:57 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-16 19:11:57.962425
• Title: $F_β$-plot -- a visual tool for evaluating imbalanced data classifiers
• Title（参考訳）: F_β$-plot -- 不均衡なデータ分類器を評価するビジュアルツール
• Authors: Szymon Wojciechowski, Michał Woźniak,
• Abstract要約: 本稿では、一般的なパラメトリック計量である$F_beta$を分析するための簡単なアプローチを提案する。 分析された分類器のプールに対して、あるモデルがユーザの要求に応じて好まれるべき場合を示すことができる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: One of the significant problems associated with imbalanced data classification is the lack of reliable metrics. This runs primarily from the fact that for most real-life (as well as commonly used benchmark) problems, we do not have information from the user on the actual form of the loss function that should be minimized. Although it is pretty common to have metrics indicating the classification quality within each class, for the end user, the analysis of several such metrics is then required, which in practice causes difficulty in interpreting the usefulness of a given classifier. Hence, many aggregate metrics have been proposed or adopted for the imbalanced data classification problem, but there is still no consensus on which should be used. An additional disadvantage is their ambiguity and systematic bias toward one class. Moreover, their use in analyzing experimental results in recognition of those classification models that perform well for the chosen aggregated metrics is burdened with the drawbacks mentioned above. Hence, the paper proposes a simple approach to analyzing the popular parametric metric $F_\beta$. We point out that it is possible to indicate for a given pool of analyzed classifiers when a given model should be preferred depending on user requirements.
• Abstract（参考訳）: 不均衡なデータ分類に関連する大きな問題の1つは、信頼性のあるメトリクスの欠如である。 これは主に、ほとんどの実生活(および一般的に使用されるベンチマーク)問題に対して、最小化すべき損失関数の実際の形に関する情報がユーザから得られていないという事実から生じる。 各クラス内の分類品質を示す指標を持つことは一般的であるが、エンドユーザーにとっては、そのような指標の分析が必要であるため、実際には、与えられた分類器の有用性を解釈することが困難である。 したがって、不均衡なデータ分類問題に対して多くの集計指標が提案され、採用されているが、どちらを使うべきかについては合意が得られていない。 もう一つの欠点は、そのあいまいさと1つのクラスに対する体系的な偏見である。 さらに, 上記の欠点により, 選択した集計指標に対して良好に機能する分類モデルの認識において, 実験結果の分析に利用することが課題となっている。 そこで本研究では,一般的なパラメトリック計量である$F_\beta$を解析するための簡単なアプローチを提案する。 ユーザ要求に応じてモデルが優先される場合、分析された分類器のプールを示すことが可能である、と指摘する。

関連論文リスト

• Revisiting Evaluation Metrics for Semantic Segmentation: Optimization and Evaluation of Fine-grained Intersection over Union [113.20223082664681]
  そこで本研究では,mIoUsの微細化と,それに対応する最悪の指標を提案する。 これらのきめ細かいメトリクスは、大きなオブジェクトに対するバイアスの低減、よりリッチな統計情報、モデルとデータセット監査に関する貴重な洞察を提供する。 ベンチマークでは,1つの測定値に基づかないことの必要性を強調し,微細なmIoUsが大きな物体への偏りを減少させることを確認した。
  論文  参考訳（メタデータ） (2023-10-30T03:45:15Z)
• Deep Imbalanced Regression via Hierarchical Classification Adjustment [50.19438850112964]
  コンピュータビジョンにおける回帰タスクは、しばしば、対象空間をクラスに定量化することで分類される。 トレーニングサンプルの大多数は目標値の先頭にあるが、少数のサンプルは通常より広い尾幅に分布する。 不均衡回帰タスクを解くために階層型分類器を構築することを提案する。 不均衡回帰のための新しい階層型分類調整(HCA)は,3つのタスクにおいて優れた結果を示す。
  論文  参考訳（メタデータ） (2023-10-26T04:54:39Z)
• Characterizing the Optimal 0-1 Loss for Multi-class Classification with a Test-time Attacker [57.49330031751386]
  我々は,任意の離散データセット上の複数クラス分類器に対するテスト時間攻撃の存在下での損失に対する情報理論的下位境界を求める。 本稿では,データと敵対的制約から競合ハイパーグラフを構築する際に発生する最適0-1損失を求めるための一般的なフレームワークを提供する。
  論文  参考訳（メタデータ） (2023-02-21T15:17:13Z)
• Parametric Classification for Generalized Category Discovery: A Baseline Study [70.73212959385387]
  Generalized Category Discovery (GCD)は、ラベル付きサンプルから学習した知識を用いて、ラベルなしデータセットで新しいカテゴリを発見することを目的としている。 パラメトリック分類器の故障を調査し,高品質な監視が可能であった場合の過去の設計選択の有効性を検証し,信頼性の低い疑似ラベルを重要課題として同定する。 エントロピー正規化の利点を生かし、複数のGCDベンチマークにおける最先端性能を実現し、未知のクラス数に対して強いロバスト性を示す、単純で効果的なパラメトリック分類法を提案する。
  論文  参考訳（メタデータ） (2022-11-21T18:47:11Z)
• Evaluating State-of-the-Art Classification Models Against Bayes Optimality [106.50867011164584]
  正規化フローを用いて学習した生成モデルのベイズ誤差を正確に計算できることを示す。 われわれの手法を用いて、最先端の分類モデルについて徹底的な調査を行う。
  論文  参考訳（メタデータ） (2021-06-07T06:21:20Z)
• Theoretical Insights Into Multiclass Classification: A High-dimensional Asymptotic View [82.80085730891126]
  線形多クラス分類の最初の現代的精度解析を行う。 分析の結果,分類精度は分布に依存していることがわかった。 得られた洞察は、他の分類アルゴリズムの正確な理解の道を開くかもしれない。
  論文  参考訳（メタデータ） (2020-11-16T05:17:29Z)
• A Skew-Sensitive Evaluation Framework for Imbalanced Data Classification [11.125446871030734]
  不均衡なデータセットのクラス分布スキューは、多数派クラスに対する予測バイアスのあるモデルにつながる可能性がある。 本稿では,不均衡なデータ分類のための簡易かつ汎用的な評価フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-10-12T19:47:09Z)
• Classification Performance Metric for Imbalance Data Based on Recall and Selectivity Normalized in Class Labels [0.0]
  クラスラベルに正規化されたリコールと選択率の調和平均に基づく新しいパフォーマンス指標を提案する。 本稿では,提案手法が不均衡なデータセットに対して適切な特性を持つことを示す。
  論文  参考訳（メタデータ） (2020-06-23T20:38:48Z)
• Classifier uncertainty: evidence, potential impact, and probabilistic treatment [0.0]
  本稿では,混乱行列の確率モデルに基づいて,分類性能指標の不確かさを定量化する手法を提案する。 我々は、不確実性は驚くほど大きく、性能評価を制限できることを示した。
  論文  参考訳（メタデータ） (2020-06-19T12:49:19Z)
• On Model Evaluation under Non-constant Class Imbalance [0.0]
  多くの実世界の分類問題は、関心の階級の有害さと著しくクラス不均衡である。 通常の仮定では、テストデータセットの不均衡は実世界の不均衡と等しい。 非コンスタントクラス不均衡下での評価に焦点をあてる手法を提案する。
  論文  参考訳（メタデータ） (2020-01-15T21:52:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。