論文の概要: Appropriateness of Performance Indices for Imbalanced Data
Classification: An Analysis
- arxiv url: http://arxiv.org/abs/2008.11752v1
- Date: Wed, 26 Aug 2020 18:23:36 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-24 20:43:51.935691
- Title: Appropriateness of Performance Indices for Imbalanced Data
Classification: An Analysis
- Title（参考訳）: 不均衡データ分類における性能指標の適切性:分析
- Authors: Sankha Subhra Mullick and Shounak Datta and Sourish Gunesh Dhekane and
Swagatam Das
- Abstract要約: 性能指標が満たさなければならない2つの基本的な条件は、各クラスからのテストインスタンスの数とテストセット内のクラス数を変更することでそれぞれ回復力を持つ必要がある。
分類器がいくつかのクラスに対して極端な性能を示す場合でも,すべてのクラスに対して分類性能に関する情報を保持する指標の能力について検討する。
- 参考スコア（独自算出の注目度）: 15.85259386116784
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Indices quantifying the performance of classifiers under class-imbalance,
often suffer from distortions depending on the constitution of the test set or
the class-specific classification accuracy, creating difficulties in assessing
the merit of the classifier. We identify two fundamental conditions that a
performance index must satisfy to be respectively resilient to altering number
of testing instances from each class and the number of classes in the test set.
In light of these conditions, under the effect of class imbalance, we
theoretically analyze four indices commonly used for evaluating binary
classifiers and five popular indices for multi-class classifiers. For indices
violating any of the conditions, we also suggest remedial modification and
normalization. We further investigate the capability of the indices to retain
information about the classification performance over all the classes, even
when the classifier exhibits extreme performance on some classes. Simulation
studies are performed on high dimensional deep representations of subset of the
ImageNet dataset using four state-of-the-art classifiers tailored for handling
class imbalance. Finally, based on our theoretical findings and empirical
evidence, we recommend the appropriate indices that should be used to evaluate
the performance of classifiers in presence of class-imbalance.
- Abstract（参考訳）: クラス不均衡下での分類器の性能を定量化する指標は、テストセットの構成やクラス固有の分類精度に依存する歪みに悩まされ、分類器の利点を評価するのに困難が生じる。
各クラスのテストインスタンス数とテストセット内のクラス数の変更に対して,パフォーマンス指標がそれぞれレジリエントでなければならない2つの基本的な条件を特定した。
これらの条件を踏まえ、クラス不均衡の影響により、二項分類器の評価によく用いられる4つの指標と、多項分類器の一般的な5つの指標を理論的に分析する。
いずれかの条件に違反する指標については、修正と正規化を推奨する。
さらに、分類器がいくつかのクラスに極端な性能を示す場合でも、すべてのクラスに対して分類性能に関する情報を保持する指標の能力について検討する。
クラス不均衡処理に適した4つの最先端分類器を用いて、ImageNetデータセットのサブセットの高次元深部表現についてシミュレーション研究を行った。
最後に,本研究の理論的知見と実証的エビデンスに基づき,クラス不均衡の存在下での分類器の性能評価に用いるべき適切な指標を推薦する。
関連論文リスト
- Improving the classification of extreme classes by means of loss regularisation and generalised beta distributions [8.640930010669042]
本稿では,一級・一級の分類性能を向上させるための一級正規化手法を提案する。
極端なクラスのパフォーマンスは、その感度を考慮に入れた新しいメトリクスを使って比較される。
提案手法により, 一般化されたベータ分布は, 極端なクラスにおける分類性能を向上することが示された。
論文 参考訳（メタデータ） (2024-07-17T08:57:42Z) - Mitigating Word Bias in Zero-shot Prompt-based Classifiers [55.60306377044225]
一致したクラス先行は、オラクルの上界性能と強く相関していることを示す。
また,NLPタスクに対するプロンプト設定において,一貫したパフォーマンス向上を示す。
論文 参考訳（メタデータ） (2023-09-10T10:57:41Z) - Characterizing the Optimal 0-1 Loss for Multi-class Classification with
a Test-time Attacker [57.49330031751386]
我々は,任意の離散データセット上の複数クラス分類器に対するテスト時間攻撃の存在下での損失に対する情報理論的下位境界を求める。
本稿では,データと敵対的制約から競合ハイパーグラフを構築する際に発生する最適0-1損失を求めるための一般的なフレームワークを提供する。
論文 参考訳（メタデータ） (2023-02-21T15:17:13Z) - Anomaly Detection using Ensemble Classification and Evidence Theory [62.997667081978825]
本稿では,アンサンブル分類とエビデンス理論を用いた新しい検出手法を提案する。
固体アンサンブル分類器を構築するためのプール選択戦略が提示される。
我々は異常検出手法の不確実性を利用する。
論文 参考訳（メタデータ） (2022-12-23T00:50:41Z) - Parametric Classification for Generalized Category Discovery: A Baseline
Study [70.73212959385387]
Generalized Category Discovery (GCD)は、ラベル付きサンプルから学習した知識を用いて、ラベルなしデータセットで新しいカテゴリを発見することを目的としている。
パラメトリック分類器の故障を調査し,高品質な監視が可能であった場合の過去の設計選択の有効性を検証し,信頼性の低い疑似ラベルを重要課題として同定する。
エントロピー正規化の利点を生かし、複数のGCDベンチマークにおける最先端性能を実現し、未知のクラス数に対して強いロバスト性を示す、単純で効果的なパラメトリック分類法を提案する。
論文 参考訳（メタデータ） (2022-11-21T18:47:11Z) - The Impact of Using Regression Models to Build Defect Classifiers [13.840006058766766]
継続的欠陥数を欠陥クラスと非欠陥クラスに分類することは、よくあるプラクティスである。
両手法を用いて構築した欠陥分類器の性能と解釈を比較した。
論文 参考訳（メタデータ） (2022-02-12T22:12:55Z) - When in Doubt: Improving Classification Performance with Alternating
Normalization [57.39356691967766]
分類のための非パラメトリック後処理ステップである交互正規化(CAN)を用いた分類を導入する。
CANは、予測されたクラス確率分布を再調整することで、挑戦的な例の分類精度を向上させる。
多様な分類課題にまたがってその効果を実証的に示す。
論文 参考訳（メタデータ） (2021-09-28T02:55:42Z) - Statistical Theory for Imbalanced Binary Classification [8.93993657323783]
最適分類性能は、これまで形式化されていなかったクラス不均衡の特定の性質に依存することを示す。
具体的には、一様クラス不均衡と呼ばれる新しいクラス不均衡のサブタイプを提案する。
これらの結果は、不均衡二項分類に対する最初の有意義な有限サンプル統計理論のいくつかを提供する。
論文 参考訳（メタデータ） (2021-07-05T03:55:43Z) - Theoretical Insights Into Multiclass Classification: A High-dimensional
Asymptotic View [82.80085730891126]
線形多クラス分類の最初の現代的精度解析を行う。
分析の結果,分類精度は分布に依存していることがわかった。
得られた洞察は、他の分類アルゴリズムの正確な理解の道を開くかもしれない。
論文 参考訳（メタデータ） (2020-11-16T05:17:29Z) - A Skew-Sensitive Evaluation Framework for Imbalanced Data Classification [11.125446871030734]
不均衡なデータセットのクラス分布スキューは、多数派クラスに対する予測バイアスのあるモデルにつながる可能性がある。
本稿では,不均衡なデータ分類のための簡易かつ汎用的な評価フレームワークを提案する。
論文 参考訳（メタデータ） (2020-10-12T19:47:09Z) - On Model Evaluation under Non-constant Class Imbalance [0.0]
多くの実世界の分類問題は、関心の階級の有害さと著しくクラス不均衡である。
通常の仮定では、テストデータセットの不均衡は実世界の不均衡と等しい。
非コンスタントクラス不均衡下での評価に焦点をあてる手法を提案する。
論文 参考訳（メタデータ） (2020-01-15T21:52:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。