論文の概要: A Skew-Sensitive Evaluation Framework for Imbalanced Data Classification
- arxiv url: http://arxiv.org/abs/2010.05995v2
- Date: Thu, 16 Nov 2023 21:08:05 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-22 21:36:30.938316
- Title: A Skew-Sensitive Evaluation Framework for Imbalanced Data Classification
- Title(参考訳): 不均衡データ分類のためのスキューセンシティブ評価フレームワーク
- Authors: Min Du, Nesime Tatbul, Brian Rivers, Akhilesh Kumar Gupta, Lucas Hu,
Wei Wang, Ryan Marcus, Shengtian Zhou, Insup Lee, Justin Gottschlich
- Abstract要約: 不均衡なデータセットのクラス分布スキューは、多数派クラスに対する予測バイアスのあるモデルにつながる可能性がある。
本稿では,不均衡なデータ分類のための簡易かつ汎用的な評価フレームワークを提案する。
- 参考スコア(独自算出の注目度): 11.125446871030734
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Class distribution skews in imbalanced datasets may lead to models with
prediction bias towards majority classes, making fair assessment of classifiers
a challenging task. Metrics such as Balanced Accuracy are commonly used to
evaluate a classifier's prediction performance under such scenarios. However,
these metrics fall short when classes vary in importance. In this paper, we
propose a simple and general-purpose evaluation framework for imbalanced data
classification that is sensitive to arbitrary skews in class cardinalities and
importances. Experiments with several state-of-the-art classifiers tested on
real-world datasets from three different domains show the effectiveness of our
framework - not only in evaluating and ranking classifiers, but also training
them.
- Abstract(参考訳): 不均衡データセットのクラス分布スキューは、多数クラスに対する予測バイアスを伴うモデルにつながり、分類器の公平な評価が難しい課題となる。
平衡精度のようなメトリクスは、そのようなシナリオ下で分類器の予測性能を評価するために一般的に用いられる。
しかし、これらの指標は、クラスが重要度が異なるときに不足する。
本稿では,クラス濃度と重要度における任意の歪に敏感な不均衡データ分類のための簡易かつ汎用的な評価フレームワークを提案する。
3つの異なるドメインの実際のデータセットでテストされた最先端の分類器を使った実験は、我々のフレームワークの有効性を示している。
関連論文リスト
- Improving the classification of extreme classes by means of loss regularisation and generalised beta distributions [8.640930010669042]
本稿では,一級・一級の分類性能を向上させるための一級正規化手法を提案する。
極端なクラスのパフォーマンスは、その感度を考慮に入れた新しいメトリクスを使って比較される。
提案手法により, 一般化されたベータ分布は, 極端なクラスにおける分類性能を向上することが示された。
論文 参考訳(メタデータ) (2024-07-17T08:57:42Z) - Deep Imbalanced Regression via Hierarchical Classification Adjustment [50.19438850112964]
コンピュータビジョンにおける回帰タスクは、しばしば、対象空間をクラスに定量化することで分類される。
トレーニングサンプルの大多数は目標値の先頭にあるが、少数のサンプルは通常より広い尾幅に分布する。
不均衡回帰タスクを解くために階層型分類器を構築することを提案する。
不均衡回帰のための新しい階層型分類調整(HCA)は,3つのタスクにおいて優れた結果を示す。
論文 参考訳(メタデータ) (2023-10-26T04:54:39Z) - Revisiting Long-tailed Image Classification: Survey and Benchmarks with
New Evaluation Metrics [88.39382177059747]
メトリクスのコーパスは、長い尾の分布で学習するアルゴリズムの正確性、堅牢性、およびバウンダリを測定するために設計されている。
ベンチマークに基づいて,CIFAR10およびCIFAR100データセット上での既存手法の性能を再評価する。
論文 参考訳(メタデータ) (2023-02-03T02:40:54Z) - Systematic Evaluation of Predictive Fairness [60.0947291284978]
バイアス付きデータセットのトレーニングにおけるバイアスの緩和は、重要なオープンな問題である。
複数のタスクにまたがる様々なデバイアス化手法の性能について検討する。
データ条件が相対モデルの性能に強い影響を与えることがわかった。
論文 参考訳(メタデータ) (2022-10-17T05:40:13Z) - Prototypical Classifier for Robust Class-Imbalanced Learning [64.96088324684683]
埋め込みネットワークに付加的なパラメータを必要としないtextitPrototypealを提案する。
プロトタイプは、訓練セットがクラス不均衡であるにもかかわらず、すべてのクラスに対してバランスと同等の予測を生成する。
我々は, CIFAR-10LT, CIFAR-100LT, Webvision のデータセットを用いて, プロトタイプが芸術の状況と比較した場合, サブスタンスの改善が得られることを検証した。
論文 参考訳(メタデータ) (2021-10-22T01:55:01Z) - When in Doubt: Improving Classification Performance with Alternating
Normalization [57.39356691967766]
分類のための非パラメトリック後処理ステップである交互正規化(CAN)を用いた分類を導入する。
CANは、予測されたクラス確率分布を再調整することで、挑戦的な例の分類精度を向上させる。
多様な分類課題にまたがってその効果を実証的に示す。
論文 参考訳(メタデータ) (2021-09-28T02:55:42Z) - Statistical Theory for Imbalanced Binary Classification [8.93993657323783]
最適分類性能は、これまで形式化されていなかったクラス不均衡の特定の性質に依存することを示す。
具体的には、一様クラス不均衡と呼ばれる新しいクラス不均衡のサブタイプを提案する。
これらの結果は、不均衡二項分類に対する最初の有意義な有限サンプル統計理論のいくつかを提供する。
論文 参考訳(メタデータ) (2021-07-05T03:55:43Z) - Predicting Classification Accuracy When Adding New Unobserved Classes [8.325327265120283]
そこで本研究では,より大規模で未観測のクラスに対して,期待する精度を推定するために,分類器の性能をどのように利用することができるかを検討する。
ニューラルネットワークに基づく頑健なアルゴリズム "CleaneX" を定式化し,任意のサイズのクラスに対して,そのような分類器の精度を推定する。
論文 参考訳(メタデータ) (2020-10-28T14:37:25Z) - Classification Performance Metric for Imbalance Data Based on Recall and
Selectivity Normalized in Class Labels [0.0]
クラスラベルに正規化されたリコールと選択率の調和平均に基づく新しいパフォーマンス指標を提案する。
本稿では,提案手法が不均衡なデータセットに対して適切な特性を持つことを示す。
論文 参考訳(メタデータ) (2020-06-23T20:38:48Z) - Rethinking Class-Balanced Methods for Long-Tailed Visual Recognition
from a Domain Adaptation Perspective [98.70226503904402]
現実世界のオブジェクトの周波数は、しばしば電力法則に従い、長い尾のクラス分布を持つデータセット間のミスマッチを引き起こす。
メタラーニング手法を用いて,クラス条件分布の違いを明示的に推定し,古典的なクラスバランス学習を強化することを提案する。
論文 参考訳(メタデータ) (2020-03-24T11:28:42Z) - On Model Evaluation under Non-constant Class Imbalance [0.0]
多くの実世界の分類問題は、関心の階級の有害さと著しくクラス不均衡である。
通常の仮定では、テストデータセットの不均衡は実世界の不均衡と等しい。
非コンスタントクラス不均衡下での評価に焦点をあてる手法を提案する。
論文 参考訳(メタデータ) (2020-01-15T21:52:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。