論文の概要: On Model Evaluation under Non-constant Class Imbalance
- arxiv url: http://arxiv.org/abs/2001.05571v2
- Date: Wed, 15 Apr 2020 17:58:21 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-11 05:56:01.674393
- Title: On Model Evaluation under Non-constant Class Imbalance
- Title（参考訳）: 非定常クラス不均衡下におけるモデル評価について
- Authors: Jan Brabec, Tom\'a\v{s} Kom\'arek, Vojt\v{e}ch Franc, Luk\'a\v{s}
Machlica
- Abstract要約: 多くの実世界の分類問題は、関心の階級の有害さと著しくクラス不均衡である。
通常の仮定では、テストデータセットの不均衡は実世界の不均衡と等しい。
非コンスタントクラス不均衡下での評価に焦点をあてる手法を提案する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Many real-world classification problems are significantly class-imbalanced to
detriment of the class of interest. The standard set of proper evaluation
metrics is well-known but the usual assumption is that the test dataset
imbalance equals the real-world imbalance. In practice, this assumption is
often broken for various reasons. The reported results are then often too
optimistic and may lead to wrong conclusions about industrial impact and
suitability of proposed techniques. We introduce methods focusing on evaluation
under non-constant class imbalance. We show that not only the absolute values
of commonly used metrics, but even the order of classifiers in relation to the
evaluation metric used is affected by the change of the imbalance rate.
Finally, we demonstrate that using subsampling in order to get a test dataset
with class imbalance equal to the one observed in the wild is not necessary,
and eventually can lead to significant errors in classifier's performance
estimate.
- Abstract（参考訳）: 多くの現実世界の分類問題は、興味のクラスを損なうために著しくクラス不均衡である。
適切な評価指標の標準セットはよく知られているが、通常の仮定では、テストデータセットの不均衡は実世界の不均衡と等しい。
実際には、この仮定は様々な理由でしばしば破られる。
報告された結果は楽観的すぎることが多く、提案手法の産業的影響と適合性に関する誤った結論につながる可能性がある。
非定常クラス不均衡下における評価に着目した手法を提案する。
その結果, 一般的な測定値の絶対値だけでなく, 評価指標に関連した分類器の順序も不均衡率の変化に影響していることがわかった。
最後に,ワイルドで観測されたデータと同等のクラス不均衡を持つテストデータセットを取得するためにサブサンプリングを使用することは不要であり,最終的に分類器の性能推定に重大な誤りをもたらす可能性があることを実証する。
関連論文リスト
- $F_β$-plot -- a visual tool for evaluating imbalanced data classifiers [0.0]
本稿では、一般的なパラメトリック計量である$F_beta$を分析するための簡単なアプローチを提案する。
分析された分類器のプールに対して、あるモデルがユーザの要求に応じて好まれるべき場合を示すことができる。
論文 参考訳（メタデータ） (2024-04-11T18:07:57Z) - Deep Imbalanced Regression via Hierarchical Classification Adjustment [50.19438850112964]
コンピュータビジョンにおける回帰タスクは、しばしば、対象空間をクラスに定量化することで分類される。
トレーニングサンプルの大多数は目標値の先頭にあるが、少数のサンプルは通常より広い尾幅に分布する。
不均衡回帰タスクを解くために階層型分類器を構築することを提案する。
不均衡回帰のための新しい階層型分類調整(HCA)は,3つのタスクにおいて優れた結果を示す。
論文 参考訳（メタデータ） (2023-10-26T04:54:39Z) - Revisiting Long-tailed Image Classification: Survey and Benchmarks with
New Evaluation Metrics [88.39382177059747]
メトリクスのコーパスは、長い尾の分布で学習するアルゴリズムの正確性、堅牢性、およびバウンダリを測定するために設計されている。
ベンチマークに基づいて,CIFAR10およびCIFAR100データセット上での既存手法の性能を再評価する。
論文 参考訳（メタデータ） (2023-02-03T02:40:54Z) - Systematic Evaluation of Predictive Fairness [60.0947291284978]
バイアス付きデータセットのトレーニングにおけるバイアスの緩和は、重要なオープンな問題である。
複数のタスクにまたがる様々なデバイアス化手法の性能について検討する。
データ条件が相対モデルの性能に強い影響を与えることがわかった。
論文 参考訳（メタデータ） (2022-10-17T05:40:13Z) - Class Is Invariant to Context and Vice Versa: On Learning Invariance for
Out-Of-Distribution Generalization [80.22736530704191]
我々は、先行研究において広く採用されている前提である文脈バイアスを直接注釈付けしたり、偏見付きクラス予測から推定することができると論じる。
対照的に、上述の原則の見過ごされた他の側面を指摘する:コンテキストもクラスに不変である。
我々は、クラス内サンプル類似性の対照的な損失を最小限に抑えながら、この類似性がすべてのクラスで不変であることを保証し、この考え方を実装した。
論文 参考訳（メタデータ） (2022-08-06T08:09:54Z) - Learning to Adapt Classifier for Imbalanced Semi-supervised Learning [38.434729550279116]
Pseudo-labelingは、有望な半教師付き学習(SSL)パラダイムであることが証明されている。
既存の擬似ラベル法では、トレーニングデータのクラス分布が均衡していると仮定するのが一般的である。
本研究では,不均衡な半教師付きセットアップ下での擬似ラベリングについて検討する。
論文 参考訳（メタデータ） (2022-07-28T02:15:47Z) - Prototypical Classifier for Robust Class-Imbalanced Learning [64.96088324684683]
埋め込みネットワークに付加的なパラメータを必要としないtextitPrototypealを提案する。
プロトタイプは、訓練セットがクラス不均衡であるにもかかわらず、すべてのクラスに対してバランスと同等の予測を生成する。
我々は, CIFAR-10LT, CIFAR-100LT, Webvision のデータセットを用いて, プロトタイプが芸術の状況と比較した場合, サブスタンスの改善が得られることを検証した。
論文 参考訳（メタデータ） (2021-10-22T01:55:01Z) - Statistical Theory for Imbalanced Binary Classification [8.93993657323783]
最適分類性能は、これまで形式化されていなかったクラス不均衡の特定の性質に依存することを示す。
具体的には、一様クラス不均衡と呼ばれる新しいクラス不均衡のサブタイプを提案する。
これらの結果は、不均衡二項分類に対する最初の有意義な有限サンプル統計理論のいくつかを提供する。
論文 参考訳（メタデータ） (2021-07-05T03:55:43Z) - A Skew-Sensitive Evaluation Framework for Imbalanced Data Classification [11.125446871030734]
不均衡なデータセットのクラス分布スキューは、多数派クラスに対する予測バイアスのあるモデルにつながる可能性がある。
本稿では,不均衡なデータ分類のための簡易かつ汎用的な評価フレームワークを提案する。
論文 参考訳（メタデータ） (2020-10-12T19:47:09Z) - Classification Performance Metric for Imbalance Data Based on Recall and
Selectivity Normalized in Class Labels [0.0]
クラスラベルに正規化されたリコールと選択率の調和平均に基づく新しいパフォーマンス指標を提案する。
本稿では,提案手法が不均衡なデータセットに対して適切な特性を持つことを示す。
論文 参考訳（メタデータ） (2020-06-23T20:38:48Z) - M2m: Imbalanced Classification via Major-to-minor Translation [79.09018382489506]
ほとんどの実世界のシナリオでは、ラベル付きトレーニングデータセットは非常にクラス不均衡であり、ディープニューラルネットワークは、バランスの取れたテスト基準への一般化に苦しむ。
本稿では,より頻度の低いクラスを,より頻度の低いクラスからのサンプルを翻訳することによって,この問題を緩和する新しい方法を提案する。
提案手法は,従来の再サンプリング法や再重み付け法と比較して,マイノリティクラスの一般化を著しく改善することを示す。
論文 参考訳（メタデータ） (2020-04-01T13:21:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。