論文の概要: Correcting Performance Estimation Bias in Imbalanced Classification with Minority Subconcepts
- arxiv url: http://arxiv.org/abs/2604.26024v1
- Date: Tue, 28 Apr 2026 18:05:47 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-30 15:59:36.134735
- Title: Correcting Performance Estimation Bias in Imbalanced Classification with Minority Subconcepts
- Title(参考訳): マイノリティ部分概念を用いた不均衡分類における性能推定バイアスの補正
- Authors: Taylor Maxson, Roberto Corizzo, Yaning Wu, Nathalie Japkowicz, Colin Bellinger,
- Abstract要約: クラスレベルの評価は、クラス内のサブ概念間での大幅なパフォーマンス格差を隠蔽する可能性がある。
本稿では,非利用可能なサブコンセプションラベルを,マルチクラスサブコンセプションモデルから予測された後部確率に置き換える実用的ユーティリティ重み付け評価手法を提案する。
- 参考スコア(独自算出の注目度): 5.616891103771379
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Class-level evaluation can conceal substantial performance disparities across subconcepts within the same class, causing models that perform well on average to fail on specific subpopulations. Prior work has shown that common evaluation measures for imbalanced classification are biased toward larger minority subconcepts and that utility-based reweighting using true subconcept labels can mitigate this bias; however, such labels are rarely available at test time. We introduce a practical utility-weighted evaluation that replaces unavailable subconcept labels with predicted posterior probabilities from a multiclass subconcept model. Evaluation weights are defined as the expected utility under this posterior, yielding a soft, uncertainty-aware metric we call predicted-weighted balanced accuracy (pBA). Experiments on tabular benchmarks as well as medical-imaging and text datasets show that unweighted scores can be misleading under within-class heterogeneity, while pBA provides more stable and interpretable assessments when subconcept distributions are uneven but not pathological. Our code is available at: https://anonymous.4open.science/r/correcting-bias-imbalance-9C6C/.
- Abstract(参考訳): クラスレベルの評価は、同じクラス内のサブ概念間での実質的なパフォーマンス格差を隠蔽し、特定のサブ集団で平均的によく機能するモデルが失敗する原因となる。
以前の研究では、不均衡な分類のための一般的な評価尺度は、より大きなマイノリティのサブコンセプトに偏り、真のサブコンセプトラベルを用いたユーティリティベースのリウェイトは、このバイアスを軽減することができることが示されているが、そのようなラベルがテスト時に利用できることはめったにない。
本稿では,非利用可能なサブコンセプションラベルを,マルチクラスサブコンセプションモデルから予測された後部確率に置き換える実用的ユーティリティ重み付け評価手法を提案する。
評価重みは、この後部の下で期待される効用として定義され、予測重み付きバランス精度(pBA)と呼ばれるソフトで不確実性を考慮した測定値が得られる。
表型ベンチマークと医療画像およびテキストデータセットの実験では、未重み付きスコアはクラス内の不均一性の下で誤解を招く可能性があるが、pBAはサブ概念分布が不均一であるが病理学的ではない場合により安定かつ解釈可能な評価を提供する。
私たちのコードは、https://anonymous.4open.science/r/correcting-bias-im Balance-9C6C/で利用可能です。
関連論文リスト
- Practical estimation of the optimal classification error with soft labels and calibration [47.001801756596926]
我々は,ベイズ誤差,最適誤差率を推定するために,ソフトラベルを用いた以前の研究を拡張した。
我々は、破損したソフトラベルによる推定という、より困難な問題に取り組みます。
私たちのメソッドはインスタンスフリーです。つまり、入力インスタンスへのアクセスを前提としません。
論文 参考訳(メタデータ) (2025-05-27T06:04:57Z) - Generating Unbiased Pseudo-labels via a Theoretically Guaranteed
Chebyshev Constraint to Unify Semi-supervised Classification and Regression [57.17120203327993]
分類におけるしきい値と擬似ラベルプロセス(T2L)は、ラベルの品質を決定するために信頼性を使用する。
本質的には、レグレッションは高品質なラベルを生成するためにバイアスのない方法も必要である。
チェビシェフの不等式に基づく不偏ラベルを生成するための理論的に保証された制約を提案する。
論文 参考訳(メタデータ) (2023-11-03T08:39:35Z) - Deep Imbalanced Regression via Hierarchical Classification Adjustment [50.19438850112964]
コンピュータビジョンにおける回帰タスクは、しばしば、対象空間をクラスに定量化することで分類される。
トレーニングサンプルの大多数は目標値の先頭にあるが、少数のサンプルは通常より広い尾幅に分布する。
不均衡回帰タスクを解くために階層型分類器を構築することを提案する。
不均衡回帰のための新しい階層型分類調整(HCA)は,3つのタスクにおいて優れた結果を示す。
論文 参考訳(メタデータ) (2023-10-26T04:54:39Z) - Class-Imbalanced Graph Learning without Class Rebalancing [62.1368829847041]
クラス不均衡は実世界のノード分類タスクでよく見られ、グラフ学習モデルには大きな課題がある。
本研究では、トポロジカルパラダイムからクラス不均衡バイアスの根本原因にアプローチする。
我々は,クラス再バランスを伴わずにクラス不均衡バイアスを軽減するために,軽量なトポロジカル拡張フレームワークであるBATを考案した。
論文 参考訳(メタデータ) (2023-08-27T19:01:29Z) - Evaluating AI systems under uncertain ground truth: a case study in dermatology [43.8328264420381]
不確実性を無視することは、モデル性能の過度に楽観的な推定につながることを示す。
皮膚状態の分類では,データセットの大部分が重大な真理不確実性を示すことが判明した。
論文 参考訳(メタデータ) (2023-07-05T10:33:45Z) - Active Inference-Based Optimization of Discriminative Neural Network
Classifiers [3.1219977244201056]
そこで本研究では,事前確率からトレーニングサンプルの候補分類ラベルを求めるアルゴリズムを提案する。
提案した目的関数は、まだ分布ベースでありながら、候補ラベル、元の参照ラベル、およびトレーニングサンプルの事前を組み込むことができる。
論文 参考訳(メタデータ) (2023-06-04T19:30:28Z) - Learning to Adapt Classifier for Imbalanced Semi-supervised Learning [38.434729550279116]
Pseudo-labelingは、有望な半教師付き学習(SSL)パラダイムであることが証明されている。
既存の擬似ラベル法では、トレーニングデータのクラス分布が均衡していると仮定するのが一般的である。
本研究では,不均衡な半教師付きセットアップ下での擬似ラベリングについて検討する。
論文 参考訳(メタデータ) (2022-07-28T02:15:47Z) - Is the Performance of My Deep Network Too Good to Be True? A Direct
Approach to Estimating the Bayes Error in Binary Classification [86.32752788233913]
分類問題において、ベイズ誤差は、最先端の性能を持つ分類器を評価するための基準として用いられる。
我々はベイズ誤差推定器を提案する。そこでは,クラスの不確かさを示すラベルの平均値のみを評価できる。
我々の柔軟なアプローチは、弱い教師付きデータであってもベイズ誤差を推定できる。
論文 参考訳(メタデータ) (2022-02-01T13:22:26Z) - Identifying Incorrect Classifications with Balanced Uncertainty [21.130311978327196]
不確実性推定は、コストに敏感なディープラーニングアプリケーションには不可欠である。
本研究では,不確実性推定における不均衡を2種類の分布バイアスとしてモデル化するための分布不均衡を提案する。
そこで我々は,新たな分布的焦点損失目標を持つ不確実性推定器を学習する,バランスト・トゥルー・クラス確率フレームワークを提案する。
論文 参考訳(メタデータ) (2021-10-15T11:52:31Z) - PLM: Partial Label Masking for Imbalanced Multi-label Classification [59.68444804243782]
長いラベルの分布を持つ実世界のデータセットで訓練されたニューラルネットワークは、頻繁なクラスに偏りがあり、頻繁なクラスでは不十分である。
本稿では,この比率を利用したPLM(Partial Label Masking)を提案する。
本手法は,マルチラベル (MultiMNIST と MSCOCO) とシングルラベル (CIFAR-10 と CIFAR-100) の2つの画像分類データセットにおいて,既存の手法と比較して高い性能を実現する。
論文 参考訳(メタデータ) (2021-05-22T18:07:56Z) - On Model Evaluation under Non-constant Class Imbalance [0.0]
多くの実世界の分類問題は、関心の階級の有害さと著しくクラス不均衡である。
通常の仮定では、テストデータセットの不均衡は実世界の不均衡と等しい。
非コンスタントクラス不均衡下での評価に焦点をあてる手法を提案する。
論文 参考訳(メタデータ) (2020-01-15T21:52:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。