論文の概要: Correcting Performance Estimation Bias in Imbalanced Classification with Minority Subconcepts
- arxiv url: http://arxiv.org/abs/2604.26024v1
- Date: Tue, 28 Apr 2026 18:05:47 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-30 15:59:36.134735
- Title: Correcting Performance Estimation Bias in Imbalanced Classification with Minority Subconcepts
- Title(参考訳): マイノリティ部分概念を用いた不均衡分類における性能推定バイアスの補正
- Abstract要約: クラスレベルの評価は、クラス内のサブ概念間での大幅なパフォーマンス格差を隠蔽する可能性がある。
本稿では,非利用可能なサブコンセプションラベルを,マルチクラスサブコンセプションモデルから予測された後部確率に置き換える実用的ユーティリティ重み付け評価手法を提案する。
- 参考スコア(独自算出の注目度): 5.616891103771379
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Class-level evaluation can conceal substantial performance disparities across subconcepts within the same class, causing models that perform well on average to fail on specific subpopulations. Prior work has shown that common evaluation measures for imbalanced classification are biased toward larger minority subconcepts and that utility-based reweighting using true subconcept labels can mitigate this bias; however, such labels are rarely available at test time. We introduce a practical utility-weighted evaluation that replaces unavailable subconcept labels with predicted posterior probabilities from a multiclass subconcept model. Evaluation weights are defined as the expected utility under this posterior, yielding a soft, uncertainty-aware metric we call predicted-weighted balanced accuracy (pBA). Experiments on tabular benchmarks as well as medical-imaging and text datasets show that unweighted scores can be misleading under within-class heterogeneity, while pBA provides more stable and interpretable assessments when subconcept distributions are uneven but not pathological. Our code is available at: https://anonymous.4open.science/r/correcting-bias-imbalance-9C6C/.
- Abstract(参考訳): クラスレベルの評価は、同じクラス内のサブ概念間での実質的なパフォーマンス格差を隠蔽し、特定のサブ集団で平均的によく機能するモデルが失敗する原因となる。
以前の研究では、不均衡な分類のための一般的な評価尺度は、より大きなマイノリティのサブコンセプトに偏り、真のサブコンセプトラベルを用いたユーティリティベースのリウェイトは、このバイアスを軽減することができることが示されているが、そのようなラベルがテスト時に利用できることはめったにない。
本稿では,非利用可能なサブコンセプションラベルを,マルチクラスサブコンセプションモデルから予測された後部確率に置き換える実用的ユーティリティ重み付け評価手法を提案する。
評価重みは、この後部の下で期待される効用として定義され、予測重み付きバランス精度(pBA)と呼ばれるソフトで不確実性を考慮した測定値が得られる。
表型ベンチマークと医療画像およびテキストデータセットの実験では、未重み付きスコアはクラス内の不均一性の下で誤解を招く可能性があるが、pBAはサブ概念分布が不均一であるが病理学的ではない場合により安定かつ解釈可能な評価を提供する。
私たちのコードは、https://anonymous.4open.science/r/correcting-bias-im Balance-9C6C/で利用可能です。
関連論文リスト
- Bias Leaves a Gradient Trail: Label-Free Bias Identification via Gradient Probes on Concept Decompositions [8.894428198928333]
本稿では,凍結視覚モデルにおける突発的概念を識別するためのバイアスラベルのないポストホック法を提案する。
Colored MNIST と Waterbirds では、この手法は既知のスプリアスキューに沿った概念を復元する。
推論時間における上位概念の抑制は、最悪のグループ精度を最大17.9ポイント向上させる。
論文 参考訳(メタデータ) (2026-05-27T17:39:10Z) - Classification-Head Bias in Class-Level Machine Unlearning: Diagnosis, Mitigation, and Evaluation [0.7991370731695461]
クラスレベルのマシンアンラーニングは、モデルユーティリティを保持しながら、特定のクラスの影響を取り除くことを目的としている。
既存の手法は、保持セット精度、忘れセット精度、未学習時間によって一般に評価される。
我々は,クラスレベルの未学習において,バイアスに支配されるショートカットを明らかにし,最終分類ヘッドの対応するバイアス項を減少させることで,忘れられたクラスの予測を抑えることができる。
論文 参考訳(メタデータ) (2026-05-09T06:33:42Z) - Practical estimation of the optimal classification error with soft labels and calibration [47.001801756596926]
我々は,ベイズ誤差,最適誤差率を推定するために,ソフトラベルを用いた以前の研究を拡張した。
我々は、破損したソフトラベルによる推定という、より困難な問題に取り組みます。
私たちのメソッドはインスタンスフリーです。つまり、入力インスタンスへのアクセスを前提としません。
論文 参考訳(メタデータ) (2025-05-27T06:04:57Z) - Generating Unbiased Pseudo-labels via a Theoretically Guaranteed
Chebyshev Constraint to Unify Semi-supervised Classification and Regression [57.17120203327993]
分類におけるしきい値と擬似ラベルプロセス(T2L)は、ラベルの品質を決定するために信頼性を使用する。
本質的には、レグレッションは高品質なラベルを生成するためにバイアスのない方法も必要である。
チェビシェフの不等式に基づく不偏ラベルを生成するための理論的に保証された制約を提案する。
論文 参考訳(メタデータ) (2023-11-03T08:39:35Z) - Deep Imbalanced Regression via Hierarchical Classification Adjustment [50.19438850112964]
コンピュータビジョンにおける回帰タスクは、しばしば、対象空間をクラスに定量化することで分類される。
トレーニングサンプルの大多数は目標値の先頭にあるが、少数のサンプルは通常より広い尾幅に分布する。
不均衡回帰タスクを解くために階層型分類器を構築することを提案する。
不均衡回帰のための新しい階層型分類調整(HCA)は,3つのタスクにおいて優れた結果を示す。
論文 参考訳(メタデータ) (2023-10-26T04:54:39Z) - Class-Imbalanced Graph Learning without Class Rebalancing [62.1368829847041]
クラス不均衡は実世界のノード分類タスクでよく見られ、グラフ学習モデルには大きな課題がある。
本研究では、トポロジカルパラダイムからクラス不均衡バイアスの根本原因にアプローチする。
我々は,クラス再バランスを伴わずにクラス不均衡バイアスを軽減するために,軽量なトポロジカル拡張フレームワークであるBATを考案した。
論文 参考訳(メタデータ) (2023-08-27T19:01:29Z) - Evaluating AI systems under uncertain ground truth: a case study in dermatology [43.8328264420381]
不確実性を無視することは、モデル性能の過度に楽観的な推定につながることを示す。
皮膚状態の分類では,データセットの大部分が重大な真理不確実性を示すことが判明した。
論文 参考訳(メタデータ) (2023-07-05T10:33:45Z) - Active Inference-Based Optimization of Discriminative Neural Network
Classifiers [3.1219977244201056]
そこで本研究では,事前確率からトレーニングサンプルの候補分類ラベルを求めるアルゴリズムを提案する。
提案した目的関数は、まだ分布ベースでありながら、候補ラベル、元の参照ラベル、およびトレーニングサンプルの事前を組み込むことができる。
論文 参考訳(メタデータ) (2023-06-04T19:30:28Z) - Parametric Classification for Generalized Category Discovery: A Baseline
Study [70.73212959385387]
Generalized Category Discovery (GCD)は、ラベル付きサンプルから学習した知識を用いて、ラベルなしデータセットで新しいカテゴリを発見することを目的としている。
パラメトリック分類器の故障を調査し,高品質な監視が可能であった場合の過去の設計選択の有効性を検証し,信頼性の低い疑似ラベルを重要課題として同定する。
エントロピー正規化の利点を生かし、複数のGCDベンチマークにおける最先端性能を実現し、未知のクラス数に対して強いロバスト性を示す、単純で効果的なパラメトリック分類法を提案する。
論文 参考訳(メタデータ) (2022-11-21T18:47:11Z) - Learning to Adapt Classifier for Imbalanced Semi-supervised Learning [38.434729550279116]
Pseudo-labelingは、有望な半教師付き学習(SSL)パラダイムであることが証明されている。
既存の擬似ラベル法では、トレーニングデータのクラス分布が均衡していると仮定するのが一般的である。
本研究では,不均衡な半教師付きセットアップ下での擬似ラベリングについて検討する。
論文 参考訳(メタデータ) (2022-07-28T02:15:47Z) - Is the Performance of My Deep Network Too Good to Be True? A Direct
Approach to Estimating the Bayes Error in Binary Classification [86.32752788233913]
分類問題において、ベイズ誤差は、最先端の性能を持つ分類器を評価するための基準として用いられる。
我々はベイズ誤差推定器を提案する。そこでは,クラスの不確かさを示すラベルの平均値のみを評価できる。
我々の柔軟なアプローチは、弱い教師付きデータであってもベイズ誤差を推定できる。
論文 参考訳(メタデータ) (2022-02-01T13:22:26Z) - Identifying Incorrect Classifications with Balanced Uncertainty [21.130311978327196]
不確実性推定は、コストに敏感なディープラーニングアプリケーションには不可欠である。
本研究では,不確実性推定における不均衡を2種類の分布バイアスとしてモデル化するための分布不均衡を提案する。
そこで我々は,新たな分布的焦点損失目標を持つ不確実性推定器を学習する,バランスト・トゥルー・クラス確率フレームワークを提案する。
論文 参考訳(メタデータ) (2021-10-15T11:52:31Z) - PLM: Partial Label Masking for Imbalanced Multi-label Classification [59.68444804243782]
長いラベルの分布を持つ実世界のデータセットで訓練されたニューラルネットワークは、頻繁なクラスに偏りがあり、頻繁なクラスでは不十分である。
本稿では,この比率を利用したPLM(Partial Label Masking)を提案する。
本手法は,マルチラベル (MultiMNIST と MSCOCO) とシングルラベル (CIFAR-10 と CIFAR-100) の2つの画像分類データセットにおいて,既存の手法と比較して高い性能を実現する。
論文 参考訳(メタデータ) (2021-05-22T18:07:56Z) - Distribution-free uncertainty quantification for classification under
label shift [105.27463615756733]
2つの経路による分類問題に対する不確実性定量化(UQ)に焦点を当てる。
まず、ラベルシフトはカバレッジとキャリブレーションの低下を示すことでuqを損なうと論じる。
これらの手法を, 理論上, 分散性のない枠組みで検討し, その優れた実用性を示す。
論文 参考訳(メタデータ) (2021-03-04T20:51:03Z) - On Model Evaluation under Non-constant Class Imbalance [0.0]
多くの実世界の分類問題は、関心の階級の有害さと著しくクラス不均衡である。
通常の仮定では、テストデータセットの不均衡は実世界の不均衡と等しい。
非コンスタントクラス不均衡下での評価に焦点をあてる手法を提案する。
論文 参考訳(メタデータ) (2020-01-15T21:52:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。