論文の概要: Inferring Unfairness and Error from Population Statistics in Binary and
Multiclass Classification
- arxiv url: http://arxiv.org/abs/2206.03234v1
- Date: Tue, 7 Jun 2022 12:26:28 GMT
- ステータス: 処理完了
- システム内更新日: 2022-06-08 14:27:46.082089
- Title: Inferring Unfairness and Error from Population Statistics in Binary and
Multiclass Classification
- Title(参考訳): 二分分類と多類分類における人口統計から不公平さと誤差を推測する
- Authors: Sivan Sabato, Eran Treister, Elad Yom-Tov
- Abstract要約: マルチクラス分類に一般化した等化オッズ基準に関する公平性について検討する。
本稿では,集合ラベル統計のみを用いて,与えられた分類器の不公平さと誤りを推測する方法を示す。
- 参考スコア(独自算出の注目度): 24.806985592882867
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We propose methods for making inferences on the fairness and accuracy of a
given classifier, using only aggregate population statistics. This is necessary
when it is impossible to obtain individual classification data, for instance
when there is no access to the classifier or to a representative
individual-level validation set. We study fairness with respect to the
equalized odds criterion, which we generalize to multiclass classification. We
propose a measure of unfairness with respect to this criterion, which
quantifies the fraction of the population that is treated unfairly. We then
show how inferences on the unfairness and error of a given classifier can be
obtained using only aggregate label statistics such as the rate of prediction
of each label in each sub-population, as well as the true rate of each label.
We derive inference procedures for binary classifiers and for multiclass
classifiers, for the case where confusion matrices in each sub-population are
known, and for the significantly more challenging case where they are unknown.
We report experiments on data sets representing diverse applications, which
demonstrate the effectiveness and the wide range of possible uses of the
proposed methodology.
- Abstract(参考訳): 本稿では,集団統計のみを用いて,与えられた分類器の妥当性と精度を推定する手法を提案する。
これは、例えば、分類器または代表的個人レベルの検証セットにアクセスできない場合、個別の分類データを得ることができない場合に必要である。
マルチクラス分類に一般化した等化オッズ基準に関する公平性について検討する。
本稿では、不公平に扱われる人口の割合を定量化する、この基準に関する不公平度尺度を提案する。
次に,各個体群における各ラベルの予測率や各ラベルの真数といった集計ラベル統計を用いて,与えられた分類器の不公平さや誤差に対する推論がどのように得られるかを示す。
各サブポピュレーションにおける混乱行列が知られている場合、およびそれらが未知である場合において、バイナリ分類器とマルチクラス分類器の推論手順を導出する。
提案手法の有効性と適用範囲を検証し,多種多様なアプリケーションを表すデータセットについて実験を行った。
関連論文リスト
- The Selected-completely-at-random Complementary Label is a Practical
Weak Supervision for Multi-class Classification [71.42360409393201]
補完ラベル学習は、弱教師付き学習問題である。
均一分布仮定に依存しない一貫した手法を提案する。
相補的なラベル学習は、負のラベル付きバイナリ分類問題の集合として表現できる。
論文 参考訳(メタデータ) (2023-11-27T02:59:17Z) - A Universal Unbiased Method for Classification from Aggregate
Observations [115.20235020903992]
本稿では,任意の損失に対する分類リスクを非バイアスで推定するCFAOの普遍的手法を提案する。
提案手法は,非バイアスリスク推定器によるリスクの整合性を保証するだけでなく,任意の損失に対応できる。
論文 参考訳(メタデータ) (2023-06-20T07:22:01Z) - Class-Conditional Conformal Prediction with Many Classes [60.8189977620604]
類似した共形スコアを持つクラスをクラスタ化するクラスタ化共形予測法を提案する。
クラスタ化されたコンフォメーションは、クラス条件カバレッジとセットサイズメトリクスの点で、既存のメソッドよりも一般的に優れています。
論文 参考訳(メタデータ) (2023-06-15T17:59:02Z) - Non-Asymptotic Performance of Social Machine Learning Under Limited Data [51.053285698685364]
本研究では,社会機械学習フレームワークに関連付けられた誤りの確率について検討する。
このフレームワークは、ラベルのないデータのストリームを分散的に分類する問題に対処する。
論文 参考訳(メタデータ) (2023-06-15T17:42:14Z) - Class-Distribution-Aware Pseudo Labeling for Semi-Supervised Multi-Label
Learning [97.88458953075205]
Pseudo-labelingは、ラベルなしデータを利用するための人気で効果的なアプローチとして登場した。
本稿では,クラスアウェアの擬似ラベル処理を行うCAP(Class-Aware Pseudo-Labeling)という新しい手法を提案する。
論文 参考訳(メタデータ) (2023-05-04T12:52:18Z) - On the Within-Group Fairness of Screening Classifiers [16.404065044314976]
我々は、校正された分類器を使用するスクリーニングポリシーは、グループ内の不公平さの過小評価に悩まされる可能性があると論じる。
予測粒度とショートリストサイズの観点から,グループ内単調性は少ないコストで達成可能であることを示す。
論文 参考訳(メタデータ) (2023-01-31T19:00:28Z) - Learning Acceptance Regions for Many Classes with Anomaly Detection [19.269724165953274]
既存の集合値分類法の多くは、トレーニングデータに現れない新しいクラスがテストデータに現れる可能性を考慮していない。
テストデータに新しいクラスが存在する可能性を考慮しつつ,受入領域を推定する汎用予測セット(GPS)手法を提案する。
従来の手法とは異なり,提案手法は精度,効率,異常検出率のバランスが良好である。
論文 参考訳(メタデータ) (2022-09-20T19:40:33Z) - Cautious Active Clustering [79.23797234241471]
ユークリッド空間上の未知の確率測度からサンプリングされた点の分類の問題を考える。
我々のアプローチは、未知の確率測度を、各クラスに対する条件付き確率の凸結合として考えることである。
論文 参考訳(メタデータ) (2020-08-03T23:47:31Z) - Classifier uncertainty: evidence, potential impact, and probabilistic
treatment [0.0]
本稿では,混乱行列の確率モデルに基づいて,分類性能指標の不確かさを定量化する手法を提案する。
我々は、不確実性は驚くほど大きく、性能評価を制限できることを示した。
論文 参考訳(メタデータ) (2020-06-19T12:49:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。