論文の概要: Variance, Self-Consistency, and Arbitrariness in Fair Classification
- arxiv url: http://arxiv.org/abs/2301.11562v1
- Date: Fri, 27 Jan 2023 06:52:04 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-30 16:13:09.471131
- Title: Variance, Self-Consistency, and Arbitrariness in Fair Classification
- Title（参考訳）: 公平分類における可変性, 自己整合性, 任意性
- Authors: A. Feder Cooper, Solon Barocas, Christopher De Sa, Siddhartha Sen
- Abstract要約: たとえモデルの分類決定が公平度基準を満たすとしても、これらの決定が等しく自信を持つとは限らない。
学習過程の自己整合性の概念を定式化し、自己整合性を高めるアルゴリズムを開発する。
共通公平分類ベンチマークにアンサンブルを適用することで、サブグループエラー率の格差を著しく低減することができる。
- 参考スコア（独自算出の注目度）: 31.86290119758999
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In fair classification, it is common to train a model, and to compare and
correct subgroup-specific error rates for disparities. However, even if a
model's classification decisions satisfy a fairness metric, it is not
necessarily the case that these decisions are equally confident. This becomes
clear if we measure variance: We can fix everything in the learning process
except the subset of training data, train multiple models, measure
(dis)agreement in predictions for each test example, and interpret disagreement
to mean that the learning process is more unstable with respect to its
classification decision. Empirically, some decisions can in fact be so unstable
that they are effectively arbitrary. To reduce this arbitrariness, we formalize
a notion of self-consistency of a learning process, develop an ensembling
algorithm that provably increases self-consistency, and empirically demonstrate
its utility to often improve both fairness and accuracy. Further, our
evaluation reveals a startling observation: Applying ensembling to common fair
classification benchmarks can significantly reduce subgroup error rate
disparities, without employing common pre-, in-, or post-processing fairness
interventions. Taken together, our results indicate that variance, particularly
on small datasets, can muddle the reliability of conclusions about fairness.
One solution is to develop larger benchmark tasks. To this end, we release a
toolkit that makes the Home Mortgage Disclosure Act datasets easily usable for
future research.
- Abstract（参考訳）: 公平な分類では、モデルを訓練し、異なる部分群固有のエラー率を比較し、修正することが一般的である。
しかし、たとえモデルの分類決定が公平度基準を満たすとしても、これらの決定が等しく自信を持つとは限らない。
トレーニングデータのサブセットを除く学習プロセスのすべてを修正し、複数のモデルをトレーニングし、各テスト例の予測における(dis)偏差を測定し、その分類決定に関して学習プロセスがより不安定であることを意味するように不一致を解釈する。
経験的に、いくつかの決定は実際には不安定であり、事実上任意である。
この任意性を抑えるため,学習過程の自己整合性の概念を定式化し,自己整合性を良好に向上するアンサンブルアルゴリズムを開発し,その有効性を実証的に実証し,公平性と精度をよく向上させる。
さらに,本評価では, 共通フェア分類ベンチマークを適用すれば, 共通前処理, 内処理, 後処理のフェアネス介入を使わずに, サブグループ誤差率の相違を著しく低減できることを示す。
この結果から,特に小データセットにおける分散は,公正性に関する結論の信頼性を損なう可能性が示唆された。
ひとつの解決策は、より大きなベンチマークタスクを開発することです。
この目的のために、我々はHome Mortgage Disclosure Actデータセットを将来の研究に容易に利用できるようにするツールキットをリリースする。
関連論文リスト
- Editable Fairness: Fine-Grained Bias Mitigation in Language Models [52.66450426729818]
個々人の社会的偏見をきめ細かなキャリブレーションを可能にする新しいデバイアス・アプローチであるFairness Stamp(FAST)を提案する。
FASTは最先端のベースラインを超え、デバイアス性能が優れている。
これは、大きな言語モデルにおける公平性を達成するためのきめ細かいデバイアス戦略の可能性を強調している。
論文 参考訳（メタデータ） (2024-08-07T17:14:58Z) - Evaluating the Fairness of Discriminative Foundation Models in Computer
Vision [51.176061115977774]
本稿では,CLIP (Contrastive Language-Pretraining) などの差別基盤モデルのバイアス評価のための新しい分類法を提案する。
そして、これらのモデルにおけるバイアスを緩和するための既存の手法を分類学に関して体系的に評価する。
具体的には,ゼロショット分類,画像検索,画像キャプションなど,OpenAIのCLIPとOpenCLIPモデルをキーアプリケーションとして評価する。
論文 参考訳（メタデータ） (2023-10-18T10:32:39Z) - Correcting Underrepresentation and Intersectional Bias for Classification [49.1574468325115]
我々は、表現不足のバイアスによって破損したデータから学習する問題を考察する。
偏りのないデータの少ない場合、グループワイドのドロップアウト率を効率的に推定できることが示される。
本アルゴリズムは,有限VC次元のモデルクラスに対して,効率的な学習を可能にする。
論文 参考訳（メタデータ） (2023-06-19T18:25:44Z) - Systematic Evaluation of Predictive Fairness [60.0947291284978]
バイアス付きデータセットのトレーニングにおけるバイアスの緩和は、重要なオープンな問題である。
複数のタスクにまたがる様々なデバイアス化手法の性能について検討する。
データ条件が相対モデルの性能に強い影響を与えることがわかった。
論文 参考訳（メタデータ） (2022-10-17T05:40:13Z) - Fairness and Unfairness in Binary and Multiclass Classification: Quantifying, Calculating, and Bounding [22.449347663780767]
本稿では,分類器の公平性を定量的に分析できる,不公平性の新しい解釈可能な尺度を提案する。
分類器の条件付き乱雑行列が知られている場合に、この測度がどのように計算されるかを示す。
多様なアプリケーションを表すデータセットに関する実験を報告する。
論文 参考訳（メタデータ） (2022-06-07T12:26:28Z) - Measuring Fairness of Text Classifiers via Prediction Sensitivity [63.56554964580627]
加速度予測感度は、入力特徴の摂動に対するモデルの予測感度に基づいて、機械学習モデルの公正度を測定する。
この計量は、群フェアネス(統計パリティ)と個人フェアネスという特定の概念と理論的に関連付けられることを示す。
論文 参考訳（メタデータ） (2022-03-16T15:00:33Z) - Pairwise Fairness for Ordinal Regression [22.838858781036574]
我々は,以前フェアランキングで考慮されていた2つのフェアネス概念を適応させ,どちらの概念にもとづいてほぼフェアな予測者を訓練するための戦略を提案する。
我々の予測器は、スコアリング関数としきい値のセットからなるしきい値モデルから成り立っている。
提案手法は,精度-vs-fairness のトレードオフを効果的に探索することを可能にし,順序回帰の「不公平」な手法とよく比較できることを示す。
論文 参考訳（メタデータ） (2021-05-07T10:33:42Z) - On the Fairness of Causal Algorithmic Recourse [36.519629650529666]
グループレベルでの公平度基準と個人レベルでの公平度基準を提案する。
ここでは,会話の公平さは予測の公平さと相補的であることを示す。
本稿では, 社会的介入によって, データ生成プロセスの公正性違反に対処できるかどうかを論じる。
論文 参考訳（メタデータ） (2020-10-13T16:35:06Z) - Robust Fairness under Covariate Shift [11.151913007808927]
保護グループメンバーシップに関して公正な予測を行うことは、分類アルゴリズムの重要な要件となっている。
本稿では,ターゲット性能の面で最悪のケースに対して頑健な予測値を求める手法を提案する。
論文 参考訳（メタデータ） (2020-10-11T04:42:01Z) - Towards Model-Agnostic Post-Hoc Adjustment for Balancing Ranking
Fairness and Algorithm Utility [54.179859639868646]
Bipartiteランキングは、ラベル付きデータから正の個人よりも上位の個人をランク付けするスコアリング機能を学ぶことを目的としている。
学習したスコアリング機能が、異なる保護グループ間で体系的な格差を引き起こすのではないかという懸念が高まっている。
本稿では、二部構成のランキングシナリオにおいて、それらのバランスをとるためのモデル後処理フレームワークを提案する。
論文 参考訳（メタデータ） (2020-06-15T10:08:39Z) - Fairness Measures for Regression via Probabilistic Classification [0.0]
アルゴリズムフェアネス(英: Algorithmic Fairness)とは、機械学習アルゴリズムが最適化できる定量尺度として、公平性や合理的な扱いなどの概念を表現することである。
これは、分類公正度尺度が結果の比率を比較することで容易に計算され、同じ資格を持つ男性の割合が適格女性として選択されるような行動につながるためである。
しかし、そのような尺度は、価格や支払いの割当といった問題に対する継続的な回帰設定を一般化することは、計算的に困難である。
回帰設定では, 保護属性の異なる条件確率の比率として, 独立性, 分離性, 充足性基準の抽出可能な近似を導入する。
論文 参考訳（メタデータ） (2020-01-16T21:53:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。