論文の概要: Multi-Group Fairness Evaluation via Conditional Value-at-Risk Testing
- arxiv url: http://arxiv.org/abs/2312.03867v1
- Date: Wed, 6 Dec 2023 19:25:32 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-08 17:05:13.811141
- Title: Multi-Group Fairness Evaluation via Conditional Value-at-Risk Testing
- Title（参考訳）: 条件付きバリュー・アット・リスクテストによるマルチグループフェアネス評価
- Authors: Lucas Monteiro Paes, Ananda Theertha Suresh, Alex Beutel, Flavio P.
Calmon, Ahmad Beirami
- Abstract要約: 本研究では,条件付き値-at-Riskに基づく性能格差のテスト手法を提案する。
性能違反を発見するのに必要なサンプルの複雑さは指数関数的に減少し、群数の平方根によって最も上界にあることを示す。
- 参考スコア（独自算出の注目度）: 26.017154178063784
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Machine learning (ML) models used in prediction and classification tasks may
display performance disparities across population groups determined by
sensitive attributes (e.g., race, sex, age). We consider the problem of
evaluating the performance of a fixed ML model across population groups defined
by multiple sensitive attributes (e.g., race and sex and age). Here, the sample
complexity for estimating the worst-case performance gap across groups (e.g.,
the largest difference in error rates) increases exponentially with the number
of group-denoting sensitive attributes. To address this issue, we propose an
approach to test for performance disparities based on Conditional Value-at-Risk
(CVaR). By allowing a small probabilistic slack on the groups over which a
model has approximately equal performance, we show that the sample complexity
required for discovering performance violations is reduced exponentially to be
at most upper bounded by the square root of the number of groups. As a
byproduct of our analysis, when the groups are weighted by a specific prior
distribution, we show that R\'enyi entropy of order $2/3$ of the prior
distribution captures the sample complexity of the proposed CVaR test
algorithm. Finally, we also show that there exists a non-i.i.d. data collection
strategy that results in a sample complexity independent of the number of
groups.
- Abstract（参考訳）: 予測と分類タスクで使用される機械学習(ml)モデルは、センシティブな属性(例えば人種、性別、年齢)によって決定される集団間でのパフォーマンス格差を表示する。
複数の属性(例えば、人種、性別、年齢)によって定義される集団間での固定MLモデルの性能を評価することの問題点を考察する。
ここで、グループ間の最悪のパフォーマンスギャップ(例えば、エラー率の最大の差)を推定するサンプルの複雑さは、グループ固有の機密属性の数によって指数関数的に増加する。
この問題に対処するため,CVaR(Conditional Value-at-Risk)に基づく性能格差テスト手法を提案する。
モデルがほぼ同等の性能を持つ群の小さな確率的スラックを許容することにより、パフォーマンス違反を発見するのに必要なサンプル複雑性が指数関数的に減少し、グループ数の二乗根の最大上限値となることを示した。
我々の分析の副産物として、群が特定の事前分布によって重み付けされている場合、先行分布の2/3$のR'enyiエントロピーが提案したCVaRテストアルゴリズムのサンプル複雑性を捉えていることを示す。
最後に,非i.i.d.データ収集戦略がグループ数に依存しないサンプル複雑性をもたらすことを示す。
関連論文リスト
- A structured regression approach for evaluating model performance across intersectional subgroups [53.91682617836498]
分散評価(disaggregated evaluation)は、AIフェアネスアセスメントにおける中心的なタスクであり、AIシステムのさまざまなサブグループ間でのパフォーマンスを測定することを目的としている。
非常に小さなサブグループであっても,信頼性の高いシステム性能推定値が得られることを示す。
論文 参考訳（メタデータ） (2024-01-26T14:21:45Z) - Sample Complexity Bounds for Estimating Probability Divergences under Invariances [31.946304450935628]
群不変確率分布は、機械学習において多くのデータ生成モデルに現れる。
本研究では, 多様体上のリー群の滑らかな作用に関して, 固有の不変性が, サンプルの複雑性をいかに改善するかを考察する。
結果は正次元の群にとって全く新しいものであり、有限群作用に対する最近の境界を拡張する。
論文 参考訳（メタデータ） (2023-11-06T04:45:21Z) - Instance-Optimal Cluster Recovery in the Labeled Stochastic Block Model [79.46465138631592]
観測されたラベルを用いてクラスタを復元する効率的なアルゴリズムを考案する。
本稿では,期待値と高い確率でこれらの下位境界との性能を一致させる最初のアルゴリズムであるIACを提案する。
論文 参考訳（メタデータ） (2023-06-18T08:46:06Z) - Simplicity Bias Leads to Amplified Performance Disparities [8.60453031364566]
SGDで訓練されたモデルは、単純さに偏りがあることを示し、多数派の学習を優先させる。
モデルは、単純なデータセットのクラスやグループを優先順位付けし、複雑なものを見つけることを犠牲にすることができる。
論文 参考訳（メタデータ） (2022-12-13T15:24:41Z) - Spread Spurious Attribute: Improving Worst-group Accuracy with Spurious
Attribute Estimation [72.92329724600631]
本稿では,最悪のグループ精度を向上させるために,疑似属性に基づくアルゴリズムSpread Spurious Attributeを提案する。
各種ベンチマークデータセットに対する実験により,アルゴリズムはベースライン法より一貫して優れていることが示された。
また,提案したSSAは,フル (100%) のスプリアス特性監視を用いた手法に匹敵する性能を達成できることを実証した。
論文 参考訳（メタデータ） (2022-04-05T09:08:30Z) - Optimal Clustering with Bandit Feedback [57.672609011609886]
本稿では,バンディットフィードバックを用いたオンラインクラスタリングの問題点について考察する。
これは、NPハード重み付きクラスタリング問題をサブルーチンとして解決する必要性を回避するための、シーケンシャルなテストのための新しい停止規則を含む。
合成および実世界のデータセットの広範なシミュレーションを通して、BOCの性能は下界と一致し、非適応的ベースラインアルゴリズムよりも大幅に優れることを示す。
論文 参考訳（メタデータ） (2022-02-09T06:05:05Z) - Towards Group Robustness in the presence of Partial Group Labels [61.33713547766866]
入力サンプルとターゲットラベルの間に 急激な相関関係がある ニューラルネットワークの予測を誤った方向に導く
本稿では,制約セットから最悪のグループ割り当てを最適化するアルゴリズムを提案する。
グループ間で総合的な集計精度を維持しつつ,少数集団のパフォーマンス向上を示す。
論文 参考訳（メタデータ） (2022-01-10T22:04:48Z) - Group-matching algorithms for subjects and items [6.739368462094944]
得られた群が平均値に対して統計的に類似しているような整合群を構築するという問題を考察する。
実世界および実世界のデータセットを用いて,ldamatchパッケージが高品質なマッチングを生成することを示す。
論文 参考訳（メタデータ） (2021-10-09T02:44:31Z) - Examining and Combating Spurious Features under Distribution Shift [94.31956965507085]
我々は、最小限の統計量という情報理論の概念を用いて、ロバストで刺激的な表現を定義し、分析する。
入力分布のバイアスしか持たない場合でも、モデルはトレーニングデータから急激な特徴を拾い上げることができることを証明しています。
分析から着想を得た結果,グループDROは,グループ同士の相関関係を直接考慮しない場合に失敗する可能性が示唆された。
論文 参考訳（メタデータ） (2021-06-14T05:39:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。