論文の概要: A structured regression approach for evaluating model performance across intersectional subgroups

• arxiv url: http://arxiv.org/abs/2401.14893v1
• Date: Fri, 26 Jan 2024 14:21:45 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-29 14:50:00.130430
• Title: A structured regression approach for evaluating model performance across intersectional subgroups
• Title（参考訳）: 交差部分群間のモデル性能評価のための構造化回帰手法
• Authors: Christine Herlihy, Kimberly Truong, Alexandra Chouldechova, Miroslav Dudik
• Abstract要約: 分散評価は、AIフェアネスアセスメントにおける中心的なタスクであり、異なるサブグループ間でAIシステムのパフォーマンスを測定することを目的としている。 本稿では,システム性能評価の信頼性を実証する,非凝集評価のための構造化回帰手法を提案する。 我々は2つの公開データセットといくつかの半合成データの変種についてアプローチを評価した。
• 参考スコア（独自算出の注目度）: 57.84444882410051
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Disaggregated evaluation is a central task in AI fairness assessment, with the goal to measure an AI system's performance across different subgroups defined by combinations of demographic or other sensitive attributes. The standard approach is to stratify the evaluation data across subgroups and compute performance metrics separately for each group. However, even for moderately-sized evaluation datasets, sample sizes quickly get small once considering intersectional subgroups, which greatly limits the extent to which intersectional groups are considered in many disaggregated evaluations. In this work, we introduce a structured regression approach to disaggregated evaluation that we demonstrate can yield reliable system performance estimates even for very small subgroups. We also provide corresponding inference strategies for constructing confidence intervals and explore how goodness-of-fit testing can yield insight into the structure of fairness-related harms experienced by intersectional groups. We evaluate our approach on two publicly available datasets, and several variants of semi-synthetic data. The results show that our method is considerably more accurate than the standard approach, especially for small subgroups, and goodness-of-fit testing helps identify the key factors that drive differences in performance.
• Abstract（参考訳）: 分散評価は、AIフェアネスアセスメントにおける中心的なタスクであり、人口統計学やその他の機密属性の組み合わせによって定義された異なるサブグループ間でAIシステムのパフォーマンスを測定することを目的としている。 標準的なアプローチは、サブグループにまたがって評価データを階層化し、各グループごとにパフォーマンス指標を計算することである。 しかし、中程度の評価データセットであっても、交叉部分群を考えるとサンプルサイズは急速に小さくなり、多くの非凝集評価において交叉群が考慮される範囲は大幅に制限される。 そこで本研究では,非常に小さなサブグループであっても信頼性の高いシステム性能を推定できることを実証する,分散評価のための構造化回帰手法を提案する。 また、信頼区間を構築するための対応する推論戦略を提供し、整合性テストが、交叉群が経験した公平性関連害の構造についての洞察をいかに得るかを探る。 我々は2つの公開データセットといくつかの半合成データに対してアプローチを評価した。 その結果,本手法は,特に小小グループに対して,標準手法よりもかなり正確であり,適合度テストは,性能の差異を引き起こす重要な要因を特定するのに有用であることがわかった。

関連論文リスト

• Multi-Group Fairness Evaluation via Conditional Value-at-Risk Testing [24.553384023323332]
  本研究では,条件付き値-at-Riskに基づく性能格差のテスト手法を提案する。 性能違反を発見するのに必要なサンプルの複雑さは指数関数的に減少し、群数の平方根によって最も上界にあることを示す。
  論文  参考訳（メタデータ） (2023-12-06T19:25:32Z)
• Leveraging Structure for Improved Classification of Grouped Biased Data [8.121462458089143]
  データポイントが自然にグループ化されるアプリケーションに対する半教師付きバイナリ分類を検討する。 我々は、この構造を明示的に活用し、最適、グループ対応、確率出力の分類器を学習する半教師付きアルゴリズムを導出する。
  論文  参考訳（メタデータ） (2022-12-07T15:18:21Z)
• CEREAL: Few-Sample Clustering Evaluation [4.569028973407756]
  限られたラベルでクラスタリング品質を推定する未解決の問題に焦点をあてる。 本稿では,少数のクラスタリング評価のための総合的なフレームワークCEREALを紹介する。 その結果,CEREALはサンプリング基準値と比較して絶対誤差曲線下での面積を最大57%削減できることがわかった。
  論文  参考訳（メタデータ） (2022-09-30T19:52:41Z)
• Rethinking Clustering-Based Pseudo-Labeling for Unsupervised Meta-Learning [146.11600461034746]
  教師なしメタラーニングのメソッドであるCACTUsは、擬似ラベル付きクラスタリングベースのアプローチである。 このアプローチはモデルに依存しないため、教師付きアルゴリズムと組み合わせてラベルのないデータから学習することができる。 このことの核となる理由は、埋め込み空間においてクラスタリングに優しい性質が欠如していることである。
  論文  参考訳（メタデータ） (2022-09-27T19:04:36Z)
• A One-shot Framework for Distributed Clustered Learning in Heterogeneous Environments [54.172993875654015]
  異種環境における分散学習のためのコミュニケーション効率化手法のファミリーを提案する。 ユーザによるローカル計算に基づくワンショットアプローチと、サーバにおけるクラスタリングベースのアグリゲーションステップは、強力な学習保証を提供する。 厳密な凸問題に対しては,ユーザ毎のデータ点数がしきい値を超える限り,提案手法はサンプルサイズの観点から順序最適平均二乗誤差率を達成する。
  論文  参考訳（メタデータ） (2022-09-22T09:04:10Z)
• The Group Loss++: A deeper look into group loss for deep metric learning [65.19665861268574]
  グループ損失 (Group Loss) は、グループの全サンプルに埋め込まれた類似性を強制する微分可能なラベルプロパゲーション法に基づく損失関数である。 4つのデータセットでクラスタリングと画像検索の最先端結果を示し、2人の再識別データセットで競合結果を示す。
  論文  参考訳（メタデータ） (2022-04-04T14:09:58Z)
• HAWKS: Evolving Challenging Benchmark Sets for Cluster Analysis [2.5329716878122404]
  クラスタリングアルゴリズムの包括的なベンチマークは難しい。 厳格なベンチマークのベストプラクティスに関する合意はありません。 このようなベンチマークのフレキシブルな生成を支援するために,進化的アルゴリズムが果たす重要な役割を実証する。
  論文  参考訳（メタデータ） (2021-02-13T15:01:34Z)
• Fairness with Overlapping Groups [15.154984899546333]
  標準的なゴールは、複数の重なり合うグループ間での公平度メトリクスの平等を保証することである。 本稿では、確率論的人口分析を用いて、この標準公正分類問題を再考する。 提案手法は,既存のグループフェア分類手法を統一し,様々な非分解性性能指標と公正度尺度の拡張を可能にする。
  論文  参考訳（メタデータ） (2020-06-24T05:01:10Z)
• Towards Model-Agnostic Post-Hoc Adjustment for Balancing Ranking Fairness and Algorithm Utility [54.179859639868646]
  Bipartiteランキングは、ラベル付きデータから正の個人よりも上位の個人をランク付けするスコアリング機能を学ぶことを目的としている。 学習したスコアリング機能が、異なる保護グループ間で体系的な格差を引き起こすのではないかという懸念が高まっている。 本稿では、二部構成のランキングシナリオにおいて、それらのバランスをとるためのモデル後処理フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-06-15T10:08:39Z)
• Robust Recursive Partitioning for Heterogeneous Treatment Effects with Uncertainty Quantification [84.53697297858146]
  治療効果のサブグループ分析は、医療から公共政策、レコメンデーターシステムへの応用において重要な役割を担っている。 サブグループ分析の現在の手法のほとんどは、個別化処理効果(ITE)を推定するための特定のアルゴリズムから始まる。 本稿では、これらの弱点に対処する新しい部分群解析法R2Pを開発する。
  論文  参考訳（メタデータ） (2020-06-14T14:50:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。