論文の概要: Understanding challenges to the interpretation of disaggregated evaluations of algorithmic fairness

• arxiv url: http://arxiv.org/abs/2506.04193v1
• Date: Wed, 04 Jun 2025 17:40:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-05 21:20:14.497265
• Title: Understanding challenges to the interpretation of disaggregated evaluations of algorithmic fairness
• Title（参考訳）: アルゴリズムフェアネスの非集合的評価の解釈への課題の理解
• Authors: Stephen R. Pfohl, Natalie Harris, Chirag Nagpal, David Madras, Vishwali Mhasawade, Olawale Salaudeen, Awa Dieng, Shannon Sequeira, Santiago Arciniegas, Lillian Sung, Nnamdi Ezeanochie, Heather Cole-Lewis, Katherine Heller, Sanmi Koyejo, Alexander D'Amour,
• Abstract要約: 関係する人口を表わすが、実世界の格差を反映するデータである場合、サブグループ間での平等なパフォーマンスは、信頼できない公平さの尺度であることを示す。 本フレームワークでは, 因果関係の明示的な仮定と分析を相補して, 相反や分布変化の制御を提案する。
• 参考スコア（独自算出の注目度）: 47.31249332115595
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Disaggregated evaluation across subgroups is critical for assessing the fairness of machine learning models, but its uncritical use can mislead practitioners. We show that equal performance across subgroups is an unreliable measure of fairness when data are representative of the relevant populations but reflective of real-world disparities. Furthermore, when data are not representative due to selection bias, both disaggregated evaluation and alternative approaches based on conditional independence testing may be invalid without explicit assumptions regarding the bias mechanism. We use causal graphical models to predict metric stability across subgroups under different data generating processes. Our framework suggests complementing disaggregated evaluations with explicit causal assumptions and analysis to control for confounding and distribution shift, including conditional independence testing and weighted performance estimation. These findings have broad implications for how practitioners design and interpret model assessments given the ubiquity of disaggregated evaluation.
• Abstract（参考訳）: サブグループ間での非凝集評価は、機械学習モデルの公平性を評価する上で重要であるが、その不クリティカルな使用は実践者を誤解させる可能性がある。 我々は,各サブグループ間の平等なパフォーマンスは,データが関連する人口を表すが,現実の格差を反映している場合の公平性の信頼できない尺度であることを示した。 さらに、選択バイアスによってデータが代表的でない場合、非凝集評価と条件独立性テストに基づく代替手法の両方がバイアス機構に関する明示的な仮定なしで無効となる可能性がある。 我々は因果グラフモデルを用いて、異なるデータ生成プロセスの下でのサブグループ間のメートル法安定性を予測する。 本フレームワークでは,条件付き独立性テストや重み付け性能評価を含む,因果関係の明確な仮定と分析を相補的に行うことを提案する。 これらの知見は,非凝集性評価の多様さから,実践者がモデルアセスメントを設計し,解釈する方法に大きな影響を及ぼす。

関連論文リスト

• Semi-supervised Learning For Robust Speech Evaluation [30.593420641501968]
  音声評価は、自動モデルを用いて学習者の口頭習熟度を測定する。 本稿では,半教師付き事前学習と客観的正規化を活用することで,このような課題に対処することを提案する。 アンカーモデルは、発音の正しさを予測するために擬似ラベルを用いて訓練される。
  論文  参考訳（メタデータ） (2024-09-23T02:11:24Z)
• Hierarchical Bias-Driven Stratification for Interpretable Causal Effect Estimation [1.6874375111244329]
  BICauseTreeは、自然実験が局所的に発生するクラスタを識別する解釈可能なバランシング手法である。 合成および現実的なデータセットを用いて手法の性能を評価し、バイアス-解釈可能性トレードオフを探索し、既存の手法に匹敵することを示す。
  論文  参考訳（メタデータ） (2024-01-31T10:58:13Z)
• A structured regression approach for evaluating model performance across intersectional subgroups [53.91682617836498]
  分散評価(disaggregated evaluation)は、AIフェアネスアセスメントにおける中心的なタスクであり、AIシステムのさまざまなサブグループ間でのパフォーマンスを測定することを目的としている。 非常に小さなサブグループであっても,信頼性の高いシステム性能推定値が得られることを示す。
  論文  参考訳（メタデータ） (2024-01-26T14:21:45Z)
• Statistical Inference for Fairness Auditing [4.318555434063274]
  我々は、このタスクを複数の仮説テストの観点から「フェアネス監査」とみなしている。 ブートストラップを用いて,グループ間のパフォーマンス格差を同時にバインドする方法を示す。 本手法は,モデルアンダーパフォーマンスの影響を受けるサブポピュレーションのフラグ付けや,モデルが適切に機能するサブポピュレーションの認証に利用できる。
  論文  参考訳（メタデータ） (2023-05-05T17:54:22Z)
• Testing Group Fairness via Optimal Transport Projections [12.972104025246091]
  提案試験は, 摂動に偏りを示すか, データのランダム性に起因するかを評価するための, 柔軟な, 解釈可能な, 統計的に厳密なツールである。 グループフェアネスを定義する複数の影響基準から生じる可能性のある統計的課題は、グループフェア確率モデルの集合に経験的測度を投影することによって、都合よく取り組まれる。 提案フレームワークは,複数属性の合成固有フェアネス仮説およびフェアネスの試験にも使用することができる。
  論文  参考訳（メタデータ） (2021-06-02T10:51:39Z)
• LOGAN: Local Group Bias Detection by Clustering [86.38331353310114]
  コーパスレベルでバイアスを評価することは、モデルにバイアスがどのように埋め込まれているかを理解するのに十分ではない、と我々は主張する。 クラスタリングに基づく新しいバイアス検出手法であるLOGANを提案する。 毒性分類および対象分類タスクの実験は、LOGANが局所領域のバイアスを特定することを示している。
  論文  参考訳（メタデータ） (2020-10-06T16:42:51Z)
• Performance metrics for intervention-triggering prediction models do not reflect an expected reduction in outcomes from using the model [71.9860741092209]
  臨床研究者はしばしばリスク予測モデルの中から選択し評価する。 振り返りデータから算出される標準メトリクスは、特定の仮定の下でのみモデルユーティリティに関係します。 予測が時間を通して繰り返し配信される場合、標準メトリクスとユーティリティの関係はさらに複雑になる。
  論文  参考訳（メタデータ） (2020-06-02T16:26:49Z)
• Learning Overlapping Representations for the Estimation of Individualized Treatment Effects [97.42686600929211]
  観測データから代替案の可能性を推定することは難しい問題である。 入力のドメイン不変表現を学習するアルゴリズムは、しばしば不適切であることを示す。 我々は,様々なベンチマークデータセットの最先端性を大幅に向上させる,ディープカーネル回帰アルゴリズムと後続正規化フレームワークを開発した。
  論文  参考訳（メタデータ） (2020-01-14T12:56:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。