論文の概要: Local Law 144: A Critical Analysis of Regression Metrics

• arxiv url: http://arxiv.org/abs/2302.04119v1
• Date: Wed, 8 Feb 2023 15:21:14 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-09 15:52:05.162226
• Title: Local Law 144: A Critical Analysis of Regression Metrics
• Title（参考訳）: 局所則144:回帰メトリクスの批判的分析
• Authors: Giulio Filippi, Sara Zannone, Airlie Hilliard, Adriano Koshiyama
• Abstract要約: 2021年11月、ニューヨーク市議会は自動雇用決定ツールのバイアス監査を義務付ける法案を可決した。 2023年4月15日からは、従業員の雇用や昇進に自動化ツールを使用する企業は、これらのシステムを監査する必要がある。 いずれの指標も領域全体の分布差を捉えることができず、従ってバイアスを確実に検出できない。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The use of automated decision tools in recruitment has received an increasing amount of attention. In November 2021, the New York City Council passed a legislation (Local Law 144) that mandates bias audits of Automated Employment Decision Tools. From 15th April 2023, companies that use automated tools for hiring or promoting employees are required to have these systems audited by an independent entity. Auditors are asked to compute bias metrics that compare outcomes for different groups, based on sex/gender and race/ethnicity categories at a minimum. Local Law 144 proposes novel bias metrics for regression tasks (scenarios where the automated system scores candidates with a continuous range of values). A previous version of the legislation proposed a bias metric that compared the mean scores of different groups. The new revised bias metric compares the proportion of candidates in each group that falls above the median. In this paper, we argue that both metrics fail to capture distributional differences over the whole domain, and therefore cannot reliably detect bias. We first introduce two metrics, as possible alternatives to the legislation metrics. We then compare these metrics over a range of theoretical examples, for which the legislation proposed metrics seem to underestimate bias. Finally, we study real data and show that the legislation metrics can similarly fail in a real-world recruitment application.
• Abstract（参考訳）: 採用における自動意思決定ツールの使用は、ますます注目を集めている。 2021年11月、ニューヨーク市議会は自動雇用決定ツールのバイアス監査を義務付ける法律(地方法144条)を可決した。 2023年4月15日からは、従業員の雇用や昇進に自動化ツールを使用する企業は、これらのシステムを独立した機関で監査する必要がある。 観客は、セックス/ジェンダーと人種/倫理のカテゴリに基づいて、異なるグループの結果を比較するバイアスメトリクスを計算するように求められます。 局所則144は、回帰タスク(自動システムが連続的な値範囲で候補をスコアするスセナリオ)のための新しいバイアスメトリクスを提案する。 以前のバージョンでは、異なるグループの平均スコアを比較するバイアスメトリックが提案されていた。 新しい改定バイアスメトリックは、中央値より上に位置する各グループの候補者の割合を比較する。 本稿では,両指標が領域全体の分布差を捉えることができず,従ってバイアスを確実に検出できないことを論じる。 まずは2つの指標を紹介します。 次に、これらの指標を、提案された指標が過小評価されるような、さまざまな理論的例と比較する。 最後に、実際のデータを調査し、実際の採用アプリケーションでも同様に、規制基準が失敗する可能性があることを示す。

関連論文リスト

• Comprehensive Equity Index (CEI): Definition and Application to Bias Evaluation in Biometrics [47.762333925222926]
  本稿では,機械学習モデルのバイアス行動の定量化のための新しい指標を提案する。 顔認識システムの運用評価に焦点をあて,適用する。
  論文  参考訳（メタデータ） (2024-09-03T14:19:38Z)
• Measuring and Addressing Indexical Bias in Information Retrieval [69.7897730778898]
  PAIRフレームワークは、ランキングドキュメンテーションやIRシステム全体の自動バイアス監査をサポートする。 DUOを導入した後、我々は32kの合成と4.7kの天然文書からなる新しいコーパスで8つのIRシステムの広範な評価を行った。 人間の行動学的研究は、私たちのアプローチを検証し、私たちのバイアスメトリクスが、いつ、どのように指標バイアスが読者の意見を変えるかを予測するのに役立ちます。
  論文  参考訳（メタデータ） (2024-06-06T17:42:37Z)
• A Principled Approach for a New Bias Measure [7.352247786388098]
  偏差値の全範囲で明確かつ簡単な解釈を行う最初のバイアス尺度であるUniform Bias (UB) の定義を提案する。 この結果は,9つの公開データセットを用いて実験的に検証され,理論的に解析され,新たな知見が得られた。 当社のアプローチに基づいて、政策立案者にとって有用なバイアス緩和モデルも設計しています。
  論文  参考訳（メタデータ） (2024-05-20T18:14:33Z)
• On Fairness and Stability: Is Estimator Variance a Friend or a Foe? [6.751310968561177]
  分散度におけるグループワイドパリティに基づく新しいパフォーマンス指標群を提案する。 フェアネス分析による不確実性定量化手法を再現したオープンソースライブラリを開発し,リリースする。
  論文  参考訳（メタデータ） (2023-02-09T09:35:36Z)
• Arbitrariness and Social Prediction: The Confounding Role of Variance in Fair Classification [31.392067805022414]
  異なる訓練されたモデル間での予測のばらつきは、公正なバイナリ分類における重要な、未探索のエラーの原因である。 実際には、いくつかのデータ例のばらつきは非常に大きいので、決定を効果的に任意にすることができる。 予測が任意である場合に分類を省略するアンサンブルアルゴリズムを開発した。
  論文  参考訳（メタデータ） (2023-01-27T06:52:04Z)
• Canary in a Coalmine: Better Membership Inference with Ensembled Adversarial Queries [53.222218035435006]
  私たちは、差別的で多様なクエリを最適化するために、逆ツールを使用します。 我々の改善は既存の方法よりもはるかに正確な会員推定を実現している。
  論文  参考訳（メタデータ） (2022-10-19T17:46:50Z)
• The Glass Ceiling of Automatic Evaluation in Natural Language Generation [60.59732704936083]
  ステップバックして、既存の自動メトリクスと人的メトリクスのボディを比較して、最近の進歩を分析します。 古いものや新しいものといった自動メトリクスは、人間よりもずっと似ています。
  論文  参考訳（メタデータ） (2022-08-31T01:13:46Z)
• D-BIAS: A Causality-Based Human-in-the-Loop System for Tackling Algorithmic Bias [57.87117733071416]
  D-BIASは、人間のループ内AIアプローチを具現化し、社会的バイアスを監査し軽減する視覚対話型ツールである。 ユーザは、因果ネットワークにおける不公平な因果関係を識別することにより、グループに対する偏見の存在を検出することができる。 それぞれのインタラクション、例えばバイアスのある因果縁の弱体化/削除は、新しい(偏りのある)データセットをシミュレートするために、新しい方法を用いている。
  論文  参考訳（メタデータ） (2022-08-10T03:41:48Z)
• Evaluating Metrics for Bias in Word Embeddings [44.14639209617701]
  我々は、過去の研究の考えに基づいてバイアス定義を定式化し、バイアスメトリクスの条件を導出する。 そこで我々は,既存のメトリクスの欠点に対処する新しい計量であるhetを提案し,その振る舞いを数学的に証明する。
  論文  参考訳（メタデータ） (2021-11-15T16:07:15Z)
• Statistical discrimination in learning agents [64.78141757063142]
  統計的差別は、訓練人口のバイアスとエージェントアーキテクチャの両方の関数としてエージェントポリシーに現れる。 我々は、リカレントニューラルネットワークを使用するエージェントによる差別の低減と、トレーニング環境のバイアスの低減が示される。
  論文  参考訳（メタデータ） (2021-10-21T18:28:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。