論文の概要: Measuring Fairness of Text Classifiers via Prediction Sensitivity

• arxiv url: http://arxiv.org/abs/2203.08670v1
• Date: Wed, 16 Mar 2022 15:00:33 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-17 18:08:17.651841
• Title: Measuring Fairness of Text Classifiers via Prediction Sensitivity
• Title（参考訳）: 予測感度によるテキスト分類器の公正度測定
• Authors: Satyapriya Krishna, Rahul Gupta, Apurv Verma, Jwala Dhamala, Yada Pruksachatkun, Kai-Wei Chang
• Abstract要約: 加速度予測感度は、入力特徴の摂動に対するモデルの予測感度に基づいて、機械学習モデルの公正度を測定する。 この計量は、群フェアネス(統計パリティ)と個人フェアネスという特定の概念と理論的に関連付けられることを示す。
• 参考スコア（独自算出の注目度）: 63.56554964580627
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: With the rapid growth in language processing applications, fairness has emerged as an important consideration in data-driven solutions. Although various fairness definitions have been explored in the recent literature, there is lack of consensus on which metrics most accurately reflect the fairness of a system. In this work, we propose a new formulation : ACCUMULATED PREDICTION SENSITIVITY, which measures fairness in machine learning models based on the model's prediction sensitivity to perturbations in input features. The metric attempts to quantify the extent to which a single prediction depends on a protected attribute, where the protected attribute encodes the membership status of an individual in a protected group. We show that the metric can be theoretically linked with a specific notion of group fairness (statistical parity) and individual fairness. It also correlates well with humans' perception of fairness. We conduct experiments on two text classification datasets : JIGSAW TOXICITY, and BIAS IN BIOS, and evaluate the correlations between metrics and manual annotations on whether the model produced a fair outcome. We observe that the proposed fairness metric based on prediction sensitivity is statistically significantly more correlated with human annotation than the existing counterfactual fairness metric.
• Abstract（参考訳）: 言語処理アプリケーションの急速な成長に伴い、公正性はデータ駆動型ソリューションにおいて重要な考慮事項となっている。 近年の文献では様々なフェアネスの定義が検討されているが、どの指標がシステムのフェアネスを最も正確に反映しているかについてのコンセンサスがない。 本研究では,入力特徴の摂動に対するモデルの予測感度に基づいて,機械学習モデルの公平性を測定する新しい定式化法を提案する。 メートル法は、保護された属性が保護されたグループ内の個人のメンバシップステータスを符号化する保護された属性に依存する程度を定量化しようとする。 計量は、理論上、群フェアネス(統計的パリティ)と個々フェアネスの特定の概念と結びつくことが示されている。 また、人間の公平感ともよく関連している。 JIGSAW TOXICITYとBIAS in BIOSの2つのテキスト分類データセットを用いて実験を行い、モデルが公正な結果をもたらすかどうかのメトリクスと手動アノテーションの相関性を評価する。 予測感度に基づく公正度指標は, 既存の非事実的公正度指標よりも, 統計的に人間の注記と相関している。

関連論文リスト

• Fairness Evaluation with Item Response Theory [10.871079276188649]
  本稿では機械学習(ML)モデルにおける公平性を評価するための新しいFair-IRTフレームワークを提案する。 項目特性曲線(ICC)の詳細な説明は、特定の個人に対して提供される。 公平性評価ツールとしてのこのフレームワークの有効性を実証する実験を行った。
  論文  参考訳（メタデータ） (2024-10-20T22:25:20Z)
• The Fragility of Fairness: Causal Sensitivity Analysis for Fair Machine Learning [34.50562695587344]
  因果感度分析のツールをFairMLコンテキストに適用する。 本稿では,最も一般的なパリティ指標の感度を3種類の分類器で解析する。 因果感度分析は、パリティ計量評価の有意性を高めるために強力で必要なツールキットを提供することを示す。
  論文  参考訳（メタデータ） (2024-10-12T17:28:49Z)
• Editable Fairness: Fine-Grained Bias Mitigation in Language Models [52.66450426729818]
  個々人の社会的偏見をきめ細かなキャリブレーションを可能にする新しいデバイアス・アプローチであるFairness Stamp(FAST)を提案する。 FASTは最先端のベースラインを超え、デバイアス性能が優れている。 これは、大きな言語モデルにおける公平性を達成するためのきめ細かいデバイアス戦略の可能性を強調している。
  論文  参考訳（メタデータ） (2024-08-07T17:14:58Z)
• Causal Fair Metric: Bridging Causality, Individual Fairness, and Adversarial Robustness [7.246701762489971]
  モデル内の脆弱性の特定や、類似した個人を公平に扱うことを目的とした個々の公正性に使用される対向的摂動は、どちらも同等の入力データインスタンスを生成するためのメトリクスに依存している。 このような共同メトリクスを定義する以前の試みは、データや構造因果モデルに関する一般的な仮定を欠くことが多く、反事実的近接を反映できなかった。 本稿では, 因果的属性と保護された因果的摂動を含む因果的構造に基づいて定式化された因果的公正度について紹介する。
  論文  参考訳（メタデータ） (2023-10-30T09:53:42Z)
• Learning for Counterfactual Fairness from Observational Data [62.43249746968616]
  公正な機械学習は、人種、性別、年齢などの特定の保護された(感受性のある)属性によって記述されるある種のサブグループに対して、学習モデルのバイアスを取り除くことを目的としている。 カウンターファクトフェアネスを達成するための既存の手法の前提条件は、データに対する因果モデルの事前の人間の知識である。 本研究では,新しいフレームワークCLAIREを提案することにより,因果関係を付与せずに観測データから対実的に公正な予測を行う問題に対処する。
  論文  参考訳（メタデータ） (2023-07-17T04:08:29Z)
• DualFair: Fair Representation Learning at Both Group and Individual Levels via Contrastive Self-supervision [73.80009454050858]
  この研究は、DualFairと呼ばれる自己教師型モデルを提示し、学習された表現から性別や人種などのセンシティブな属性をデバイアスすることができる。 我々のモデルは、グループフェアネスと対実フェアネスという2つのフェアネス基準を共同で最適化する。
  論文  参考訳（メタデータ） (2023-03-15T07:13:54Z)
• On the Intrinsic and Extrinsic Fairness Evaluation Metrics for Contextualized Language Representations [74.70957445600936]
  様々な自然言語処理タスクの公平度を測定するために、複数のメトリクスが導入された。 これらの指標は,(1)下流アプリケーションにおけるフェアネスを評価する遠因性指標と,(2)上流言語表現モデルにおけるフェアネスを推定する遠因性指標の2つのカテゴリに大別することができる。
  論文  参考訳（メタデータ） (2022-03-25T22:17:43Z)
• Prediction Sensitivity: Continual Audit of Counterfactual Fairness in Deployed Classifiers [2.0625936401496237]
  従来のグループフェアネスのメトリクスは個人に対する差別を見逃しかねず、デプロイ後に適用するのが困難である。 本稿では,デプロイされた分類器における対実的公正性の連続的な監査手法である予測感度について述べる。 実証実験の結果,予測感度は反実的公正さの違反を検出するのに有効であることが示された。
  論文  参考訳（メタデータ） (2022-02-09T15:06:45Z)
• Fair Tree Learning [0.15229257192293202]
  様々な最適化基準は、分類性能と公正度を組み合わせている。 現在の公正決定木法は、分類タスクと公正度測定の両方において、一定の閾値を最適化するのみである。 そこで本研究では,一様人口分布パリティと呼ばれるしきい値非依存の公平度尺度と,SCAFF – Splitting Criterion AUC for Fairnessと題する分割基準を提案する。
  論文  参考訳（メタデータ） (2021-10-18T13:40:25Z)
• Measuring Fairness Under Unawareness of Sensitive Attributes: A Quantification-Based Approach [131.20444904674494]
  センシティブな属性の無意識下でのグループフェアネスを測定する問題に取り組む。 定量化手法は, フェアネスと無意識の問題に対処するのに特に適していることを示す。
  論文  参考訳（メタデータ） (2021-09-17T13:45:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。