論文の概要: Quantifying Social Biases in NLP: A Generalization and Empirical Comparison of Extrinsic Fairness Metrics

• arxiv url: http://arxiv.org/abs/2106.14574v1
• Date: Mon, 28 Jun 2021 11:02:33 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-29 18:11:09.462308
• Title: Quantifying Social Biases in NLP: A Generalization and Empirical Comparison of Extrinsic Fairness Metrics
• Title（参考訳）: NLPにおける社会的バイアスの定量化:外因性公正度尺度の一般化と実証的比較
• Authors: Paula Czarnowska, Yogarshi Vyas, Kashif Shah
• Abstract要約: バイアスを測定することは、NLP/MLモデルの理解を深め、不公平に対処するための鍵となる。 NLPで使用される公平度測定値の違いと類似点について,さらに詳しく検討した。
• 参考スコア（独自算出の注目度）: 5.248359551210087
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Measuring bias is key for better understanding and addressing unfairness in NLP/ML models. This is often done via fairness metrics which quantify the differences in a model's behaviour across a range of demographic groups. In this work, we shed more light on the differences and similarities between the fairness metrics used in NLP. First, we unify a broad range of existing metrics under three generalized fairness metrics, revealing the connections between them. Next, we carry out an extensive empirical comparison of existing metrics and demonstrate that the observed differences in bias measurement can be systematically explained via differences in parameter choices for our generalized metrics.
• Abstract（参考訳）: バイアスを測定することは、NLP/MLモデルの理解を深め、不公平に対処するための鍵となる。 これはしばしば、様々な集団におけるモデルの振る舞いの違いを定量化する公平度メトリクスによって行われる。 本研究では,NLPにおけるフェアネス指標の相違点と類似点について検討した。 まず、3つの一般化された公正度尺度に基づいて、既存のメトリクスを広範囲に統一し、それらの関係を明らかにする。 次に、既存のメトリクスの広範な比較実験を行い、偏差測定における観測値の違いが一般化されたメトリクスのパラメータ選択の違いによって体系的に説明可能であることを示す。

関連論文リスト

• Comprehensive Equity Index (CEI): Definition and Application to Bias Evaluation in Biometrics [47.762333925222926]
  本稿では,機械学習モデルのバイアス行動の定量化のための新しい指標を提案する。 顔認識システムの運用評価に焦点をあて,適用する。
  論文  参考訳（メタデータ） (2024-09-03T14:19:38Z)
• Towards Multiple References Era -- Addressing Data Leakage and Limited Reference Diversity in NLG Evaluation [55.92852268168816]
  BLEUやchrFのようなN-gramマッチングに基づく評価指標は、自然言語生成(NLG)タスクで広く利用されている。 近年の研究では、これらのマッチングベースの指標と人間の評価との間には弱い相関関係が示されている。 本稿では,これらの指標と人的評価の整合性を高めるために,テキストマルチプル参照を利用することを提案する。
  論文  参考訳（メタデータ） (2023-08-06T14:49:26Z)
• Enriching Disentanglement: From Logical Definitions to Quantitative Metrics [59.12308034729482]
  複雑なデータにおける説明的要素を遠ざけることは、データ効率の表現学習にとって有望なアプローチである。 論理的定義と量的指標の関連性を確立し, 理論的に根ざした絡み合いの指標を導出する。 本研究では,非交叉表現の異なる側面を分離することにより,提案手法の有効性を実証的に実証する。
  論文  参考訳（メタデータ） (2023-05-19T08:22:23Z)
• Fair Enough: Standardizing Evaluation and Model Selection for Fairness Research in NLP [64.45845091719002]
  現代のNLPシステムは様々なバイアスを示しており、モデル偏見に関する文献が増えている。 本稿では,その現状を解明し,公正学習における意味ある進歩の道筋を立案することを目的とする。
  論文  参考訳（メタデータ） (2023-02-11T14:54:00Z)
• Analysis and Comparison of Classification Metrics [12.092755413404245]
  システムスコアの測定基準には、ROC曲線下の領域、等誤差率、クロスエントロピー、ブライアスコア、ベイズECまたはベイズリスクが含まれる。 これらの測定値を用いてシステムのキャリブレーション損失を計算し、この測定値を広く使用されている予測キャリブレーション誤差(ECE)と比較する。
  論文  参考訳（メタデータ） (2022-09-12T16:06:10Z)
• Measuring Fairness of Text Classifiers via Prediction Sensitivity [63.56554964580627]
  加速度予測感度は、入力特徴の摂動に対するモデルの予測感度に基づいて、機械学習モデルの公正度を測定する。 この計量は、群フェアネス(統計パリティ)と個人フェアネスという特定の概念と理論的に関連付けられることを示す。
  論文  参考訳（メタデータ） (2022-03-16T15:00:33Z)
• Evaluating Metrics for Bias in Word Embeddings [44.14639209617701]
  我々は、過去の研究の考えに基づいてバイアス定義を定式化し、バイアスメトリクスの条件を導出する。 そこで我々は,既存のメトリクスの欠点に対処する新しい計量であるhetを提案し,その振る舞いを数学的に証明する。
  論文  参考訳（メタデータ） (2021-11-15T16:07:15Z)
• Measure Twice, Cut Once: Quantifying Bias and Fairness in Deep Neural Networks [7.763173131630868]
  本稿では,2つのモデルのクラスワイドバイアスを定量的に評価する2つの指標を提案する。 これらの新しいメトリクスのパフォーマンスを評価し、その実践的応用を実証することにより、公平性だけでなくバイアスも測定できることを示す。
  論文  参考訳（メタデータ） (2021-10-08T22:35:34Z)
• On the Relation between Quality-Diversity Evaluation and Distribution-Fitting Goal in Text Generation [86.11292297348622]
  本研究では, 品質と多様性の線形結合が, 生成した分布と実分布との分岐距離を構成することを示す。 品質/多様性メトリックペアの代替としてCR/NRRを提案する。
  論文  参考訳（メタデータ） (2020-07-03T04:06:59Z)
• Addressing multiple metrics of group fairness in data-driven decision making [2.750586731051391]
  FAT-ML文献は、社会デミノグラフィーグループに対する差別を測定するために、様々なグループの公正度尺度を提案する。 これらのメトリクスのいくつかは、同じグループと機械学習メソッドのために、2つまたは3つの主要なクラスタにまとめられていることを観察する。 グループフェアネス指標の主成分分析(PCA)を用いて,2次元の多次元フェアネスを可視化する頑健な手法を提案する。
  論文  参考訳（メタデータ） (2020-03-10T15:13:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。