論文の概要: What do Bias Measures Measure?

• arxiv url: http://arxiv.org/abs/2108.03362v1
• Date: Sat, 7 Aug 2021 04:08:47 GMT
• ステータス: 処理完了
• システム内更新日: 2021-08-12 03:43:46.638227
• Title: What do Bias Measures Measure?
• Title（参考訳）: バイアス対策とは何か?
• Authors: Sunipa Dev, Emily Sheng, Jieyu Zhao, Jiao Sun, Yu Hou, Mattie Sanseverino, Jiin Kim, Nanyun Peng, Kai-Wei Chang
• Abstract要約: 自然言語処理モデルは、性別、人種、国籍などの保護された属性に関する社会的偏見を伝播させる。 介入を作成し、これらのバイアスと関連する害を緩和するためには、そのようなバイアスを検出して測定することが不可欠である。 本研究は、NLPタスク、メトリクス、データセット、社会的バイアスおよびそれに対応する害の関数として、NLPの既存のバイアス尺度に関する包括的調査を示す。
• 参考スコア（独自算出の注目度）: 41.36968251743058
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Natural Language Processing (NLP) models propagate social biases about protected attributes such as gender, race, and nationality. To create interventions and mitigate these biases and associated harms, it is vital to be able to detect and measure such biases. While many existing works propose bias evaluation methodologies for different tasks, there remains a need to cohesively understand what biases and normative harms each of these measures captures and how different measures compare. To address this gap, this work presents a comprehensive survey of existing bias measures in NLP as a function of the associated NLP tasks, metrics, datasets, and social biases and corresponding harms. This survey also organizes metrics into different categories to present advantages and disadvantages. Finally, we propose a documentation standard for bias measures to aid their development, categorization, and appropriate usage.
• Abstract（参考訳）: 自然言語処理(nlp)モデルは、性別、人種、国籍といった保護された属性に関する社会バイアスを広める。 これらのバイアスと関連する害を緩和し介入を作成するためには、そのようなバイアスを検出して測定することが不可欠である。 多くの既存の研究が異なるタスクに対するバイアス評価手法を提案しているが、これらの尺度がそれぞれどのようなバイアスと規範にどのような影響があるか、どのように異なる尺度が比較されるかを理解する必要がある。 このギャップに対処するため、本研究では、関連するNLPタスク、メトリクス、データセット、社会的バイアス、およびそれに対応する害の関数として、NLPの既存のバイアス尺度を包括的に調査する。 この調査はまた、メリットとデメリットを示すために、さまざまなカテゴリにメトリクスを整理している。 最後に,その開発,分類,適切な利用を支援するバイアス尺度の文書化標準を提案する。

関連論文リスト

• Comprehensive Equity Index (CEI): Definition and Application to Bias Evaluation in Biometrics [47.762333925222926]
  本稿では,機械学習モデルのバイアス行動の定量化のための新しい指標を提案する。 顔認識システムの運用評価に焦点をあて,適用する。
  論文  参考訳（メタデータ） (2024-09-03T14:19:38Z)
• A Principled Approach for a New Bias Measure [7.352247786388098]
  偏差値の全範囲で明確かつ簡単な解釈を行う最初のバイアス尺度であるUniform Bias (UB) の定義を提案する。 この結果は,9つの公開データセットを用いて実験的に検証され,理論的に解析され,新たな知見が得られた。 当社のアプローチに基づいて、政策立案者にとって有用なバイアス緩和モデルも設計しています。
  論文  参考訳（メタデータ） (2024-05-20T18:14:33Z)
• The Impact of Differential Feature Under-reporting on Algorithmic Fairness [86.275300739926]
  解析的に抽出可能な差分特徴のアンダーレポーティングモデルを提案する。 そして、この種のデータバイアスがアルゴリズムの公正性に与える影響を特徴づける。 我々の結果は、実世界のデータ設定では、アンダーレポートが典型的に格差を増大させることを示している。
  論文  参考訳（メタデータ） (2024-01-16T19:16:22Z)
• This Prompt is Measuring <MASK>: Evaluating Bias Evaluation in Language Models [12.214260053244871]
  言語モデルのバイアスを評価するためにプロンプトとテンプレートを使用する作業の本体を分析します。 我々は、バイアステストが測定する目的を捉える属性の分類を作成するために、測定モデリングフレームワークを設計する。 我々の分析は、フィールドが測定できる可能性のあるバイアスタイプの範囲を照らし、まだ調査されていないタイプを明らかにします。
  論文  参考訳（メタデータ） (2023-05-22T06:28:48Z)
• Fair Enough: Standardizing Evaluation and Model Selection for Fairness Research in NLP [64.45845091719002]
  現代のNLPシステムは様々なバイアスを示しており、モデル偏見に関する文献が増えている。 本稿では,その現状を解明し,公正学習における意味ある進歩の道筋を立案することを目的とする。
  論文  参考訳（メタデータ） (2023-02-11T14:54:00Z)
• Trustworthy Social Bias Measurement [92.87080873893618]
  本研究では,測定モデリングの学際的理論に基づいて,信頼を保証できるバイアス尺度を設計する。 我々は5つの具体的なバイアス測定をインスタンス化するために、一般的なバイアス測定フレームワークであるDivDistを提案して、その定義を運用する。 我々は,従来の尺度に存在した概念的,技術的,実証的欠陥を克服し,我々の措置を信頼するかなりの証拠を実証する。
  論文  参考訳（メタデータ） (2022-12-20T18:45:12Z)
• Choose Your Lenses: Flaws in Gender Bias Evaluation [29.16221451643288]
  ジェンダーバイアス評価の現在のパラダイムを評価し、その中のいくつかの欠陥を同定する。 まず、あるタスクにおけるモデルのパフォーマンスがジェンダーによってどのように影響を受けるかを測定する、外在バイアス指標の重要性を強調する。 第二に、データセットとメトリクスが頻繁に結合されていることを発見し、それらの結合がいかにして信頼できる結論を得る能力を妨げているかについて議論する。
  論文  参考訳（メタデータ） (2022-10-20T17:59:55Z)
• Debiasing isn't enough! -- On the Effectiveness of Debiasing MLMs and their Social Biases in Downstream Tasks [33.044775876807826]
  仮面言語モデル(MLM)におけるタスク非依存とタスク固有の社会的偏見評価の内在的関係について検討する。 この2つの評価尺度の間には弱い相関しか存在しないことが判明した。
  論文  参考訳（メタデータ） (2022-10-06T14:08:57Z)
• Measuring Fairness Under Unawareness of Sensitive Attributes: A Quantification-Based Approach [131.20444904674494]
  センシティブな属性の無意識下でのグループフェアネスを測定する問題に取り組む。 定量化手法は, フェアネスと無意識の問題に対処するのに特に適していることを示す。
  論文  参考訳（メタデータ） (2021-09-17T13:45:46Z)
• Intrinsic Bias Metrics Do Not Correlate with Application Bias [12.588713044749179]
  本研究は, 測定容易な内在的指標が実世界の外在的指標とよく相関するかどうかを検討する。 異なるタスクと実験条件をカバーする数百のトレーニングモデルに対して,内在バイアスと外部バイアスの両方を測定した。 埋め込みスペースのデビア化の取り組みは、常に下流モデルバイアスの測定とペアリングされることを推奨し、追加のチャレンジセットと注釈付きテストデータの作成を通じて下流測定をより実現可能にするためのコミュニティの努力を高めることを提案します。
  論文  参考訳（メタデータ） (2020-12-31T18:59:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。