論文の概要: What do Bias Measures Measure?

• arxiv url: http://arxiv.org/abs/2108.03362v1
• Date: Sat, 7 Aug 2021 04:08:47 GMT
• ステータス: 処理完了
• システム内更新日: 2021-08-12 03:43:46.638227
• Title: What do Bias Measures Measure?
• Title（参考訳）: バイアス対策とは何か?
• Authors: Sunipa Dev, Emily Sheng, Jieyu Zhao, Jiao Sun, Yu Hou, Mattie Sanseverino, Jiin Kim, Nanyun Peng, Kai-Wei Chang
• Abstract要約: 自然言語処理モデルは、性別、人種、国籍などの保護された属性に関する社会的偏見を伝播させる。 介入を作成し、これらのバイアスと関連する害を緩和するためには、そのようなバイアスを検出して測定することが不可欠である。 本研究は、NLPタスク、メトリクス、データセット、社会的バイアスおよびそれに対応する害の関数として、NLPの既存のバイアス尺度に関する包括的調査を示す。
• 参考スコア（独自算出の注目度）: 41.36968251743058
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Natural Language Processing (NLP) models propagate social biases about protected attributes such as gender, race, and nationality. To create interventions and mitigate these biases and associated harms, it is vital to be able to detect and measure such biases. While many existing works propose bias evaluation methodologies for different tasks, there remains a need to cohesively understand what biases and normative harms each of these measures captures and how different measures compare. To address this gap, this work presents a comprehensive survey of existing bias measures in NLP as a function of the associated NLP tasks, metrics, datasets, and social biases and corresponding harms. This survey also organizes metrics into different categories to present advantages and disadvantages. Finally, we propose a documentation standard for bias measures to aid their development, categorization, and appropriate usage.
• Abstract（参考訳）: 自然言語処理(nlp)モデルは、性別、人種、国籍といった保護された属性に関する社会バイアスを広める。 これらのバイアスと関連する害を緩和し介入を作成するためには、そのようなバイアスを検出して測定することが不可欠である。 多くの既存の研究が異なるタスクに対するバイアス評価手法を提案しているが、これらの尺度がそれぞれどのようなバイアスと規範にどのような影響があるか、どのように異なる尺度が比較されるかを理解する必要がある。 このギャップに対処するため、本研究では、関連するNLPタスク、メトリクス、データセット、社会的バイアス、およびそれに対応する害の関数として、NLPの既存のバイアス尺度を包括的に調査する。 この調査はまた、メリットとデメリットを示すために、さまざまなカテゴリにメトリクスを整理している。 最後に,その開発,分類,適切な利用を支援するバイアス尺度の文書化標準を提案する。

関連論文リスト

• This Prompt is Measuring <MASK>: Evaluating Bias Evaluation in Language Models [12.214260053244871]
  言語モデルのバイアスを評価するためにプロンプトとテンプレートを使用する作業の本体を分析します。 我々は、バイアステストが測定する目的を捉える属性の分類を作成するために、測定モデリングフレームワークを設計する。 我々の分析は、フィールドが測定できる可能性のあるバイアスタイプの範囲を照らし、まだ調査されていないタイプを明らかにします。
  論文  参考訳（メタデータ） (2023-05-22T06:28:48Z)
• Fair Enough: Standardizing Evaluation and Model Selection for Fairness Research in NLP [64.45845091719002]
  現代のNLPシステムは様々なバイアスを示しており、モデル偏見に関する文献が増えている。 本稿では,その現状を解明し,公正学習における意味ある進歩の道筋を立案することを目的とする。
  論文  参考訳（メタデータ） (2023-02-11T14:54:00Z)
• Testing Occupational Gender Bias in Language Models: Towards Robust Measurement and Zero-Shot Debiasing [98.07536837448293]
  大規模言語モデル(LLM)は、様々な人口層に対して有害で人間らしいバイアスを示すことが示されている。 生成言語モデルにおけるバイアスを頑健に測定するためのdesiderataのリストを紹介する。 次に、このベンチマークを使用して、Llama、Mistral、およびそれらの命令チューニングバージョンを含む、最先端のオープンソースLLMをテストします。
  論文  参考訳（メタデータ） (2022-12-20T22:41:24Z)
• Trustworthy Social Bias Measurement [92.87080873893618]
  本研究では,測定モデリングの学際的理論に基づいて,信頼を保証できるバイアス尺度を設計する。 我々は5つの具体的なバイアス測定をインスタンス化するために、一般的なバイアス測定フレームワークであるDivDistを提案して、その定義を運用する。 我々は,従来の尺度に存在した概念的,技術的,実証的欠陥を克服し,我々の措置を信頼するかなりの証拠を実証する。
  論文  参考訳（メタデータ） (2022-12-20T18:45:12Z)
• Choose Your Lenses: Flaws in Gender Bias Evaluation [29.16221451643288]
  ジェンダーバイアス評価の現在のパラダイムを評価し、その中のいくつかの欠陥を同定する。 まず、あるタスクにおけるモデルのパフォーマンスがジェンダーによってどのように影響を受けるかを測定する、外在バイアス指標の重要性を強調する。 第二に、データセットとメトリクスが頻繁に結合されていることを発見し、それらの結合がいかにして信頼できる結論を得る能力を妨げているかについて議論する。
  論文  参考訳（メタデータ） (2022-10-20T17:59:55Z)
• Debiasing isn't enough! -- On the Effectiveness of Debiasing MLMs and their Social Biases in Downstream Tasks [33.044775876807826]
  仮面言語モデル(MLM)におけるタスク非依存とタスク固有の社会的偏見評価の内在的関係について検討する。 この2つの評価尺度の間には弱い相関しか存在しないことが判明した。
  論文  参考訳（メタデータ） (2022-10-06T14:08:57Z)
• Evaluating Metrics for Bias in Word Embeddings [64.55554083622258]
  我々は、過去の研究の考えに基づいてバイアス定義を定式化し、バイアスメトリクスの条件を導出する。 そこで我々は,既存のメトリクスの欠点に対処する新しい計量であるhetを提案し,その振る舞いを数学的に証明する。
  論文  参考訳（メタデータ） (2021-11-15T16:07:15Z)
• Measuring Fairness Under Unawareness of Sensitive Attributes: A Quantification-Based Approach [131.20444904674494]
  センシティブな属性の無意識下でのグループフェアネスを測定する問題に取り組む。 定量化手法は, フェアネスと無意識の問題に対処するのに特に適していることを示す。
  論文  参考訳（メタデータ） (2021-09-17T13:45:46Z)
• Intrinsic Bias Metrics Do Not Correlate with Application Bias [12.588713044749179]
  本研究は, 測定容易な内在的指標が実世界の外在的指標とよく相関するかどうかを検討する。 異なるタスクと実験条件をカバーする数百のトレーニングモデルに対して,内在バイアスと外部バイアスの両方を測定した。 埋め込みスペースのデビア化の取り組みは、常に下流モデルバイアスの測定とペアリングされることを推奨し、追加のチャレンジセットと注釈付きテストデータの作成を通じて下流測定をより実現可能にするためのコミュニティの努力を高めることを提案します。
  論文  参考訳（メタデータ） (2020-12-31T18:59:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。