論文の概要: Measuring Fairness with Biased Rulers: A Survey on Quantifying Biases in Pretrained Language Models

• arxiv url: http://arxiv.org/abs/2112.07447v1
• Date: Tue, 14 Dec 2021 15:04:56 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-15 15:20:44.495282
• Title: Measuring Fairness with Biased Rulers: A Survey on Quantifying Biases in Pretrained Language Models
• Title（参考訳）: バイアスド・ルールを用いた公正度測定:事前学習言語モデルにおけるバイアスの定量化に関する調査
• Authors: Pieter Delobelle, Ewoenam Kwaku Tokpo, Toon Calders, Bettina Berendt
• Abstract要約: 自然言語処理資源における偏見パターンの認識の高まりは、偏見と公平さを定量化するために多くの指標を動機付けてきた」。 本稿では,事前訓練された言語モデルの公平度指標に関する既存の文献を調査し,互換性を実験的に評価する。 その結果、多くの指標は互換性がなく、(i)テンプレート、(ii)属性とターゲット種子、(iii)埋め込みの選択に強く依存していることがわかった。
• 参考スコア（独自算出の注目度）: 2.567384209291337
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: An increasing awareness of biased patterns in natural language processing resources, like BERT, has motivated many metrics to quantify `bias' and `fairness'. But comparing the results of different metrics and the works that evaluate with such metrics remains difficult, if not outright impossible. We survey the existing literature on fairness metrics for pretrained language models and experimentally evaluate compatibility, including both biases in language models as in their downstream tasks. We do this by a mixture of traditional literature survey and correlation analysis, as well as by running empirical evaluations. We find that many metrics are not compatible and highly depend on (i) templates, (ii) attribute and target seeds and (iii) the choice of embeddings. These results indicate that fairness or bias evaluation remains challenging for contextualized language models, if not at least highly subjective. To improve future comparisons and fairness evaluations, we recommend avoiding embedding-based metrics and focusing on fairness evaluations in downstream tasks.
• Abstract（参考訳）: bertのような自然言語処理リソースにおける偏りのあるパターンに対する認識が高まり、多くの指標が 'bias' と 'fairness' を定量化した。 しかし、異なるメトリクスの結果と、そのようなメトリクスで評価する作業を比較することは、完全に不可能ではないにせよ、依然として困難である。 我々は,事前学習された言語モデルの公平度指標に関する既存の文献を調査し,下流タスクのように言語モデルのバイアスを含む互換性を実験的に評価する。 従来の文献調査と相関分析の混合と,経験的評価の実施によってこれを実現している。 多くのメトリクスは互換性がなく、非常に依存しています。 (i)テンプレート。 (ii)属性及び対象種及び (iii)組込みの選択。 これらの結果は、少なくとも高い主観的ではないにしても、文脈化された言語モデルでは公平さやバイアス評価が依然として困難であることを示している。 将来の比較と公平性評価を改善するため、埋め込みベースのメトリクスを避け、下流タスクにおける公平性評価に重点を置くことを推奨する。

関連論文リスト

• Bias in Language Models: Beyond Trick Tests and Toward RUTEd Evaluation [55.66090768926881]
  本研究では,非テクスチャ化された「トリックテスト」と,現実的利用と有形効果に根ざした評価の対応について検討する。 本稿では,現在文献に適合している3つの非文脈評価と,長文コンテンツ生成に適用された3つの類似のRUTED評価を比較した。 トリックテストとRUTEd評価の対応は見つからなかった。
  論文  参考訳（メタデータ） (2024-02-20T01:49:15Z)
• Bias and Fairness in Large Language Models: A Survey [73.87651986156006]
  本稿では,大規模言語モデル(LLM)のバイアス評価と緩和手法に関する総合的な調査を行う。 まず、自然言語処理における社会的偏見と公平性の概念を統合し、形式化し、拡張する。 次に,3つの直感的な2つのバイアス評価法と1つの緩和法を提案し,文献を統一する。
  論文  参考訳（メタデータ） (2023-09-02T00:32:55Z)
• Gender Biases in Automatic Evaluation Metrics for Image Captioning [87.15170977240643]
  画像キャプションタスクのためのモデルに基づく評価指標において、性別バイアスの体系的研究を行う。 偏りのある世代と偏りのない世代を区別できないことを含む、これらの偏りのあるメトリクスを使用することによる負の結果を実証する。 人間の判断と相関を損なうことなく、測定バイアスを緩和する簡便で効果的な方法を提案する。
  論文  参考訳（メタデータ） (2023-05-24T04:27:40Z)
• This Prompt is Measuring <MASK>: Evaluating Bias Evaluation in Language Models [12.214260053244871]
  言語モデルのバイアスを評価するためにプロンプトとテンプレートを使用する作業の本体を分析します。 我々は、バイアステストが測定する目的を捉える属性の分類を作成するために、測定モデリングフレームワークを設計する。 我々の分析は、フィールドが測定できる可能性のあるバイアスタイプの範囲を照らし、まだ調査されていないタイプを明らかにします。
  論文  参考訳（メタデータ） (2023-05-22T06:28:48Z)
• Mind Your Bias: A Critical Review of Bias Detection Methods for Contextual Language Models [2.170169149901781]
  文脈言語モデルに対する厳密な分析とバイアス検出手法の比較を行う。 私たちの結果は、マイナーな設計と実装の決定(またはエラー)が、導出バイアススコアに大きく、しばしば重大な影響を与えていることを示している。
  論文  参考訳（メタデータ） (2022-11-15T19:27:54Z)
• Challenges in Measuring Bias via Open-Ended Language Generation [1.5552869983952944]
  我々は、プロンプトセット、メトリクス、自動ツール、サンプリング戦略の特定の選択がバイアス結果にどのように影響するかを分析する。 オープンな言語生成におけるバイアスを報告するためのレコメンデーションを提供する。
  論文  参考訳（メタデータ） (2022-05-23T19:57:15Z)
• On the Intrinsic and Extrinsic Fairness Evaluation Metrics for Contextualized Language Representations [74.70957445600936]
  様々な自然言語処理タスクの公平度を測定するために、複数のメトリクスが導入された。 これらの指標は,(1)下流アプリケーションにおけるフェアネスを評価する遠因性指標と,(2)上流言語表現モデルにおけるフェアネスを推定する遠因性指標の2つのカテゴリに大別することができる。
  論文  参考訳（メタデータ） (2022-03-25T22:17:43Z)
• Evaluating Metrics for Bias in Word Embeddings [44.14639209617701]
  我々は、過去の研究の考えに基づいてバイアス定義を定式化し、バイアスメトリクスの条件を導出する。 そこで我々は,既存のメトリクスの欠点に対処する新しい計量であるhetを提案し,その振る舞いを数学的に証明する。
  論文  参考訳（メタデータ） (2021-11-15T16:07:15Z)
• Balancing out Bias: Achieving Fairness Through Training Reweighting [58.201275105195485]
  自然言語処理におけるバイアスは、性別や人種などの著者の特徴を学習するモデルから生じる。 既存のバイアスの緩和と測定方法は、著者の人口統計学と言語変数の相関を直接考慮していない。 本稿では,インスタンス再重み付けを用いたバイアス対策法を提案する。
  論文  参考訳（メタデータ） (2021-09-16T23:40:28Z)
• Curious Case of Language Generation Evaluation Metrics: A Cautionary Tale [52.663117551150954]
  イメージキャプションや機械翻訳などのタスクを評価するデファクトメトリクスとして、いくつかの一般的な指標が残っている。 これは、使いやすさが原因でもあり、また、研究者がそれらを見て解釈する方法を知りたがっているためでもある。 本稿では,モデルの自動評価方法について,コミュニティにより慎重に検討するよう促す。
  論文  参考訳（メタデータ） (2020-10-26T13:57:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。