論文の概要: Comparing Intrinsic Gender Bias Evaluation Measures without using Human Annotated Examples

• arxiv url: http://arxiv.org/abs/2301.12074v1
• Date: Sat, 28 Jan 2023 03:11:50 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-31 19:15:35.907043
• Title: Comparing Intrinsic Gender Bias Evaluation Measures without using Human Annotated Examples
• Title（参考訳）: 注記付き例を使わずに内在性バイアス評価尺度の比較
• Authors: Masahiro Kaneko, Danushka Bollegala, Naoaki Okazaki
• Abstract要約: そこで本研究では,人間に注釈を付けた例に頼らずに,本質的な性別偏見評価手法を比較する手法を提案する。 具体的には、男性と女性の男女差のある文章を多量に使用して、バイアス制御された言語モデルのバージョンを作成する。 計算されたバイアススコアとPLMの微調整に用いる性別比とのランク相関を算出する。
• 参考スコア（独自算出の注目度）: 33.044775876807826
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Numerous types of social biases have been identified in pre-trained language models (PLMs), and various intrinsic bias evaluation measures have been proposed for quantifying those social biases. Prior works have relied on human annotated examples to compare existing intrinsic bias evaluation measures. However, this approach is not easily adaptable to different languages nor amenable to large scale evaluations due to the costs and difficulties when recruiting human annotators. To overcome this limitation, we propose a method to compare intrinsic gender bias evaluation measures without relying on human-annotated examples. Specifically, we create multiple bias-controlled versions of PLMs using varying amounts of male vs. female gendered sentences, mined automatically from an unannotated corpus using gender-related word lists. Next, each bias-controlled PLM is evaluated using an intrinsic bias evaluation measure, and the rank correlation between the computed bias scores and the gender proportions used to fine-tune the PLMs is computed. Experiments on multiple corpora and PLMs repeatedly show that the correlations reported by our proposed method that does not require human annotated examples are comparable to those computed using human annotated examples in prior work.
• Abstract（参考訳）: プレトレーニング言語モデル (plm) では, 様々な社会的バイアスが同定され, それらのバイアスを定量化するための内在的バイアス評価手法が提案されている。 先行研究は、既存の内在バイアス評価尺度を比較するために、人間の注釈付き例に依存している。 しかしながら、このアプローチは、人間のアノテーションをリクルートする際のコストや困難のため、異なる言語に適応することは容易ではなく、大規模な評価にも適応できない。 この制限を克服するために,人間に注釈された事例に頼らずに本質的ジェンダーバイアス評価尺度を比較する手法を提案する。 具体的には,男女関係の単語リストを用いた無記名コーパスから自動的に抽出した,男性と男女の異なる文を用いて,複数のバイアス制御型plmを作成する。 次に、各バイアス制御PLMを固有バイアス評価尺度を用いて評価し、計算されたバイアススコアとPLMの微調整に用いる性別比とのランク相関を算出する。 複数コーパスとPLMを用いた実験の結果,提案手法では人間の注釈例を必要としない相関関係が,先行研究における人間の注釈例と同等であることがわかった。

関連論文リスト

• Measuring Social Biases in Masked Language Models by Proxy of Prediction Quality [0.0]
  社会政治学者は、しばしばテキストデータ表現(埋め込み)とは異なるバイアスを発見し、測定することを目的としている。 本稿では,マスク付き言語モデルを用いて学習したトランスフォーマーによって符号化された社会的バイアスを評価する。 提案手法により,提案手法により, 変圧器間の偏りのある文の相対的嗜好を, より正確に推定できることがわかった。
  論文  参考訳（メタデータ） (2024-02-21T17:33:13Z)
• Using Natural Language Explanations to Rescale Human Judgments [81.66697572357477]
  大規模言語モデル(LLM)を用いて順序付けアノテーションと説明を再スケールする手法を提案する。 我々は、アノテータのLikert評価とそれに対応する説明をLLMに入力し、スコア付けルーリックに固定された数値スコアを生成する。 提案手法は,合意に影響を及ぼさずに生の判断を再スケールし,そのスコアを同一のスコア付けルーリックに接する人間の判断に近づける。
  論文  参考訳（メタデータ） (2023-05-24T06:19:14Z)
• Gender Biases in Automatic Evaluation Metrics for Image Captioning [87.15170977240643]
  画像キャプションタスクのためのモデルに基づく評価指標において、性別バイアスの体系的研究を行う。 偏りのある世代と偏りのない世代を区別できないことを含む、これらの偏りのあるメトリクスを使用することによる負の結果を実証する。 人間の判断と相関を損なうことなく、測定バイアスを緩和する簡便で効果的な方法を提案する。
  論文  参考訳（メタデータ） (2023-05-24T04:27:40Z)
• Counter-GAP: Counterfactual Bias Evaluation through Gendered Ambiguous Pronouns [53.62845317039185]
  バイアス測定データセットは、言語モデルのバイアスされた振る舞いを検出する上で重要な役割を果たす。 本稿では, 多様な, 自然な, 最小限のテキストペアを, 対物生成によって収集する新しい手法を提案する。 事前学習された4つの言語モデルは、各グループ内よりも、異なる性別グループ間でかなり不整合であることを示す。
  論文  参考訳（メタデータ） (2023-02-11T12:11:03Z)
• Testing Occupational Gender Bias in Language Models: Towards Robust Measurement and Zero-Shot Debiasing [98.07536837448293]
  大規模言語モデル(LLM)は、様々な人口層に対して有害で人間らしいバイアスを示すことが示されている。 生成言語モデルにおけるバイアスを頑健に測定するためのdesiderataのリストを紹介する。 次に、このベンチマークを使用して、Llama、Mistral、およびそれらの命令チューニングバージョンを含む、最先端のオープンソースLLMをテストします。
  論文  参考訳（メタデータ） (2022-12-20T22:41:24Z)
• MABEL: Attenuating Gender Bias using Textual Entailment Data [20.489427903240017]
  我々は、文脈化表現における性別バイアスを軽減するための中間的事前学習手法であるMABELを提案する。 このアプローチの鍵となるのは、非現実的に強化されたジェンダーバランスのエンターメントペアに対して、対照的な学習目標を使用することである。 我々はMABELが従来のタスク非依存のデバイアスアプローチよりも公平性で優れていることを示す。
  論文  参考訳（メタデータ） (2022-10-26T18:36:58Z)
• Social Biases in Automatic Evaluation Metrics for NLG [53.76118154594404]
  本稿では,単語埋め込みアソシエーションテスト(WEAT)と文埋め込みアソシエーションテスト(SEAT)に基づく評価手法を提案する。 我々は、画像キャプションやテキスト要約タスクにおける性別バイアスの影響を調査するために、性別対応メタ評価データセットを構築した。
  論文  参考訳（メタデータ） (2022-10-17T08:55:26Z)
• Adversarial Examples Generation for Reducing Implicit Gender Bias in Pre-trained Models [2.6329024988388925]
  文レベルで暗黙の性別バイアスを自動生成する手法と,性別バイアスを測定する指標を提案する。 このメトリクスは、事前訓練されたモデルからサンプルの生成を導くのに使用される。そのため、これらの例は事前訓練されたモデルに対する攻撃を強制するために使用できる。
  論文  参考訳（メタデータ） (2021-10-03T20:22:54Z)
• Balancing out Bias: Achieving Fairness Through Training Reweighting [58.201275105195485]
  自然言語処理におけるバイアスは、性別や人種などの著者の特徴を学習するモデルから生じる。 既存のバイアスの緩和と測定方法は、著者の人口統計学と言語変数の相関を直接考慮していない。 本稿では,インスタンス再重み付けを用いたバイアス対策法を提案する。
  論文  参考訳（メタデータ） (2021-09-16T23:40:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。