論文の概要: Measuring Social Biases in Masked Language Models by Proxy of Prediction
Quality
- arxiv url: http://arxiv.org/abs/2402.13954v1
- Date: Wed, 21 Feb 2024 17:33:13 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-22 14:16:58.614743
- Title: Measuring Social Biases in Masked Language Models by Proxy of Prediction
Quality
- Title(参考訳): 予測品質のプロキシによるマスケ言語モデルにおける社会的バイアスの測定
- Authors: Rahul Zalkikar, Kanchan Chandra
- Abstract要約: 社会政治学者は、しばしばテキストデータ表現(埋め込み)とは異なるバイアスを発見し、測定することを目的としている。
本稿では,マスク付き言語モデルを用いて学習したトランスフォーマーによって符号化された社会的バイアスを評価する。
提案手法により,提案手法により, 変圧器間の偏りのある文の相対的嗜好を, より正確に推定できることがわかった。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Social and political scientists often aim to discover and measure distinct
biases from text data representations (embeddings). Innovative
transformer-based language models produce contextually-aware token embeddings
and have achieved state-of-the-art performance for a variety of natural
language tasks, but have been shown to encode unwanted biases for downstream
applications. In this paper, we evaluate the social biases encoded by
transformers trained with the masked language modeling objective using proposed
proxy functions within an iterative masking experiment to measure the quality
of transformer models' predictions, and assess the preference of MLMs towards
disadvantaged and advantaged groups. We compare bias estimations with those
produced by other evaluation methods using two benchmark datasets, finding
relatively high religious and disability biases across considered MLMs and low
gender bias in one dataset relative to the other. Our measures outperform
others in their agreement with human annotators. We extend on previous work by
evaluating social biases introduced after re-training an MLM under the masked
language modeling objective (w.r.t. the model's pre-trained base), and find
that proposed measures produce more accurate estimations of relative preference
for biased sentences between transformers than others based on our methods.
- Abstract(参考訳): 社会科学者や政治学者は、しばしばテキストデータ表現(埋め込み)から異なるバイアスを発見し、測定することを目的としている。
革新的なトランスフォーマティブベースの言語モデルは、コンテキスト対応のトークン埋め込みを生成し、さまざまな自然言語タスクで最先端のパフォーマンスを達成しているが、下流アプリケーションでは望ましくないバイアスをエンコードすることが示されている。
本稿では,提案するプロキシ関数を用いて,マスク言語モデリングの目的を訓練したトランスフォーマによって符号化される社会的バイアスを,トランスフォーマの予測品質を測定するための反復マスク実験で評価し,不利益なグループに対するmlmの選好を評価する。
2つのベンチマークデータセットを用いて、他の評価手法によるバイアス推定と比較し、MLMにおける比較的高い宗教的、障害的バイアスと、他のデータセットと比較して低い性別的バイアスを求める。
我々の措置は、人間アノテータとの合意で他よりも優れている。
本研究は,mlmをマスキング言語モデリング目標(w.r.t.)で再訓練した後に導入した社会的バイアスを評価し,提案手法がトランスフォーマー間におけるバイアス文の相対的嗜好を,他の手法よりも精度良く推定することを示すものである。
関連論文リスト
- Machine Translation Meta Evaluation through Translation Accuracy
Challenge Sets [92.38654521870444]
ACESは146の言語ペアにまたがる対照的な課題セットです。
このデータセットは、メトリクスが68の翻訳精度の誤差を識別できるかどうかを調べることを目的としている。
我々は、WMT2022および2023のメトリクス共有タスクに提出された50のメトリクスに対して、ACESをベンチマークすることで、大規模な研究を行う。
論文 参考訳(メタデータ) (2024-01-29T17:17:42Z) - Large Language Model (LLM) Bias Index -- LLMBI [0.0]
LLMBI(Large Language Model Bias Index)は、大規模言語モデル(LLM)に固有のバイアスを定量化し、対処するための先駆的なアプローチである。
年齢,性別,人種的偏見に限らず,多次元の偏見を取り入れた複合スコアリングシステムを用いたLLMBIの定式化を行った。
OpenAIのAPIからの応答を用いた実証分析では,バイアス検出の代表的な方法として,高度な感情分析を採用している。
論文 参考訳(メタデータ) (2023-12-22T15:38:13Z) - A Predictive Factor Analysis of Social Biases and Task-Performance in
Pretrained Masked Language Models [37.60331159498764]
社会的バイアスは、事前訓練された言語マスケッド言語モデル(MLM)によって報告されている。
我々は、異なるモデルサイズ、訓練対象、トークン化方法、データドメインと言語をカバーする39以上の事前訓練研究を行う。
我々の結果は、トークン化やモデル目的など、以前の文献で無視される重要な要素に光を当てた。
論文 参考訳(メタデータ) (2023-10-19T17:33:33Z) - Bias and Fairness in Large Language Models: A Survey [76.65471160523444]
本稿では,大規模言語モデル(LLM)のバイアス評価と緩和手法に関する総合的な調査を行う。
まず、自然言語処理における社会的偏見と公平性の概念を統合し、形式化し、拡張する。
次に,3つの直感的な2つのバイアス評価法と1つの緩和法を提案し,文献を統一する。
論文 参考訳(メタデータ) (2023-09-02T00:32:55Z) - Gender Biases in Automatic Evaluation Metrics for Image Captioning [87.15170977240643]
画像キャプションタスクのためのモデルに基づく評価指標において、性別バイアスの体系的研究を行う。
偏りのある世代と偏りのない世代を区別できないことを含む、これらの偏りのあるメトリクスを使用することによる負の結果を実証する。
人間の判断と相関を損なうことなく、測定バイアスを緩和する簡便で効果的な方法を提案する。
論文 参考訳(メタデータ) (2023-05-24T04:27:40Z) - Constructing Holistic Measures for Social Biases in Masked Language
Models [17.45153670825904]
Masked Language Models (MLM)は多くの自然言語処理タスクで成功している。
現実世界のステレオタイプバイアスは、大きなテキストコーパスから学んだことから、インスパイアされる可能性が高い。
Kullback Leiblergence Score (KLDivS) とJensen Shannon Divergence Score (JSDivS) の2つの評価指標を提案し,社会バイアスの評価を行った。
論文 参考訳(メタデータ) (2023-05-12T23:09:06Z) - Social Biases in Automatic Evaluation Metrics for NLG [53.76118154594404]
本稿では,単語埋め込みアソシエーションテスト(WEAT)と文埋め込みアソシエーションテスト(SEAT)に基づく評価手法を提案する。
我々は、画像キャプションやテキスト要約タスクにおける性別バイアスの影響を調査するために、性別対応メタ評価データセットを構築した。
論文 参考訳(メタデータ) (2022-10-17T08:55:26Z) - BERTScore is Unfair: On Social Bias in Language Model-Based Metrics for
Text Generation [89.41378346080603]
この研究は、PLMに基づくメトリクスにおける社会バイアスに関する最初の体系的研究である。
PLMをベースとした一般的な指標は,従来の6つの属性の指標よりも社会的偏見が著しく高いことが実証された。
さらに, PLM層に注入される脱バイアスアダプタを開発し, テキスト生成の評価に高い性能を維持しながら, PLMベースのメトリクスのバイアスを軽減する。
論文 参考訳(メタデータ) (2022-10-14T08:24:11Z) - Towards Understanding and Mitigating Social Biases in Language Models [107.82654101403264]
大規模事前訓練言語モデル(LM)は、望ましくない表現バイアスを示すのに潜在的に危険である。
テキスト生成における社会的バイアスを軽減するためのステップを提案する。
我々の経験的結果と人的評価は、重要な文脈情報を保持しながらバイアスを緩和する効果を示す。
論文 参考訳(メタデータ) (2021-06-24T17:52:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。