論文の概要: Measuring Social Biases in Masked Language Models by Proxy of Prediction Quality

• arxiv url: http://arxiv.org/abs/2402.13954v1
• Date: Wed, 21 Feb 2024 17:33:13 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-22 14:16:58.614743
• Title: Measuring Social Biases in Masked Language Models by Proxy of Prediction Quality
• Title（参考訳）: 予測品質のプロキシによるマスケ言語モデルにおける社会的バイアスの測定
• Authors: Rahul Zalkikar, Kanchan Chandra
• Abstract要約: 社会政治学者は、しばしばテキストデータ表現(埋め込み)とは異なるバイアスを発見し、測定することを目的としている。 本稿では,マスク付き言語モデルを用いて学習したトランスフォーマーによって符号化された社会的バイアスを評価する。 提案手法により,提案手法により, 変圧器間の偏りのある文の相対的嗜好を, より正確に推定できることがわかった。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Social and political scientists often aim to discover and measure distinct biases from text data representations (embeddings). Innovative transformer-based language models produce contextually-aware token embeddings and have achieved state-of-the-art performance for a variety of natural language tasks, but have been shown to encode unwanted biases for downstream applications. In this paper, we evaluate the social biases encoded by transformers trained with the masked language modeling objective using proposed proxy functions within an iterative masking experiment to measure the quality of transformer models' predictions, and assess the preference of MLMs towards disadvantaged and advantaged groups. We compare bias estimations with those produced by other evaluation methods using two benchmark datasets, finding relatively high religious and disability biases across considered MLMs and low gender bias in one dataset relative to the other. Our measures outperform others in their agreement with human annotators. We extend on previous work by evaluating social biases introduced after re-training an MLM under the masked language modeling objective (w.r.t. the model's pre-trained base), and find that proposed measures produce more accurate estimations of relative preference for biased sentences between transformers than others based on our methods.
• Abstract（参考訳）: 社会科学者や政治学者は、しばしばテキストデータ表現(埋め込み)から異なるバイアスを発見し、測定することを目的としている。 革新的なトランスフォーマティブベースの言語モデルは、コンテキスト対応のトークン埋め込みを生成し、さまざまな自然言語タスクで最先端のパフォーマンスを達成しているが、下流アプリケーションでは望ましくないバイアスをエンコードすることが示されている。 本稿では,提案するプロキシ関数を用いて,マスク言語モデリングの目的を訓練したトランスフォーマによって符号化される社会的バイアスを,トランスフォーマの予測品質を測定するための反復マスク実験で評価し,不利益なグループに対するmlmの選好を評価する。 2つのベンチマークデータセットを用いて、他の評価手法によるバイアス推定と比較し、MLMにおける比較的高い宗教的、障害的バイアスと、他のデータセットと比較して低い性別的バイアスを求める。 我々の措置は、人間アノテータとの合意で他よりも優れている。 本研究は,mlmをマスキング言語モデリング目標(w.r.t.)で再訓練した後に導入した社会的バイアスを評価し,提案手法がトランスフォーマー間におけるバイアス文の相対的嗜好を,他の手法よりも精度良く推定することを示すものである。

関連論文リスト

• Social Debiasing for Fair Multi-modal LLMs [55.8071045346024]
  MLLM(Multi-modal Large Language Models)は、強力な視覚言語理解機能を提供する。 しかしながら、これらのモデルはトレーニングデータセットから深刻な社会的偏見を継承することが多く、人種や性別といった属性に基づいた不公平な予測につながります。 本稿では,MLLMにおける社会的バイアスの問題に対処する。i)多元的社会的概念(CMSC)を用いた包括的対実的データセットの導入,i)アンチステレオタイプデバイアス戦略(ASD)を提案する。
  論文  参考訳（メタデータ） (2024-08-13T02:08:32Z)
• Decoding Biases: Automated Methods and LLM Judges for Gender Bias Detection in Language Models [47.545382591646565]
  大きな言語モデル(LLM)は、言語理解と人間レベルのテキストの生成に優れています。 LLMは、悪意のあるユーザーがモデルに望ましくないテキストを生成するよう促す敵攻撃の影響を受けやすい。 本研究では,対象のLSMから偏りのある応答を抽出する逆方向のプロンプトを自動生成するモデルを訓練する。
  論文  参考訳（メタデータ） (2024-08-07T17:11:34Z)
• CEB: Compositional Evaluation Benchmark for Fairness in Large Language Models [58.57987316300529]
  大規模言語モデル(LLM)は、様々な自然言語処理(NLP)タスクを処理するために、ますます多くデプロイされている。 LLMが示すバイアスを評価するために、研究者は最近、様々なデータセットを提案している。 我々は,様々な社会的グループやタスクにまたがる様々なバイアスをカバーした構成的評価ベンチマークであるCEBを提案する。
  論文  参考訳（メタデータ） (2024-07-02T16:31:37Z)
• Taxonomy-based CheckList for Large Language Model Evaluation [0.0]
  我々は、自然言語の介入に人間の知識を導入し、事前訓練された言語モデル(LM)の振る舞いを研究する。 CheckListの振る舞いテストに触発されて,LMの非倫理的行動の探索と定量化を目的としたチェックリストスタイルのタスクを提案する。
  論文  参考訳（メタデータ） (2023-12-15T12:58:07Z)
• Bias and Fairness in Large Language Models: A Survey [73.87651986156006]
  本稿では,大規模言語モデル(LLM)のバイアス評価と緩和手法に関する総合的な調査を行う。 まず、自然言語処理における社会的偏見と公平性の概念を統合し、形式化し、拡張する。 次に,3つの直感的な2つのバイアス評価法と1つの緩和法を提案し,文献を統一する。
  論文  参考訳（メタデータ） (2023-09-02T00:32:55Z)
• Constructing Holistic Measures for Social Biases in Masked Language Models [17.45153670825904]
  Masked Language Models (MLM)は多くの自然言語処理タスクで成功している。 現実世界のステレオタイプバイアスは、大きなテキストコーパスから学んだことから、インスパイアされる可能性が高い。 Kullback Leiblergence Score (KLDivS) とJensen Shannon Divergence Score (JSDivS) の2つの評価指標を提案し,社会バイアスの評価を行った。
  論文  参考訳（メタデータ） (2023-05-12T23:09:06Z)
• Social Biases in Automatic Evaluation Metrics for NLG [53.76118154594404]
  本稿では,単語埋め込みアソシエーションテスト(WEAT)と文埋め込みアソシエーションテスト(SEAT)に基づく評価手法を提案する。 我々は、画像キャプションやテキスト要約タスクにおける性別バイアスの影響を調査するために、性別対応メタ評価データセットを構築した。
  論文  参考訳（メタデータ） (2022-10-17T08:55:26Z)
• BERTScore is Unfair: On Social Bias in Language Model-Based Metrics for Text Generation [89.41378346080603]
  この研究は、PLMに基づくメトリクスにおける社会バイアスに関する最初の体系的研究である。 PLMをベースとした一般的な指標は,従来の6つの属性の指標よりも社会的偏見が著しく高いことが実証された。 さらに, PLM層に注入される脱バイアスアダプタを開発し, テキスト生成の評価に高い性能を維持しながら, PLMベースのメトリクスのバイアスを軽減する。
  論文  参考訳（メタデータ） (2022-10-14T08:24:11Z)
• Towards Understanding and Mitigating Social Biases in Language Models [107.82654101403264]
  大規模事前訓練言語モデル(LM)は、望ましくない表現バイアスを示すのに潜在的に危険である。 テキスト生成における社会的バイアスを軽減するためのステップを提案する。 我々の経験的結果と人的評価は、重要な文脈情報を保持しながらバイアスを緩和する効果を示す。
  論文  参考訳（メタデータ） (2021-06-24T17:52:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。