論文の概要: Constructing Holistic Measures for Social Biases in Masked Language Models

• arxiv url: http://arxiv.org/abs/2305.07795v1
• Date: Fri, 12 May 2023 23:09:06 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-16 19:36:28.331182
• Title: Constructing Holistic Measures for Social Biases in Masked Language Models
• Title（参考訳）: マスキング言語モデルにおける社会的バイアスの包括的尺度の構築
• Authors: Yang Liu and Yuexian Hou
• Abstract要約: Masked Language Models (MLM)は多くの自然言語処理タスクで成功している。 現実世界のステレオタイプバイアスは、大きなテキストコーパスから学んだことから、インスパイアされる可能性が高い。 Kullback Leiblergence Score (KLDivS) とJensen Shannon Divergence Score (JSDivS) の2つの評価指標を提案し,社会バイアスの評価を行った。
• 参考スコア（独自算出の注目度）: 19.20228079459944
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Masked Language Models (MLMs) have been successful in many natural language processing tasks. However, real-world stereotype biases are likely to be reflected in MLMs due to their learning from large text corpora. Most of the evaluation metrics proposed in the past adopt different masking strategies, designed with the log-likelihood of MLMs. They lack holistic considerations such as variance for stereotype bias and anti-stereotype bias samples. In this paper, the log-likelihoods of stereotype bias and anti-stereotype bias samples output by MLMs are considered Gaussian distributions. Two evaluation metrics, Kullback Leibler Divergence Score (KLDivS) and Jensen Shannon Divergence Score (JSDivS) are proposed to evaluate social biases in MLMs The experimental results on the public datasets StereoSet and CrowS-Pairs demonstrate that KLDivS and JSDivS are more stable and interpretable compared to the metrics proposed in the past.
• Abstract（参考訳）: Masked Language Models (MLM)は多くの自然言語処理タスクで成功している。 しかし、実世界のステレオタイプバイアスは、大きなテキストコーパスから学んだため、MLMに反映される可能性が高い。 過去に提案された評価指標のほとんどは、MLMのログライクな構造で設計された異なるマスキング戦略を採用している。 ステレオタイプバイアスや反ステレオタイプバイアスサンプルの分散のような全体論的考察が欠けている。 本稿では,MLMが出力するステレオタイプバイアスとアンチステレオタイプバイアスの対数様相をガウス分布とみなす。 mlmsにおける社会的バイアスを評価するために,kullback leibler divergence score (kldivs) と jensen shannon divergence score (jsdivs) という2つの評価指標が提案されている。

関連論文リスト

• A Novel Interpretability Metric for Explaining Bias in Language Models: Applications on Multilingual Models from Southeast Asia [0.3376269351435396]
  事前学習言語モデル(PLM)におけるバイアス行動に対するトークンレベルの寄与を測定するための新しい指標を提案する。 東南アジアのPLMにおいて性差別と同性愛バイアスの存在が確認された。 解釈可能性と意味分析は、PLMバイアスが犯罪、親密な関係、助けに関する言葉によって強く引き起こされることを示している。
  論文  参考訳（メタデータ） (2024-10-20T18:31:05Z)
• Social Debiasing for Fair Multi-modal LLMs [55.8071045346024]
  MLLM(Multi-modal Large Language Models)は、強力な視覚言語理解機能を提供する。 しかしながら、これらのモデルはトレーニングデータセットから深刻な社会的偏見を継承することが多く、人種や性別といった属性に基づいた不公平な予測につながります。 本稿では,MLLMにおける社会的バイアスの問題に対処する。i)多元的社会的概念(CMSC)を用いた包括的対実的データセットの導入,i)アンチステレオタイプデバイアス戦略(ASD)を提案する。
  論文  参考訳（メタデータ） (2024-08-13T02:08:32Z)
• CEB: Compositional Evaluation Benchmark for Fairness in Large Language Models [58.57987316300529]
  大規模言語モデル(LLM)は、様々な自然言語処理(NLP)タスクを処理するために、ますます多くデプロイされている。 LLMが示すバイアスを評価するために、研究者は最近、様々なデータセットを提案している。 我々は,様々な社会的グループやタスクにまたがる様々なバイアスをカバーした構成的評価ベンチマークであるCEBを提案する。
  論文  参考訳（メタデータ） (2024-07-02T16:31:37Z)
• Measuring Social Biases in Masked Language Models by Proxy of Prediction Quality [0.0]
  社会政治学者は、しばしばテキストデータ表現(埋め込み)とは異なるバイアスを発見し、測定することを目的としている。 本稿では,マスク付き言語モデルを用いて学習したトランスフォーマーによって符号化された社会的バイアスを評価する。 提案手法により,提案手法により, 変圧器間の偏りのある文の相対的嗜好を, より正確に推定できることがわかった。
  論文  参考訳（メタデータ） (2024-02-21T17:33:13Z)
• Exploring Value Biases: How LLMs Deviate Towards the Ideal [57.99044181599786]
  LLM(Large-Language-Models)は幅広いアプリケーションにデプロイされ、その応答は社会的影響を増大させる。 価値バイアスは、人間の研究結果と同様、異なるカテゴリにわたるLSMにおいて強いことが示される。
  論文  参考訳（メタデータ） (2024-02-16T18:28:43Z)
• Robust Evaluation Measures for Evaluating Social Biases in Masked Language Models [6.697298321551588]
  ステレオタイプおよびアンチステレオタイプスコアの分布評価尺度を構築した。 提案手法は, これまでに提案した手法よりもはるかに頑健で解釈可能である。
  論文  参考訳（メタデータ） (2024-01-21T21:21:51Z)
• GPTBIAS: A Comprehensive Framework for Evaluating Bias in Large Language Models [83.30078426829627]
  大規模言語モデル(LLM)は人気を集め、大規模なユーザコミュニティで広く採用されている。 既存の評価手法には多くの制約があり、それらの結果は限定的な解釈可能性を示している。 本稿では,LPMの高性能性を活用し,モデル内のバイアスを評価するGPTBIASというバイアス評価フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-12-11T12:02:14Z)
• BERTScore is Unfair: On Social Bias in Language Model-Based Metrics for Text Generation [89.41378346080603]
  この研究は、PLMに基づくメトリクスにおける社会バイアスに関する最初の体系的研究である。 PLMをベースとした一般的な指標は,従来の6つの属性の指標よりも社会的偏見が著しく高いことが実証された。 さらに, PLM層に注入される脱バイアスアダプタを開発し, テキスト生成の評価に高い性能を維持しながら, PLMベースのメトリクスのバイアスを軽減する。
  論文  参考訳（メタデータ） (2022-10-14T08:24:11Z)
• Towards Understanding and Mitigating Social Biases in Language Models [107.82654101403264]
  大規模事前訓練言語モデル(LM)は、望ましくない表現バイアスを示すのに潜在的に危険である。 テキスト生成における社会的バイアスを軽減するためのステップを提案する。 我々の経験的結果と人的評価は、重要な文脈情報を保持しながらバイアスを緩和する効果を示す。
  論文  参考訳（メタデータ） (2021-06-24T17:52:43Z)
• Unmasking the Mask -- Evaluating Social Biases in Masked Language Models [28.378270372391498]
  Masked Language Models(MLM)は、テキストエンコーダとして使用すると、多数の下流NLPタスクで優れたパフォーマンスを発揮します。 テストケースにおける全てのトークンを予測するバイアス評価尺度であるAll Unmasked Likelihood (AUL)を提案する。 また,注意重み付きALU(AULA)を文中のトークンの重要性に基づいて評価する手法を提案する。
  論文  参考訳（メタデータ） (2021-04-15T14:40:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。