論文の概要: Debiasing isn't enough! -- On the Effectiveness of Debiasing MLMs and
their Social Biases in Downstream Tasks
- arxiv url: http://arxiv.org/abs/2210.02938v1
- Date: Thu, 6 Oct 2022 14:08:57 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-07 16:26:50.333994
- Title: Debiasing isn't enough! -- On the Effectiveness of Debiasing MLMs and
their Social Biases in Downstream Tasks
- Title(参考訳): 嫌悪だけでは不十分!
--下流課題におけるMLMと社会的バイアスの緩和効果について
- Authors: Masahiro Kaneko, Danushka Bollegala, Naoaki Okazaki
- Abstract要約: 仮面言語モデル(MLM)におけるタスク非依存とタスク固有の社会的偏見評価の内在的関係について検討する。
この2つの評価尺度の間には弱い相関しか存在しないことが判明した。
- 参考スコア(独自算出の注目度): 33.044775876807826
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We study the relationship between task-agnostic intrinsic and task-specific
extrinsic social bias evaluation measures for Masked Language Models (MLMs),
and find that there exists only a weak correlation between these two types of
evaluation measures. Moreover, we find that MLMs debiased using different
methods still re-learn social biases during fine-tuning on downstream tasks. We
identify the social biases in both training instances as well as their assigned
labels as reasons for the discrepancy between intrinsic and extrinsic bias
evaluation measurements. Overall, our findings highlight the limitations of
existing MLM bias evaluation measures and raise concerns on the deployment of
MLMs in downstream applications using those measures.
- Abstract(参考訳): マスキング言語モデル(mlms)におけるタスク非依存的内在的およびタスク固有の社会的バイアス評価尺度の関係について検討し,これら2つの評価尺度の間には弱い相関しか存在しないことを見出した。
さらに, 下流タスクの微調整中に, 異なる手法を用いて, MLMは社会的バイアスを再学習する傾向を示した。
本研究は,内在バイアス評価と外因バイアス評価の相違を理由として,トレーニングインスタンスの社会的偏見とラベルを付与する。
本研究は,既存のMLMバイアス評価尺度の限界を強調し,これらの尺度を用いた下流アプリケーションにおけるMLMの展開に関する懸念を提起する。
関連論文リスト
- Measuring Social Biases in Masked Language Models by Proxy of Prediction
Quality [0.0]
社会政治学者は、しばしばテキストデータ表現(埋め込み)とは異なるバイアスを発見し、測定することを目的としている。
本稿では,マスク付き言語モデルを用いて学習したトランスフォーマーによって符号化された社会的バイアスを評価する。
提案手法により,提案手法により, 変圧器間の偏りのある文の相対的嗜好を, より正確に推定できることがわかった。
論文 参考訳(メタデータ) (2024-02-21T17:33:13Z) - Measuring Implicit Bias in Explicitly Unbiased Large Language Models [15.599849157678461]
心理学に触発されたバイアスの2つの尺度を導入する。
4つの社会的領域(人種、性別、宗教、健康)と21のカテゴリー(武器、罪悪感、科学、キャリアなど)にまたがる6つの大きな言語モデル(LLM)において、広範にヒトのようなステレオタイプバイアスがみられた。
論文 参考訳(メタデータ) (2024-02-06T15:59:23Z) - The Gaps between Pre-train and Downstream Settings in Bias Evaluation
and Debiasing [74.7319697510621]
In-Context Learning (ICL)は、FTベースのデバイアス法と比較して、PLMの変更を小さくする。
ICL-based debiasing method is a higher correlation between intrinsic and extrinsic bias scores than FT-based method。
論文 参考訳(メタデータ) (2024-01-16T17:15:08Z) - Marginal Debiased Network for Fair Visual Recognition [65.64172835624206]
本稿では,デバイアス表現を学習するための新しい限界脱バイアスネットワーク(MDN)を提案する。
より具体的には、マージンペナルティという概念をフェアネス問題に導入することにより、マージンのソフトマックスロス(MSL)を設計する。
我々のMDNは、表現不足のサンプルに対して顕著な性能を達成でき、従来の手法と比較して優れたデバイアス結果を得ることができる。
論文 参考訳(メタデータ) (2024-01-04T08:57:09Z) - Bias and Fairness in Large Language Models: A Survey [76.65471160523444]
本稿では,大規模言語モデル(LLM)のバイアス評価と緩和手法に関する総合的な調査を行う。
まず、自然言語処理における社会的偏見と公平性の概念を統合し、形式化し、拡張する。
次に,3つの直感的な2つのバイアス評価法と1つの緩和法を提案し,文献を統一する。
論文 参考訳(メタデータ) (2023-09-02T00:32:55Z) - Constructing Holistic Measures for Social Biases in Masked Language
Models [17.45153670825904]
Masked Language Models (MLM)は多くの自然言語処理タスクで成功している。
現実世界のステレオタイプバイアスは、大きなテキストコーパスから学んだことから、インスパイアされる可能性が高い。
Kullback Leiblergence Score (KLDivS) とJensen Shannon Divergence Score (JSDivS) の2つの評価指標を提案し,社会バイアスの評価を行った。
論文 参考訳(メタデータ) (2023-05-12T23:09:06Z) - Social Biases in Automatic Evaluation Metrics for NLG [53.76118154594404]
本稿では,単語埋め込みアソシエーションテスト(WEAT)と文埋め込みアソシエーションテスト(SEAT)に基づく評価手法を提案する。
我々は、画像キャプションやテキスト要約タスクにおける性別バイアスの影響を調査するために、性別対応メタ評価データセットを構築した。
論文 参考訳(メタデータ) (2022-10-17T08:55:26Z) - BERTScore is Unfair: On Social Bias in Language Model-Based Metrics for
Text Generation [89.41378346080603]
この研究は、PLMに基づくメトリクスにおける社会バイアスに関する最初の体系的研究である。
PLMをベースとした一般的な指標は,従来の6つの属性の指標よりも社会的偏見が著しく高いことが実証された。
さらに, PLM層に注入される脱バイアスアダプタを開発し, テキスト生成の評価に高い性能を維持しながら, PLMベースのメトリクスのバイアスを軽減する。
論文 参考訳(メタデータ) (2022-10-14T08:24:11Z) - What do Bias Measures Measure? [41.36968251743058]
自然言語処理モデルは、性別、人種、国籍などの保護された属性に関する社会的偏見を伝播させる。
介入を作成し、これらのバイアスと関連する害を緩和するためには、そのようなバイアスを検出して測定することが不可欠である。
本研究は、NLPタスク、メトリクス、データセット、社会的バイアスおよびそれに対応する害の関数として、NLPの既存のバイアス尺度に関する包括的調査を示す。
論文 参考訳(メタデータ) (2021-08-07T04:08:47Z) - Unmasking the Mask -- Evaluating Social Biases in Masked Language Models [28.378270372391498]
Masked Language Models(MLM)は、テキストエンコーダとして使用すると、多数の下流NLPタスクで優れたパフォーマンスを発揮します。
テストケースにおける全てのトークンを予測するバイアス評価尺度であるAll Unmasked Likelihood (AUL)を提案する。
また,注意重み付きALU(AULA)を文中のトークンの重要性に基づいて評価する手法を提案する。
論文 参考訳(メタデータ) (2021-04-15T14:40:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。