論文の概要: Evaluating Gender Bias of Pre-trained Language Models in Natural
Language Inference by Considering All Labels
- arxiv url: http://arxiv.org/abs/2309.09697v1
- Date: Mon, 18 Sep 2023 12:02:21 GMT
- ステータス: 翻訳完了
- システム内更新日: 2023-09-19 13:40:44.896284
- Title: Evaluating Gender Bias of Pre-trained Language Models in Natural
Language Inference by Considering All Labels
- Title（参考訳）: 全ラベルを考慮した自然言語推論における事前学習言語モデルの性バイアス評価
- Authors: Panatchakorn Anantaprayoon, Masahiro Kaneko, Naoaki Okazaki
- Abstract要約: 性別バイアスを含む差別的社会的バイアスは、事前訓練された言語モデル(PLM)で発見されている。
本稿では,自然言語推論タスクにおける全てのラベルを考慮に入れた評価手法を提案する。
日本語と中国語のNLIタスクから,まず評価データセットを構築し,PLMのバイアスを測定する。
- 参考スコア（独自算出の注目度）: 42.89031347094013
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Discriminatory social biases, including gender biases, have been found in
Pre-trained Language Models (PLMs). In Natural Language Inference (NLI), recent
bias evaluation methods have observed biased inferences from the outputs of a
particular label such as neutral or entailment. However, since different biased
inferences can be associated with different output labels, it is inaccurate for
a method to rely on one label. In this work, we propose an evaluation method
that considers all labels in the NLI task. We create evaluation data and assign
them into groups based on their expected biased output labels. Then, we define
a bias measure based on the corresponding label output of each data group. In
the experiment, we propose a meta-evaluation method for NLI bias measures, and
then use it to confirm that our measure can evaluate bias more accurately than
the baseline. Moreover, we show that our evaluation method is applicable to
multiple languages by conducting the meta-evaluation on PLMs in three different
languages: English, Japanese, and Chinese. Finally, we evaluate PLMs of each
language to confirm their bias tendency. To our knowledge, we are the first to
build evaluation datasets and measure the bias of PLMs from the NLI task in
Japanese and Chinese.
- Abstract（参考訳）: 性別バイアスを含む差別的社会バイアスは、事前訓練された言語モデル(plm)で発見されている。
自然言語推論(NLI)において、近年のバイアス評価手法は、中性やエンテーメントなどの特定のラベルの出力からバイアス付き推論を観測している。
しかし、異なるバイアス付き推論は異なる出力ラベルに関連付けられるため、メソッドが一つのラベルに依存することは不正確である。
本研究では,NLIタスクのすべてのラベルを考慮した評価手法を提案する。
評価データを作成し,期待されるバイアス付き出力ラベルに基づいてグループに割り当てる。
次に、各データグループの対応するラベル出力に基づいてバイアス測度を定義する。
実験では,NLI偏差測定のメタ評価法を提案し,それを用いて基準値よりも精度の高い偏差評価が可能であることを確認した。
また,本手法は英語,日本語,中国語の3言語におけるplmのメタ評価を行うことにより,複数の言語に適用できることを示す。
最後に,各言語のPLMを評価し,そのバイアス傾向を確認する。
私たちの知識では、まず評価データセットを構築し、日本語と中国語のnliタスクからplmのバイアスを計測します。
関連論文リスト
- Unlabeled Debiasing in Downstream Tasks via Class-wise Low Variance Regularization [13.773597081543185]
本稿では,組込みのクラスワイドな分散に基づく新しいデバイアス正規化手法を提案する。
提案手法は属性ラベルを必要とせず,属性をターゲットとせず,既存のデバイアス手法の欠点に対処する。
論文 参考訳（メタデータ） (2024-09-29T03:56:50Z) - CEB: Compositional Evaluation Benchmark for Fairness in Large Language Models [58.57987316300529]
大規模言語モデル(LLM)は、様々な自然言語処理(NLP)タスクを処理するために、ますます多くデプロイされている。
LLMが示すバイアスを評価するために、研究者は最近、様々なデータセットを提案している。
我々は,様々な社会的グループやタスクにまたがる様々なバイアスをカバーした構成的評価ベンチマークであるCEBを提案する。
論文 参考訳（メタデータ） (2024-07-02T16:31:37Z) - What is Your Favorite Gender, MLM? Gender Bias Evaluation in Multilingual Masked Language Models [8.618945530676614]
本稿では,中国語,英語,ドイツ語,ポルトガル語,スペイン語の5言語から,多言語辞書の性別バイアスを推定する手法を提案する。
ジェンダーバイアスのより堅牢な分析のための文対を生成するために,新しいモデルに基づく手法を提案する。
以上の結果から,複数の評価指標をベストプラクティスとして用いた大規模データセットでは,性別バイアスを研究すべきであることが示唆された。
論文 参考訳（メタデータ） (2024-04-09T21:12:08Z) - Projective Methods for Mitigating Gender Bias in Pre-trained Language Models [10.418595661963062]
プロジェクティブメソッドは実装が高速で、少数の保存されたパラメータを使用し、既存のモデルパラメータを更新しない。
射影法は内在バイアスと下流バイアス軽減の両方に有効であるが, 両者の結果は必ずしも相関しない。
論文 参考訳（メタデータ） (2024-03-27T17:49:31Z) - Bias in Language Models: Beyond Trick Tests and Toward RUTEd Evaluation [49.3814117521631]
大規模言語モデル(LLM)におけるバイアスと公平性の標準ベンチマークは、ユーザプロンプトに入力された社会的属性と短い応答の関係を測定する。
実世界の3つの文脈から類似したRUTEd評価法を開発した。
標準偏差指標は、より現実的な偏差指標と有意な相関関係がないことがわかった。
論文 参考訳（メタデータ） (2024-02-20T01:49:15Z) - Language-Agnostic Bias Detection in Language Models with Bias Probing [22.695872707061078]
プレトレーニング言語モデル(PLM)はNLPの主要な構成要素であるが、強い社会的バイアスを含んでいる。
本研究では,PAMにおける社会的バイアスを頑健かつ言語に依存しない方法で評価するための,LABDetと呼ばれるバイアス探索手法を提案する。
歴史的・政治的文脈に整合した6つの言語において,一貫した民族性バイアスパターンがモノリンガル PLM にまたがっていることがわかった。
論文 参考訳（メタデータ） (2023-05-22T17:58:01Z) - Counter-GAP: Counterfactual Bias Evaluation through Gendered Ambiguous
Pronouns [53.62845317039185]
バイアス測定データセットは、言語モデルのバイアスされた振る舞いを検出する上で重要な役割を果たす。
本稿では, 多様な, 自然な, 最小限のテキストペアを, 対物生成によって収集する新しい手法を提案する。
事前学習された4つの言語モデルは、各グループ内よりも、異なる性別グループ間でかなり不整合であることを示す。
論文 参考訳（メタデータ） (2023-02-11T12:11:03Z) - MABEL: Attenuating Gender Bias using Textual Entailment Data [20.489427903240017]
我々は、文脈化表現における性別バイアスを軽減するための中間的事前学習手法であるMABELを提案する。
このアプローチの鍵となるのは、非現実的に強化されたジェンダーバランスのエンターメントペアに対して、対照的な学習目標を使用することである。
我々はMABELが従来のタスク非依存のデバイアスアプローチよりも公平性で優れていることを示す。
論文 参考訳（メタデータ） (2022-10-26T18:36:58Z) - Automatically Identifying Semantic Bias in Crowdsourced Natural Language
Inference Datasets [78.6856732729301]
NLIデータセットに仮説を組み込んだ学習空間に"バイアスクラスタ"を見つけるために,モデル駆動で教師なしの手法を導入する。
データセットの仮説分布のセマンティックバイアスを改善するために、介入と追加のラベリングを行うことができる。
論文 参考訳（メタデータ） (2021-12-16T22:49:01Z) - Balancing out Bias: Achieving Fairness Through Training Reweighting [58.201275105195485]
自然言語処理におけるバイアスは、性別や人種などの著者の特徴を学習するモデルから生じる。
既存のバイアスの緩和と測定方法は、著者の人口統計学と言語変数の相関を直接考慮していない。
本稿では,インスタンス再重み付けを用いたバイアス対策法を提案する。
論文 参考訳（メタデータ） (2021-09-16T23:40:28Z) - LOGAN: Local Group Bias Detection by Clustering [86.38331353310114]
コーパスレベルでバイアスを評価することは、モデルにバイアスがどのように埋め込まれているかを理解するのに十分ではない、と我々は主張する。
クラスタリングに基づく新しいバイアス検出手法であるLOGANを提案する。
毒性分類および対象分類タスクの実験は、LOGANが局所領域のバイアスを特定することを示している。
論文 参考訳（メタデータ） (2020-10-06T16:42:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。