論文の概要: Reevaluating Bias Detection in Language Models: The Role of Implicit Norm
- arxiv url: http://arxiv.org/abs/2404.03471v1
- Date: Thu, 4 Apr 2024 14:24:06 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-05 14:41:45.466613
- Title: Reevaluating Bias Detection in Language Models: The Role of Implicit Norm
- Title(参考訳): 言語モデルにおけるバイアス検出の再評価:暗黙的ノルムの役割
- Authors: Farnaz Kohankhaki, Jacob-Junqi Tian, David Emerson, Laleh Seyyed-Kalantari, Faiza Khan Khattak,
- Abstract要約: 大規模言語モデル(LLM)は、過度な差別から暗黙的なステレオタイプに至るまで、様々な形態で現れるバイアスを運ぶことができる。
偏見の1つの側面は、LLMのパフォーマンス格差であり、しばしば人種的少数派のような未成年集団に害を与える。
バイアスを定量化するための一般的なアプローチは、テンプレートベースのバイアスプローブを使用することである。
- 参考スコア(独自算出の注目度): 0.03495246564946556
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large language models (LLMs), trained on vast datasets, can carry biases that manifest in various forms, from overt discrimination to implicit stereotypes. One facet of bias is performance disparities in LLMs, often harming underprivileged groups, such as racial minorities. A common approach to quantifying bias is to use template-based bias probes, which explicitly state group membership (e.g. White) and evaluate if the outcome of a task, sentiment analysis for instance, is invariant to the change of group membership (e.g. change White race to Black). This approach is widely used in bias quantification. However, in this work, we find evidence of an unexpectedly overlooked consequence of using template-based probes for LLM bias quantification. We find that in doing so, text examples associated with White ethnicities appear to be classified as exhibiting negative sentiment at elevated rates. We hypothesize that the scenario arises artificially through a mismatch between the pre-training text of LLMs and the templates used to measure bias through reporting bias, unstated norms that imply group membership without explicit statement. Our finding highlights the potential misleading impact of varying group membership through explicit mention in bias quantification
- Abstract(参考訳): 膨大なデータセットに基づいてトレーニングされた大規模言語モデル(LLM)は、過度な差別から暗黙的なステレオタイプに至るまで、さまざまな形式で現れるバイアスを運ぶことができる。
偏見の1つの側面は、LLMのパフォーマンス格差であり、しばしば人種的少数派のような未成年集団に害を与える。
バイアスを定量化するための一般的なアプローチは、テンプレートベースのバイアスプローブを使用することであり、これは明示的にグループメンバーシップ(例えばホワイト)をステートし、タスクの結果、例えば感情分析(英語版)がグループメンバーシップの変更(例えばホワイトレースをブラックに変更)に不変であるかどうかを評価する。
このアプローチはバイアス定量化に広く用いられている。
しかし,本研究では,LCMの偏差定量化にテンプレートベースのプローブを用いることで,予期せぬ見過ごされた結果の証拠を見出した。
その結果、白人の民族に関連するテキストの例は、高い率で否定的な感情を示すものとして分類されていることが判明した。
我々は, LLMの事前学習テキストと, 明示的な言明を伴わずにグループメンバシップを示唆する未定の規範である報告バイアスによってバイアスを測定するテンプレートとのミスマッチによって, シナリオが人工的に発生すると仮定する。
我々の発見は、偏見定量化における明示的な言及を通して、様々なグループメンバーシップの潜在的な誤解を招く影響を浮き彫りにする。
関連論文リスト
- Self-Debiasing Large Language Models: Zero-Shot Recognition and
Reduction of Stereotypes [73.12947922129261]
ステレオタイピングを減らすために,大規模言語モデルのゼロショット機能を活用している。
自己嫌悪は、9つの異なる社会集団におけるステレオタイピングの度合いを著しく低下させることが示される。
この研究が、バイアス軽減のための他のゼロショット技術に関する調査をオープンにすることを願っている。
論文 参考訳(メタデータ) (2024-02-03T01:40:11Z) - GPTBIAS: A Comprehensive Framework for Evaluating Bias in Large Language
Models [83.30078426829627]
大規模言語モデル(LLM)は人気を集め、大規模なユーザコミュニティで広く採用されている。
既存の評価手法には多くの制約があり、それらの結果は限定的な解釈可能性を示している。
本稿では,LPMの高性能性を活用し,モデル内のバイアスを評価するGPTBIASというバイアス評価フレームワークを提案する。
論文 参考訳(メタデータ) (2023-12-11T12:02:14Z) - Aligning with Whom? Large Language Models Have Gender and Racial Biases
in Subjective NLP Tasks [15.015148115215315]
我々は4つのポピュラーな大言語モデル(LLM)の実験を行い、集団差と潜在的なバイアスを理解する能力について、丁寧さと不快さの予測について検討する。
どちらのタスクでも、モデル予測は白人と女性の参加者のラベルに近いことが分かりました。
より具体的には、"ブラック"と"アジア"個人の観点から反応するよう促された場合、モデルは、対応するグループからのスコアだけでなく、全体的なスコアを予測する際のパフォーマンスを低下させる。
論文 参考訳(メタデータ) (2023-11-16T10:02:24Z) - Generative Language Models Exhibit Social Identity Biases [18.175179449419787]
我々は,51大言語モデルにおいて,社会科学の基本的な社会的バイアスである,集団内連帯性と集団外連帯性について検討する。
ほぼすべての基礎言語モデルといくつかの命令微調整モデルは、文の完全化を促すと、グループ内陽性およびグループ外陰性バイアスが明らかになる。
論文 参考訳(メタデータ) (2023-10-24T13:17:40Z) - Mitigating Bias for Question Answering Models by Tracking Bias Influence [87.84850806865059]
本稿では,複数選択QAモデルのバイアスを軽減するためのBMBIを提案する。
バイアスのある例から学んだ場合、モデルがよりバイアスに傾くように傾くという直感に基づいて、クエリインスタンスのバイアスレベルを測定します。
本手法は,複数のバイアスカテゴリにまたがる複数のQA定式化に適用可能であることを示す。
論文 参考訳(メタデータ) (2023-10-13T00:49:09Z) - Shedding light on underrepresentation and Sampling Bias in machine
learning [0.0]
差別を分散、偏見、ノイズに分解する方法を示す。
我々は、未表現グループのサンプルを多く集めることで、識別に対処できるという、広く受け入れられている緩和アプローチに挑戦する。
論文 参考訳(メタデータ) (2023-06-08T09:34:20Z) - Looking at the Overlooked: An Analysis on the Word-Overlap Bias in
Natural Language Inference [20.112129592923246]
我々は、NLIモデルにおける重複バイアスの見過ごされた側面、すなわちリバースワードオーバーラップバイアスに焦点を当てる。
現在のNLIモデルは、重複の少ないインスタンスにおいて、非エンターメントラベルに対して非常に偏りがある。
重なり合うバイアスの出現とその緩和におけるマイノリティ事例の役割について検討する。
論文 参考訳(メタデータ) (2022-11-07T21:02:23Z) - Fair Group-Shared Representations with Normalizing Flows [68.29997072804537]
本研究では,異なるグループに属する個人を1つのグループにマッピングできる公正表現学習アルゴリズムを開発した。
提案手法は,他の公正表現学習アルゴリズムと競合することを示す。
論文 参考訳(メタデータ) (2022-01-17T10:49:49Z) - Balancing out Bias: Achieving Fairness Through Training Reweighting [58.201275105195485]
自然言語処理におけるバイアスは、性別や人種などの著者の特徴を学習するモデルから生じる。
既存のバイアスの緩和と測定方法は、著者の人口統計学と言語変数の相関を直接考慮していない。
本稿では,インスタンス再重み付けを用いたバイアス対策法を提案する。
論文 参考訳(メタデータ) (2021-09-16T23:40:28Z) - LOGAN: Local Group Bias Detection by Clustering [86.38331353310114]
コーパスレベルでバイアスを評価することは、モデルにバイアスがどのように埋め込まれているかを理解するのに十分ではない、と我々は主張する。
クラスタリングに基づく新しいバイアス検出手法であるLOGANを提案する。
毒性分類および対象分類タスクの実験は、LOGANが局所領域のバイアスを特定することを示している。
論文 参考訳(メタデータ) (2020-10-06T16:42:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。