論文の概要: Detecting and Mitigating Indirect Stereotypes in Word Embeddings
- arxiv url: http://arxiv.org/abs/2305.14574v1
- Date: Tue, 23 May 2023 23:23:49 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-25 21:17:06.371772
- Title: Detecting and Mitigating Indirect Stereotypes in Word Embeddings
- Title（参考訳）: 単語埋め込みにおける間接ステレオタイプの検出と緩和
- Authors: Erin George, Joyce Chew, Deanna Needell
- Abstract要約: 有害なステレオタイプを含む単語の使用における社会的バイアスは、一般的な単語埋め込み法によってしばしば学習される。
分散単語埋め込みにおける間接バイアスを軽減するため, BIRM (Biased Indirect Relationship Modification) と呼ばれる新しい手法を提案する。
- 参考スコア（独自算出の注目度）: 6.428026202398116
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Societal biases in the usage of words, including harmful stereotypes, are
frequently learned by common word embedding methods. These biases manifest not
only between a word and an explicit marker of its stereotype, but also between
words that share related stereotypes. This latter phenomenon, sometimes called
"indirect bias,'' has resisted prior attempts at debiasing. In this paper, we
propose a novel method called Biased Indirect Relationship Modification (BIRM)
to mitigate indirect bias in distributional word embeddings by modifying biased
relationships between words before embeddings are learned. This is done by
considering how the co-occurrence probability of a given pair of words changes
in the presence of words marking an attribute of bias, and using this to
average out the effect of a bias attribute. To evaluate this method, we perform
a series of common tests and demonstrate that measures of bias in the word
embeddings are reduced in exchange for minor reduction in the semantic quality
of the embeddings. In addition, we conduct novel tests for measuring indirect
stereotypes by extending the Word Embedding Association Test (WEAT) with new
test sets for indirect binary gender stereotypes. With these tests, we
demonstrate the presence of more subtle stereotypes not addressed by previous
work. The proposed method is able to reduce the presence of some of these new
stereotypes, serving as a crucial next step towards non-stereotyped word
embeddings.
- Abstract（参考訳）: 有害なステレオタイプを含む単語の使用における社会的バイアスは、共通の単語埋め込み法によってしばしば学習される。
これらのバイアスは、単語とそのステレオタイプを明確に示すマーカーの間だけでなく、関連するステレオタイプを共有する単語の間にも現れる。
この後者の現象は、しばしば「間接バイアス」と呼ばれるが、偏見の以前の試みに抵抗している。
本稿では,分布型単語組込みにおける間接的バイアスを軽減するために,組込み学習前に単語間のバイアス付き関係を変更する手法であるbiased indirect relationship modification (birm)を提案する。
これは、与えられた一対の単語の共起確率が、偏りの属性を示す単語の存在によってどのように変化するかを考慮し、これを用いて偏りの属性の効果を平均化する。
本手法を評価するために, 単語埋め込みにおけるバイアスの測定値が, 単語埋め込みのセマンティック品質の低下と引き換えに小さくなることを示す。
さらに,単語埋め込み関連テスト(weat)を間接性ステレオタイプのための新しいテストセットで拡張し,間接性ステレオタイプを測定するための新しいテストを行う。
これらのテストでは、以前の研究で対処されなかったより微妙なステレオタイプの存在が示される。
提案手法は、これらの新しいステレオタイプの存在を減少させ、非ステレオタイプの単語埋め込みへの重要な次のステップとなる。
関連論文リスト
- Mitigating Gender Bias in Contextual Word Embeddings [1.208453901299241]
本稿では,コンテキスト埋め込みにおける性別バイアスを大幅に軽減する,リップスティック(マスケ・ランゲージ・モデリング)の新たな目的関数を提案する。
また, 静的な埋め込みを嫌悪する新しい手法を提案し, 広範囲な解析と実験による実証実験を行った。
論文 参考訳（メタデータ） (2024-11-18T21:36:44Z) - Debiasing Sentence Embedders through Contrastive Word Pairs [46.9044612783003]
NLP解に対する線形および非線形バイアス情報を除去する手法を検討する。
従来のバイアス指標と非線形情報を考慮に入れたバイアス指標の共通偏り評価手法との比較を行った。
論文 参考訳（メタデータ） (2024-03-27T13:34:59Z) - Looking at the Overlooked: An Analysis on the Word-Overlap Bias in
Natural Language Inference [20.112129592923246]
我々は、NLIモデルにおける重複バイアスの見過ごされた側面、すなわちリバースワードオーバーラップバイアスに焦点を当てる。
現在のNLIモデルは、重複の少ないインスタンスにおいて、非エンターメントラベルに対して非常に偏りがある。
重なり合うバイアスの出現とその緩和におけるマイノリティ事例の役割について検討する。
論文 参考訳（メタデータ） (2022-11-07T21:02:23Z) - The SAME score: Improved cosine based bias score for word embeddings [49.75878234192369]
埋め込みにおけるセマンティックバイアスのための新しいバイアススコアであるPetを紹介した。
本研究は,下水道作業における意味バイアスを測定し,社会的バイアスの潜在的な原因を特定することができることを示す。
論文 参考訳（メタデータ） (2022-03-28T09:28:13Z) - Balancing out Bias: Achieving Fairness Through Training Reweighting [58.201275105195485]
自然言語処理におけるバイアスは、性別や人種などの著者の特徴を学習するモデルから生じる。
既存のバイアスの緩和と測定方法は、著者の人口統計学と言語変数の相関を直接考慮していない。
本稿では,インスタンス再重み付けを用いたバイアス対策法を提案する。
論文 参考訳（メタデータ） (2021-09-16T23:40:28Z) - Mitigating Biases in Toxic Language Detection through Invariant
Rationalization [70.36701068616367]
性別、人種、方言などの属性に対するバイアスは、毒性検出のためのほとんどのトレーニングデータセットに存在する。
本稿では,論理生成器と予測器から構成されるゲーム理論フレームワークである不変合理化(InvRat)を用いて,特定の構文パターンの素早い相関を除外することを提案する。
本手法は, 語彙属性と方言属性の両方において, 従来のデバイアス法よりも低い偽陽性率を示す。
論文 参考訳（メタデータ） (2021-06-14T08:49:52Z) - OSCaR: Orthogonal Subspace Correction and Rectification of Biases in
Word Embeddings [47.721931801603105]
我々は,概念全体を取り除く代わりに,概念間のバイアス付き関連を解消することに焦点を当てたバイアス緩和手法であるOSCaRを提案する。
性別バイアスに関する実験により、OSCaRは、セマンティック情報が埋め込みに保持され、バイアスも効果的に緩和されるようなバランスのとれたアプローチであることが示されている。
論文 参考訳（メタデータ） (2020-06-30T18:18:13Z) - Detecting Emergent Intersectional Biases: Contextualized Word Embeddings
Contain a Distribution of Human-like Biases [10.713568409205077]
最先端のニューラルネットワークモデルは、単語が現れるコンテキストに依存する動的単語埋め込みを生成する。
本稿では、ニューラルネットワークモデルにおける全体的なバイアスの大きさを要約できる、コンテキスト適応型埋め込みアソシエーションテスト(CEAT)を紹介する。
静的な単語埋め込みから交差点バイアスと緊急交差点バイアスを自動的に識別する2つの方法,IBD (Intersectional Bias Detection) とEmergent Intersectional Bias Detection (EIBD) を開発した。
論文 参考訳（メタデータ） (2020-06-06T19:49:50Z) - Double-Hard Debias: Tailoring Word Embeddings for Gender Bias Mitigation [94.98656228690233]
本稿では,性別サブスペースの推測と削除に先立って,コーパス正規性に対する単語埋め込みを浄化する手法を提案する。
本手法は,事前学習した単語埋め込みの分布的意味を保ちつつ,性別バイアスを従来の手法よりもはるかに大きい程度に低減する。
論文 参考訳（メタデータ） (2020-05-03T02:33:20Z) - Joint Multiclass Debiasing of Word Embeddings [5.1135133995376085]
本稿では,複数のバイアス次元を同時に脱バイアスできる多クラス脱バイアス手法を提案する。
単語埋め込みにおけるベクトル間の有意義な関係を維持しながら、私たちの概念がバイアスを減らすか、あるいは完全に排除できることを示す。
論文 参考訳（メタデータ） (2020-03-09T22:06:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。