論文の概要: Detecting and Mitigating Indirect Stereotypes in Word Embeddings
- arxiv url: http://arxiv.org/abs/2305.14574v1
- Date: Tue, 23 May 2023 23:23:49 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-25 21:17:06.371772
- Title: Detecting and Mitigating Indirect Stereotypes in Word Embeddings
- Title(参考訳): 単語埋め込みにおける間接ステレオタイプの検出と緩和
- Authors: Erin George, Joyce Chew, Deanna Needell
- Abstract要約: 有害なステレオタイプを含む単語の使用における社会的バイアスは、一般的な単語埋め込み法によってしばしば学習される。
分散単語埋め込みにおける間接バイアスを軽減するため, BIRM (Biased Indirect Relationship Modification) と呼ばれる新しい手法を提案する。
- 参考スコア(独自算出の注目度): 6.428026202398116
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Societal biases in the usage of words, including harmful stereotypes, are
frequently learned by common word embedding methods. These biases manifest not
only between a word and an explicit marker of its stereotype, but also between
words that share related stereotypes. This latter phenomenon, sometimes called
"indirect bias,'' has resisted prior attempts at debiasing. In this paper, we
propose a novel method called Biased Indirect Relationship Modification (BIRM)
to mitigate indirect bias in distributional word embeddings by modifying biased
relationships between words before embeddings are learned. This is done by
considering how the co-occurrence probability of a given pair of words changes
in the presence of words marking an attribute of bias, and using this to
average out the effect of a bias attribute. To evaluate this method, we perform
a series of common tests and demonstrate that measures of bias in the word
embeddings are reduced in exchange for minor reduction in the semantic quality
of the embeddings. In addition, we conduct novel tests for measuring indirect
stereotypes by extending the Word Embedding Association Test (WEAT) with new
test sets for indirect binary gender stereotypes. With these tests, we
demonstrate the presence of more subtle stereotypes not addressed by previous
work. The proposed method is able to reduce the presence of some of these new
stereotypes, serving as a crucial next step towards non-stereotyped word
embeddings.
- Abstract(参考訳): 有害なステレオタイプを含む単語の使用における社会的バイアスは、共通の単語埋め込み法によってしばしば学習される。
これらのバイアスは、単語とそのステレオタイプを明確に示すマーカーの間だけでなく、関連するステレオタイプを共有する単語の間にも現れる。
この後者の現象は、しばしば「間接バイアス」と呼ばれるが、偏見の以前の試みに抵抗している。
本稿では,分布型単語組込みにおける間接的バイアスを軽減するために,組込み学習前に単語間のバイアス付き関係を変更する手法であるbiased indirect relationship modification (birm)を提案する。
これは、与えられた一対の単語の共起確率が、偏りの属性を示す単語の存在によってどのように変化するかを考慮し、これを用いて偏りの属性の効果を平均化する。
本手法を評価するために, 単語埋め込みにおけるバイアスの測定値が, 単語埋め込みのセマンティック品質の低下と引き換えに小さくなることを示す。
さらに,単語埋め込み関連テスト(weat)を間接性ステレオタイプのための新しいテストセットで拡張し,間接性ステレオタイプを測定するための新しいテストを行う。
これらのテストでは、以前の研究で対処されなかったより微妙なステレオタイプの存在が示される。
提案手法は、これらの新しいステレオタイプの存在を減少させ、非ステレオタイプの単語埋め込みへの重要な次のステップとなる。
関連論文リスト
- Semantic Properties of cosine based bias scores for word embeddings [52.13994416317707]
本稿では,バイアスの定量化に有効なバイアススコアの要件を提案する。
これらの要件について,コサインに基づくスコアを文献から分析する。
これらの結果は、バイアススコアの制限がアプリケーションケースに影響を及ぼすことを示す実験で裏付けられている。
論文 参考訳(メタデータ) (2024-01-27T20:31:10Z) - Looking at the Overlooked: An Analysis on the Word-Overlap Bias in
Natural Language Inference [20.112129592923246]
我々は、NLIモデルにおける重複バイアスの見過ごされた側面、すなわちリバースワードオーバーラップバイアスに焦点を当てる。
現在のNLIモデルは、重複の少ないインスタンスにおいて、非エンターメントラベルに対して非常に偏りがある。
重なり合うバイアスの出現とその緩和におけるマイノリティ事例の役割について検討する。
論文 参考訳(メタデータ) (2022-11-07T21:02:23Z) - The SAME score: Improved cosine based bias score for word embeddings [63.24247894974291]
文献の考えに基づくバイアス定義を提供し、バイアススコアの新たな要件を導出する。
既存のバイアススコアの欠点に対処し,単語埋め込みにおけるバイアスの定量化に好適であることを示す。
論文 参考訳(メタデータ) (2022-03-28T09:28:13Z) - Evaluating Metrics for Bias in Word Embeddings [64.55554083622258]
我々は、過去の研究の考えに基づいてバイアス定義を定式化し、バイアスメトリクスの条件を導出する。
そこで我々は,既存のメトリクスの欠点に対処する新しい計量であるhetを提案し,その振る舞いを数学的に証明する。
論文 参考訳(メタデータ) (2021-11-15T16:07:15Z) - Balancing out Bias: Achieving Fairness Through Training Reweighting [58.201275105195485]
自然言語処理におけるバイアスは、性別や人種などの著者の特徴を学習するモデルから生じる。
既存のバイアスの緩和と測定方法は、著者の人口統計学と言語変数の相関を直接考慮していない。
本稿では,インスタンス再重み付けを用いたバイアス対策法を提案する。
論文 参考訳(メタデータ) (2021-09-16T23:40:28Z) - Mitigating Biases in Toxic Language Detection through Invariant
Rationalization [70.36701068616367]
性別、人種、方言などの属性に対するバイアスは、毒性検出のためのほとんどのトレーニングデータセットに存在する。
本稿では,論理生成器と予測器から構成されるゲーム理論フレームワークである不変合理化(InvRat)を用いて,特定の構文パターンの素早い相関を除外することを提案する。
本手法は, 語彙属性と方言属性の両方において, 従来のデバイアス法よりも低い偽陽性率を示す。
論文 参考訳(メタデータ) (2021-06-14T08:49:52Z) - MDR Cluster-Debias: A Nonlinear WordEmbedding Debiasing Pipeline [3.180013942295509]
単語埋め込みの既存の手法は、しばしば表面的には、特定の性別とステレオタイプに結びついている単語は、デバイアスされた空間で一緒にクラスタ化される。
本稿では、この残差クラスタリングがなぜ存在するのか、どのように対処されるのかを考察する。
残留バイアスが存在する2つの潜在的な理由を特定し、このバイアスを軽減するために新しいパイプラインであるMDR Cluster-Debiasを開発する。
論文 参考訳(メタデータ) (2020-06-20T20:03:07Z) - Detecting Emergent Intersectional Biases: Contextualized Word Embeddings
Contain a Distribution of Human-like Biases [10.713568409205077]
最先端のニューラルネットワークモデルは、単語が現れるコンテキストに依存する動的単語埋め込みを生成する。
本稿では、ニューラルネットワークモデルにおける全体的なバイアスの大きさを要約できる、コンテキスト適応型埋め込みアソシエーションテスト(CEAT)を紹介する。
静的な単語埋め込みから交差点バイアスと緊急交差点バイアスを自動的に識別する2つの方法,IBD (Intersectional Bias Detection) とEmergent Intersectional Bias Detection (EIBD) を開発した。
論文 参考訳(メタデータ) (2020-06-06T19:49:50Z) - Double-Hard Debias: Tailoring Word Embeddings for Gender Bias Mitigation [94.98656228690233]
本稿では,性別サブスペースの推測と削除に先立って,コーパス正規性に対する単語埋め込みを浄化する手法を提案する。
本手法は,事前学習した単語埋め込みの分布的意味を保ちつつ,性別バイアスを従来の手法よりもはるかに大きい程度に低減する。
論文 参考訳(メタデータ) (2020-05-03T02:33:20Z) - Joint Multiclass Debiasing of Word Embeddings [5.1135133995376085]
本稿では,複数のバイアス次元を同時に脱バイアスできる多クラス脱バイアス手法を提案する。
単語埋め込みにおけるベクトル間の有意義な関係を維持しながら、私たちの概念がバイアスを減らすか、あるいは完全に排除できることを示す。
論文 参考訳(メタデータ) (2020-03-09T22:06:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。