Fugu-MT 論文翻訳(概要): Dictionary-based Debiasing of Pre-trained Word Embeddings

論文の概要: Dictionary-based Debiasing of Pre-trained Word Embeddings

arxiv url: http://arxiv.org/abs/2101.09525v1
Date: Sat, 23 Jan 2021 15:44:23 GMT
ステータス: 処理完了
システム内更新日: 2021-03-20 12:01:57.707059
Title: Dictionary-based Debiasing of Pre-trained Word Embeddings
Title（参考訳）: 辞書による事前学習語埋め込みの劣化
Authors: Masahiro Kaneko and Danushka Bollegala
Abstract要約: 予め訓練された単語埋め込みを辞書で解読する手法を提案する。提案手法では,単語リストの形で事前に定義するバイアスの種類は必要としない。標準ベンチマークデータセットの実験結果から,前訓練された単語埋め込みにエンコードされた不公平なバイアスを正確に除去できることが示された。
参考スコア（独自算出の注目度）: 28.378270372391498
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Word embeddings trained on large corpora have shown to encode high levels of unfair discriminatory gender, racial, religious and ethnic biases. In contrast, human-written dictionaries describe the meanings of words in a concise, objective and an unbiased manner. We propose a method for debiasing pre-trained word embeddings using dictionaries, without requiring access to the original training resources or any knowledge regarding the word embedding algorithms used. Unlike prior work, our proposed method does not require the types of biases to be pre-defined in the form of word lists, and learns the constraints that must be satisfied by unbiased word embeddings automatically from dictionary definitions of the words. Specifically, we learn an encoder to generate a debiased version of an input word embedding such that it (a) retains the semantics of the pre-trained word embeddings, (b) agrees with the unbiased definition of the word according to the dictionary, and (c) remains orthogonal to the vector space spanned by any biased basis vectors in the pre-trained word embedding space. Experimental results on standard benchmark datasets show that the proposed method can accurately remove unfair biases encoded in pre-trained word embeddings, while preserving useful semantics.
Abstract（参考訳）: 大きなコーパスで訓練された単語埋め込みは、高いレベルの不公平な差別性、人種、宗教的、民族的偏見を符号化している。対照的に、人間による辞書は、簡潔で客観的で偏見のない方法で単語の意味を記述する。本稿では,辞書を用いて事前学習した単語埋め込みを,元のトレーニングリソースへのアクセスや使用する単語埋め込みアルゴリズムに関する知識を必要とせずに,嫌悪する手法を提案する。先行研究とは異なり,提案手法では単語リストの形で事前に定義するバイアスのタイプを必要とせず,単語の辞書定義から単語埋め込みの偏りが自動的に満たさなければならない制約を学習する。具体的には、(a)事前学習された単語埋め込みのセマンティクスを保持するように、入力単語埋め込みのバイアス付きバージョンを生成するエンコーダを学習し、(b)辞書に従って単語のバイアスなし定義と一致し、(c)事前学習された単語埋め込み空間のバイアス付き基底ベクトルにまたがるベクトル空間に直交する。標準ベンチマークデータセットにおける実験結果から,提案手法は,事前学習された単語埋め込みで符号化された不公平なバイアスを,有用なセマンティクスを保ちながら正確に除去できることがわかった。
全文参考訳へのリンク