論文の概要、ライセンス

# (参考訳) 辞書による事前学習語埋め込みの劣化 [全文訳有]

Dictionary-based Debiasing of Pre-trained Word Embeddings ( http://arxiv.org/abs/2101.09525v1 )

ライセンス: CC BY 4.0
Masahiro Kaneko and Danushka Bollegala(参考訳) 大きなコーパスで訓練された単語埋め込みは、高いレベルの不公平な差別性、人種、宗教的、民族的偏見を符号化している。 対照的に、人間による辞書は、簡潔で客観的で偏見のない方法で単語の意味を記述する。 本稿では,辞書を用いて事前学習した単語埋め込みを,元のトレーニングリソースへのアクセスや使用する単語埋め込みアルゴリズムに関する知識を必要とせずに,嫌悪する手法を提案する。 先行研究とは異なり,提案手法では単語リストの形で事前に定義するバイアスのタイプを必要とせず,単語の辞書定義から単語埋め込みの偏りが自動的に満たさなければならない制約を学習する。 具体的には、(a)事前学習された単語埋め込みのセマンティクスを保持するように、入力単語埋め込みのバイアス付きバージョンを生成するエンコーダを学習し、(b)辞書に従って単語のバイアスなし定義と一致し、(c)事前学習された単語埋め込み空間のバイアス付き基底ベクトルにまたがるベクトル空間に直交する。 標準ベンチマークデータセットにおける実験結果から,提案手法は,事前学習された単語埋め込みで符号化された不公平なバイアスを,有用なセマンティクスを保ちながら正確に除去できることがわかった。

Word embeddings trained on large corpora have shown to encode high levels of unfair discriminatory gender, racial, religious and ethnic biases. In contrast, human-written dictionaries describe the meanings of words in a concise, objective and an unbiased manner. We propose a method for debiasing pre-trained word embeddings using dictionaries, without requiring access to the original training resources or any knowledge regarding the word embedding algorithms used. Unlike prior work, our proposed method does not require the types of biases to be pre-defined in the form of word lists, and learns the constraints that must be satisfied by unbiased word embeddings automatically from dictionary definitions of the words. Specifically, we learn an encoder to generate a debiased version of an input word embedding such that it (a) retains the semantics of the pre-trained word embeddings, (b) agrees with the unbiased definition of the word according to the dictionary, and (c) remains orthogonal to the vector space spanned by any biased basis vectors in the pre-trained word embedding space. Experimental results on standard benchmark datasets show that the proposed method can accurately remove unfair biases encoded in pre-trained word embeddings, while preserving useful semantics.
公開日: Sat, 23 Jan 2021 15:44:23 GMT

※ 翻訳結果を表に示しています。PDFがオリジナルの論文です。翻訳結果のライセンスはCC BY-SA 4.0です。詳細はトップページをご参照ください。

翻訳結果

    Page: /      
英語(論文から抽出)日本語訳スコア
Dictionary-based Debiasing 辞書に基づくデバイアス 0.41
of Pre-trained Word Embeddings 事前訓練された単語の埋め込み 0.50
Masahiro Kaneko Tokyo Metropolitan University 金子政弘 東京都立大学 0.49
kaneko-masahiro@ed.t mu.ac.jp kaneko-masahiro@ed.t mu.ac.jp 0.39
Danushka Bollegala∗ Danushka Bollegala∗ 0.88
University of Liverpool, Amazon danushka@liverpool.a c.uk リバプール大学amazon danushka@liverpool.a c.uk 0.84
1 2 0 2 n a J 3 2 ] L C . 1 2 0 2 n a j 3 2 ] l c . 0.79
s c [ 1 v 5 2 5 9 0 . s c [ 1 v 5 2 5 9 0 ] である。 0.79
1 0 1 2 : v i X r a 1 0 1 2 : v i X r a 0.85
a large Abstract trained embeddings Word corpora on shown to encode high levels of unfair dishave criminatory gender, religious and ethnic racial, In contrast, human-written dictionaries biases. あ 大きい 抽象的な訓練された埋め込み 言葉コーパスが示すように、不公平な不公平な犯罪性、宗教的、民族的人種をエンコードする。
訳抜け防止モード: あ 大きい abstract training embeddeds word corpora on displayed to encode high level of unfair dishave criminatory gender (英語) 宗教と民族の人種 対照的に、人間-書かれた辞書バイアス。
0.66
concise, describe in of words the meanings and manner. 簡潔で、言葉の意味と方法を記述する。 0.72
objective proWe an unbiased pre-trained word pose a method for debiasing embeddings using dictionaries, without requirresources original to ing the or access training regarding the word embedding any knowledge Unlike used. 目的 偏りのない事前学習された単語は、辞書を使用して埋め込みをデバイアスする方法を提示する。
訳抜け防止モード: objective prowe an unbiased pre-trained word pose a debiasing embedded using dictionaries, requirresourcesがなければ、 ing や access training にオリジナルの知識が組み込まれている。
0.68
algorithms our proprior work, posed method does of binot types require the form of word lists, to be pre-defined in the ases constraints the be must that satisand learns embeddings fied by automatiunbiased word cally from dictionary definitions of the words. 提案手法では, 単語の辞書定義から, 自動認識された単語の呼び出しによって表現された埋め込みを学習するには, 単語リストの形式を事前に定義する必要がある。 0.71
generate encoder learn we Specifically, to an of version a debiased an input word embedding such that it (a) retains the semantics of the pre-trained word embeddings, (b) agrees with according the word of definition unbiased the dictionary, the and to remains orthogonal (c) to the vector space spanned by any biased basis vectors the pre-trained word embedding in results on standard benchspace. エンコーダの生成 具体的には、あるバージョン a において、(a) 事前学習された単語埋め込みの意味を保ち、(b) 辞書に偏りのない定義語に従って一致し、(c) 任意の偏りのある基底空間にまたがるベクトル空間に対して、前訓練された単語が標準ベンチ空間に埋め込まれた結果となるように変形した入力語埋め込みを学習する。 0.72
Experimental proposed method the show that mark datasets can encoded unfair remove accurately biases in pre-trained word embeddings, prewhile semantics. マークデータセットが不公平に符号化され得ることを示す実験的な手法が提案されている。 0.62
serving useful Introduction 1 pre-trained word Despite embeddings are useful and low dimensionality, memory to due their comshown to encode not only they have efficiency, pute also the semantics of words unfair discrimibut gender, natory biases such as religious racial or biases al., 2018a; (Bolukbasi al., 2016; Zhao et et 2018b; Elazar et al., 2018; Zhao et Rudinger al., ∗Danushka Bollegala holds concurrent appointments as of Professor a an Amazon as and Liverpool at This paper describes work performed at Scholar. 便利な紹介 埋め込みは有用で低次元である 埋め込みは有用で低次元であるが、それらが効率性を持つだけでなく、不公平な差別性、宗教的人種的または偏見のような排他的偏見、2018a; (Bolukbasi al., 2016; Zhao et 2018b; Elazar et al., 2018; Zhao et Rudinger al., ∗Danushka Bollegala は、Amazon as and Liverpool の教授として同時に任命される。
訳抜け防止モード: 便利な紹介 1 事前訓練された単語D 埋め込みは有用で低次元である。 単に暗号化するだけでなく、それらが組み合わさって記憶する 効率性があります また、不公平な差別性、宗教的人種や偏見のような栄養バイアス、2018a. (Bolukbasi al , 2016 ; Zhao et et 2018b ; Elazar et al ., 2018 ; Zhao et Rudinger al ., ∗Danushka Bollegala は、Amazon 教授や Liverpool 教授として、同時に任命される。
0.68
the Univerof Liverpool sity associated with Amazon. Amazonに関連するUniverof Liverpoolのsity。 0.84
University and is not et al., 大学ではない など アル... 0.54
2018; Kaneko and Bollegala, 2019). 2018年:Keko and Bollegala, 2019)。 0.77
and Goldberg, On the other act hand, human-written dictionaries source unbiased and objective of as an impartial, learn word that word meaning. ゴールドバーグ(Goldberg) 対して、人間による辞書の出典は偏見がなく、その言葉の意味を学習することを目的としている。 0.56
Although methods embeddings by purely using dictionaries have been coverhave al., (Tissier proposed they 2017), et issues sparseness data age preand related because compiled dictionaries do not capture the meanings contexts of neologisms or provide numerous as in shown corpus. 辞書を純粋に使用して埋め込む方法は隠蔽されているが(Tissierが2017年に提案した)、コンパイルされた辞書がネオロジズムの文脈を捉えたり、コーパスに示すような多くの意味を提供できないため、スパースネスのデータ年代が先行して問題となる。 0.49
Consequently, prior work a has that embeddings word from large text corpora learnt outperform those to created from dictionaries in downstream NLP tasks 2019; al., et (Alsuhaibani Bollegala 2016). その結果、先行研究では、大きなテキストコーパスからの単語の埋め込みは、下流のNLPタスク2019;al., et(Alsuhaibani Bollegala 2016)で辞書から作成された単語よりも優れています。 0.59
We must overcome challenges when usseveral ing dictionaries debias pre-trained word embedto in the embeddings will all words First, not dings. usseveral ing dictionaries debias pre-trained word embeddedto in the embeddeds will all words first, not dings. (英語)
訳抜け防止モード: 課題を克服しなければならない usseveral ing dictionaries debias pre- trained word embedto in the embeddeds will all words First, not dings.
0.86
the appear given dictionary. Dictionaries often in have limited coverage and will not neolocover are that etc. 辞典に載っている。 辞書はしばしばカバー範囲が限られており、新発見はしない。 0.66
variants of words gisms, orthographic appear corpora. ギムの変種 正書法は コーポラに見えます 0.40
likely to large A lexicalised in debiasing method would generalise poorly to the words not in the dictionary. 脱バイアス法で語彙化された大きなAは、辞書にない単語にあまり一般化しない。 0.62
Second, it is not known set inside apriori what preof a hidden are biases trained word embedding vectors. 第二に、アプリオリの内側に隠れているものが、ベクトルに埋め込まれた単語のバイアスであるかどうかが分かっていない。
訳抜け防止モード: 第二に aprioriの内部に隠れているものは、トレーニングされた単語埋め込みベクトルである。
0.65
Depending on the source of documents used for training the embeddifferent dings, and be learnt types of biases will learning embedding different word by amplified al., 2017). トレーニングに使用するドキュメントのソースによって、埋め込み微分型、学習するバイアスの種類は、増幅されたal., 2017によって異なる単語の埋め込みを学ぶ。 0.68
(Zhao different algorithms to degrees et Prior work on debiasing required that the biases to 2019). (debiasingの学位等に異なるアルゴリズムを適用するには、2019年までのバイアスが必要だった)。 0.61
and Bollegala, be (Kaneko pre-defined For et al., (HD; Bolukbasi example, Hard-Debias 2016) and Gender Neutral Glove (GN-GloVe; Zhao and female prolists of male et al., 2018b) require for defining the gender direction. そしてBollegala, be (Kaneko pre-defined For et al., (HD; Bolukbasi example, Hard-Debias 2016), and Gender Neutral Glove (GN-GloVe; Zhao and female prolists of male et al., 2018b) は、性別の方向性を定義する必要がある。 0.85
However, nouns one biases only is bias gender that of the many It is exist in pre-trained word embeddings. しかし、名詞の偏見は、事前訓練された単語の埋め込みに存在する多くの単語のバイアス性のみである。 0.62
inconcovering all venient to prepare of words lists diffrom preremove of types ferent biases we must word trained Moreover, such preembeddings. 単語の準備に不便なリスト diffrom preremove of types ferent biass we must also training, such preembeddings. (英語) 0.71
英語(論文から抽出)日本語訳スコア
that et of lists likely to be are compiled word lists and incomplete some inadequately cover biases. あれ リストのet 恐らくはコンパイルされたワードリストであり、バイアスを不完全にカバーするものもある。 0.61
Indeed, Gonen evidence empirical showed and Goldberg (2019) debiasing methods such do not that remove disall criminative biases from word embeddings. 実際、gontの証拠は実証的に示され、goldberg (2019) のデバイアス手法は、単語埋め込みから不完全な批判バイアスを取り除くものではない。 0.52
Unfair several NLP tasks biases affected adversely have as machine translation such al., et (Vanmassenhove and language generation (Sheng et 2018) al., 2019). いくつかのNLPタスクのバイアスがないと、機械翻訳(Vanmassenhove)や言語生成(Sheng et 2018)など、悪影響を及ぼす。 0.65
Racial biases have also crimbeen shown to affect and al., (Manzini prosecutions inal 2019) ca2016). 人種的偏見も影響し、その影響を示すことが示されている(Manzini prosecutions inal 2019)。 0.68
and Tucker, (Lambrecht reer adverts These findings show the difficulty defining different biases using pre-compiled of words, which is in previously proposed debiasing requirement a static word embeddings. とTucker, (Lambrecht reer adverts) これらの発見は、事前コンパイルされた単語を使って異なるバイアスを定義するのが困難であることを示している。 0.62
for methods dictionary as We propose a method uses a for definitions of words bias-free source of a debiasing pre-trained word embeddings1. 提案手法では, 単語のバイアスフリーなソースに対して, 単語埋め込みを偏りなく定義する手法を提案する。 0.78
Specifically, that filters-out learn encoder from the biases we an embeddings. 具体的には、私たちが組み込むバイアスからエンコーダを学習する。 0.69
input are The debiased embeddings (a) required to simultaneously satisfy three criteria: all non-discriminatory information must preserve preser(semantic embeddings pre-trained in the vation), be (b) must defsimilar to the dictionary (dictionary agreement), and the words of inition the to (c) must be subspace spanned orthogonal by the basis vectors in the pre-trained word emdiscriminatory corresponds bedding to space that (bias orthogonality). 入力は、3つの基準を同時に満たすのに要求されるデバイアス埋め込み(a)である: すべての非差別情報はプレッサー(vationで事前訓練された概念的埋め込み)を保ち、be(b)は辞書(辞書の合意)と相似しなければならず、to(c)は(バイアスの直交性)が(バイアスの直交性)空間の基底ベクトルによって直交する部分空間でなければならない。 0.74
We implement the biases sedictionary mantic preservation and agreement using two decoders, whereas the bias orthogonality The projection. 我々は,2つのデコーダを用いて,偏差分節的マンティック保存と合意を実装した。 0.63
parameter-free by enforced is a learnt are the encoder debiasing decoders endand to-end by a joint optimisation method. 強制されたパラメータフリーは学習者であり、共同最適化法によりエンコーダをデバイアスするデコーダである。 0.61
Our proposed method is agnostic to the details of the alinput word embeddings. 提案手法は,alinput ワード埋め込みの詳細に依存しない。 0.48
used gorithms the to learn data counterfactual augmentaMoreover, unlike tion methods for debiasing (Zmigrod et al., 2019; not Hall Maudslay require we et do al., the to access original resources used for input word embeddings. Gorithmsを使ってデータ反ファクトの強化を学ぶMoreoverは、デバイアスのためのtionメソッドとは違って(Zmigrod et al., 2019; Hall Maudslayでは、入力ワードの埋め込みに使用される元のリソースにアクセスする必要がない)。 0.70
the learning method Our proposed overcomes the aboveinstead described as challenges of First, follows. 本提案手法は, 上記の課題を優先課題として克服するものである。 0.63
a learning lexicalised debiasing model, we operspace when embedding ate learning on the word Therefore, we the encoder. 学習語彙化脱バイアスモデルでは, 食学習を「エンコーダ」という単語に埋め込む際に, 操作する。 0.70
the words that can use of vocabularies the the are the of intersection in dictionary the embeddings pre-trained word and to learn the encoder, enabling us to generalise to the 1Code embeddings: debiased and com/kanekomasahiro/d ict-debias 語彙を使用可能な単語は辞書の交差点であり、事前に訓練された単語を埋め込み、エンコーダを学習することで、1Code埋め込みに一般化することができる: debiased と com/ Kanekomasahiro/dict- debias 0.72
2019), training https://github. 2019年、訓練。 https://github.com。 0.67
as a can remove, the 缶として 取り除いて 0.59
proposed method Second, we do not rein the dictionary. 提案方法 第二に、我々は辞書を整理しない。 0.75
words not specifying the biases. 偏りを規定しない単語。 0.72
quire pre-compiled word lists clean, unbiased source of The dictionary acts positive as considered be word meaning that contrast examples the In to of debiased meanings. quire コンパイル済みの単語リスト クリーンで偏りのない辞書のソースは、単語の意味として肯定的に振る舞う。
訳抜け防止モード: quire pre - compiled word list clean, unbiased source of The dictionary act positive as considered be word meaning that contrast example of the In to debiased meanings.
0.89
preto require debiasing methods existing that us define what to proposed method can the as dictionary be seen as using a guideline for what to retain during debiasing. pretoには、提案するメソッドを定義するために既存のデバイアスメソッドが必要であり、as辞書はデバイアス中に保持すべきものをガイドラインとして使うことができる。
訳抜け防止モード: Pretoには、提案するメソッドが辞書として見えるように定義する、デバイアスングメソッドが必要です 偏見を保つためのガイドラインを使っていました
0.72
the four using We evaluate evaluating the bifor standard benchmark datasets embeddings: Word Embedding Assoases in word al., 2017), Word (WEAT; Caliskan et ciation Test al., (WAT; Du Test Association Sem2019), et (Zhao and WinoBias 2018b) al., Bias (Zhao et et al., 2018a). The four using we evaluate the bifor standard benchmark datasets embeddeds: Word Embedding Assoases in word al., 2017), Word (WEAT; Caliskan et ciation Test al., (WAT; Du Test Association Sem2019), et (Zhao and WinoBias 2018b) al., Bias (Zhao et al., 2018a)。 0.79
Our experimental results show that the proposed debiasing method accurately removes used from three widely biases pre-trained unfair embeddings: Word2Vec 2013b), (Mikolov et al., GloVe al., 2014) and fastText (Bo(Pennington et et janowski evaluations al., 2017). 実験の結果,提案手法は,事前に訓練された3つの不公平な埋め込み(Word2Vec 2013b), (Mikolov et al., GloVe al., 2014) および fastText (Bo(Pennington et janowski evaluations al., 2017) から正確に除去された。 0.79
Moreover, our benchand word similarity analogy on semantic debiasing method marks show that the proposed preserves semantic information emuseful beddings, while biases. さらに,セマンティックデバイアス法におけるベンチと単語の類似性類似性は,提案手法が意味情報を蓄積する一方で,バイアスが生じることを示す。 0.63
unfair removing Related Work 2 Dictionaries been popularly have learnused for embeddings (Budanitsky ing word 2006, and Hirst, and Conrath, 1997). 不公平な削除関連作業 2つの辞書は埋め込みについて学んでいる(budanitsky ing word 2006 と hirst, and conrath, 1997)。 0.76
Jiang 2001; that Methods and corpora lexicons) use both dictionaries (or to et embeddings learn word al., (Tissier jointly 2017; Alsuhaibani al., 2019; Bollegala et et 2016) al., (Glavaˇs and Vuli´c, 2018; Faruqui or post-process However, been also have 2015) al., et proposed. Jiang 2001; Methods and corpora lexicons) と corpora lexicons の両方の辞書(またはebeddings to learn word al., (Tissier jointly 2017; Alsuhaibani al., 2019; Bollegala et 2016) al., (Glava's and Vuli ́c, 2018; Faruqui or post-process, also have 2015) al. などを用いる。 0.86
embeddings learning from dictionaries alone results in coverage and data sparseness (Bolleissues gala et al., 2016) and does not guarantee bias-free and Glavas, 2019). 辞書だけで学ぶ埋め込みは、カバレッジとデータの疎結合をもたらす(Bolle Issues gala et al., 2016)。
訳抜け防止モード: 辞書からの学習は、カバレッジとデータのスパースをもたらす(bolleissues gala et al ., 2016)。 バイアスは保証しません - free and glavas, 2019)。
0.68
To the (Lauscher embeddings best of our knowledge, we to use dictioare the first naries for debiasing embeddings. 私たちの知識を最大限に活用する(lauscher embeddeds the best of our knowledge, we to use dictioare the first naries for debiasing embeddeds)。 0.60
pre-trained word postproposed (2016) et Bolukbasi al. 事前訓練された単語 (2016) et Bolukbasi al. 0.70
projects gender-neutral processing approach that which words into a subspace, to is orthogonal the gender dimension defined by a list genderof associated refer They definitional words. ジェンダーニュートラル処理アプローチでは、どの単語がサブスペースに挿入され、関連するジェンダーの一覧で定義されるジェンダー次元を直交する。
訳抜け防止モード: ジェンダー - どの単語がサブスペースに入るかのニュートラル処理アプローチを計画する。 to is orthogonal the gender dimension defined by a list genderof associated refer They definitional words
0.85
to words she, actor) with gender (e g , as gender-definitional words, the remainder gender-neutral. 性別(例えば、性別-定義語として、残りの性別-中立語)を持つ女性(俳優、俳優)。 0.56
They and proposed a hard-debiasing method where the genvector the computed is direction der differas ence correspondbetween the embeddings the of それらは、計算されたゲンベクターがエンゲージメントに対応する方向が異なるようなハードデバイアス法を提案し、提案した。 0.51
in word a 言い換えれば あ 0.51
英語(論文から抽出)日本語訳スコア
a and soft-debiasing ing gender-definitional words, method, which balances the objective of preserving inner-products between the original word emthe the word projecting beddings, while embeddings to orthogonal into subspace a definithe gender debiasing methsoft hard Both tional words. あ そして ソフト・デバイアスング・ジング・ジェンダー定義語(英: soft-debiasing ing gender-definitional words)とは、原語間の内積保存の目的をバランスづける手法である。
訳抜け防止モード: あ そして ソフト・デバイアスing ing gender - definitional words, method, which balances the objective of keep inner - products between the original word emthe the word projecting beddings. (英語) 部分空間 a への直交への埋め込みは、メトソフトの性別の偏りを補う一方、両方の対格語は強固である。
0.62
and ignore during gender-definitional ods words the subsequent debiasing process, and focus on only not words that are as gender-definitional predicted Therefore, by erroclassifier the if classifier. ジェンダー定義 ods の単語を無視し、それに続く嫌悪の過程を無視し、従って、男女定義 予測 である単語だけに焦点を合わせ、f 分類をエロ分類する。 0.56
the a neously predicts stereotypical word as a genderdefinitional word, it would not get debiased. aは非定型的な単語を 性差別的な単語として予測します 偏見を失わないでしょう 0.63
(2018b) modified the GloVe (PenningZhao et al gender-neutral learn objective 2014) ton et al., to from a given embeddings corword (GN-GloVe) distance pus. (2018b) はGloVe (PenningZhao et al gender-neutral learning objective 2014) ton et al. を所定の埋め込み語 (GN-GloVe) 距離 pus に変更した。 0.84
They maximise the squared be(cid:96)2 tween simultasub-vectors, while gender-related the GloVe neously minimising Unlike, objective. 四角いbe(cid:96)2のtween simultasub-vectorsを最大化する一方、男女関係のグローブは客観的に最小化される。 0.47
above-mentioned methods, Kaneko and Bollethe gala (2019) proposed a post-processing method to autoenpreserve gender-related information with and Bollegala, (Kaneko coder remov2020), while ing discriminatory biases cases from stereotypical debiasing methods prior all (GP-GloVe). 上述の方法では、カネコとボルレテ・ガラ(2019年)は、性に関連する情報をボレガラおよびボレガラで自動保存するポストプロセッシング法を提案した(カネコ・コーダー remov2020)。
訳抜け防止モード: 上述の方法では、KekoとBollethe gala(2019)が、ジェンダーを自動保存するポストプロセッシング手法を提案した。 (Keko coder remov 2020) では, 前者 (GP-GloVe ) の定型的デバイアス法から差別的バイアスが生じる。
0.59
However, in pre-define the to us the require biases form of gender explicit word containing stereotyplists and ical word associations. しかし、事前定義では、ステレオティプリストとカル語関連性を含む性別明示的な単語のバイアス形式が要求される。 0.67
In contrast we use dictiodefinitions semantic bias-free source as naries of a of words and not require pre-defining the bido ases to be removed. 対照的に、ディクショデフィニションは意味バイアスのないソースを単語の名詞として使用し、ビドアシを事前に定義する必要がなくなる。 0.65
Although we focus on static word embeddings in this paper, unfair biases have been found in contextualised word as embeddings (Zhao et al , 2019; Vig, 2019; Bordia and Bowwell 2019). 本論文では静的な単語埋め込みに焦点をあてるが,文脈的単語as埋め込みでは不公平なバイアスが指摘されている(zhao et al , 2019; vig, 2019; bordia and bowwell 2019)。 0.71
man, 2019; May et al., 2017; (Xie et learning methods Adversarial and al., et Goldberg, 2018) for 2018; Li Elazar and then two clasthe encode inputs debiasing first jointly trained – one predicting the sifiers are target prediction high ensure (for which we must task the and attributes accuracy) (that other protected easily must not predictable). Man, 2019; May et al., 2017; (Xie et learning method Adversarial and al., et Goldberg, 2018) for 2018; Li Elazar and then two clasthe encode inputs debiasing first jointly trained – 1つの予測器はターゲット予測を高い精度で高い精度で予測する(その場合、他は容易に保護されてはならない)。 0.81
However, Elazar be and Goldberg is it although that showed (2018) to obtain chance-level development-set possible accuracy for the protected attributes during training, a post-hoc classifier inputs trained on the encoded accurahigh substantially reach to can still manage the protected attributes. しかし、Elazar beとGoldbergは(2018)、トレーニング中に保護された属性に対してチャンスレベルの開発セット可能な精度を得ることができたが、符号化されたアキュラハイで訓練されたポストホック分類器入力は、保護された属性を実質的に管理することができる。 0.54
cies for that They conclude adversarial learning alone indoes not guarantee variant representations the protected attributes. 敵の学習は、保護された属性の変種表現を保証しない。 0.59
for proiteratively that found al. 確率的にalを見つけたのです 0.25
Ravfogel (2020) et jecting word embeddings to the the null space of Ravfogel (2020) et jecting word embeddings to the null space of the null space 0.91
al., improve the debiasing アル... 改良 debiasing (複数形 debiasings) 0.47
gender direction to further performance. さらなるパフォーマンスへのジェンダーの方向性。 0.60
Caliskan evaluate To biases, et pro(2017) al. Caliskanはバイアス、およびpro(2017) alを評価する。 0.71
the Embedding Word posed Test Association the by (WEAT) inspired Association Implicit Ethayarajh et al., 1998). The Embedding Word posed Test Association by (WEAT) inspired Association Implicit Ethayarajh et al., 1998) 0.73
(IAT; Greenwald et Test al. (iat; greenwald et test al)。 0.83
that WEAT showed (2019) to be systematically overestimating biases and proposed a correction. WEATは(2019)、バイアスを体系的に過大評価し、修正を提案した。 0.61
The ability to correctly answer gender-related word and resolve genderal., 2018b) (Zhao et analogies related coreferences al., 2018a; Rudinger (Zhao et et al., 2018) have as been used extrinsic for tasks evaluating bias in word embeddings. 性に関連する単語に正しく答え、性関係を解決する能力(2018b) (zhao et similaries related coreferences al., 2018a; rudinger (zhao et et al., 2018) は、単語埋め込みのバイアスを評価するタスクとして使われてきた。 0.67
dethe We these scribe 4.3. dethe we scribe 4.3. 0.89
§ in later benchmarks evaluation 3 Dictionary-based Debiasing the n-dimensional pre-trained word Let us denote ∈ Rn by w of embedding a word w on trained resource C a text corpus. 後のベンチマークによる評価 3 辞書に基づく n 次元事前訓練された単語のデバイアス 訓練されたリソース C に単語 w を埋め込む w によって ∈ Rn を示す。 0.72
Moreover, some such as dictionary D cona are that we let given assume us of w. taining the definition, If pre-trained the s(w) embeddings distinguish among the different senses of w, then we can use gloss for the correspondthe s(w). さらに、dictionary d cona のようないくつかのものは、w の定義を仮定するものである。 事前訓練された s(w) 埋め込みが w の異なる感覚を区別するならば、対応する s(w) に対して光沢を用いることができる。 0.72
However, the of w in sense ing as dictionary embedding the majority of word learning methods do not produce sense-specific word embeddings. しかし、単語学習法の大部分の辞書としての意味 w は、意味特異的な単語埋め込みを生成しない。 0.71
In this case, we can either use all glosses for w in D by the or concatenating for gloss the select sense of w2. この場合、D の w に対するすべてのグルースを使うか、選択された w2 の感覚を引き出すために連結化することができる。 0.60
Without frequent) (most dominant any loss of generality, in the remainder of this paper, we selected will use s(w) to collectively denote a gloss criteria with above-mentioned of one by any the or without (in § 5.3, we considering the word senses all evaluate the effect of vs. dominant gloss). 頻繁な(最も支配的な一般性の喪失は、この論文の残りの部分において、我々はs(w) を用いて、上述した1つ以上の光沢の基準を、いずれかによって総括的に表す( > 5.3 では、すべての語感覚が支配的な光沢の効果を評価することを考える)。 0.63
using Next, functions optiobjective the define we mised by the proposed method for the purpose of learning unbiased word embeddings. 次に、関数 optiobjective the definition we mised by the proposed method for the purpose to learn unbiased word embeddeds を用いる。 0.78
Given, w, we process model as the task learnthe of debiasing an m(≤ n)returns that ing an encoder, E(w; θe) the debiased version of w. dimensional In case where we would like to preserve the dimensionality of can embeddings, we input or n, set m = the embedfurther compress the debiased to m < n dings. w が与えられたとき、我々は m をデバイアスするタスクの学習としてモデルを処理する: エンコーダ e(w; θe) のデバイアスバージョン w 次元のデバイアスバージョン e(w; θe) can 埋め込みの次元を保存したい場合、入力または n を入力し、m = エンベッドフルザーはデバイアスを m < n dings に圧縮する。 0.66
the pre-trained embeddings encode rich Because corpora, text large information from a semantic often the meanings exceeding covered in the far 2Prior work on debiasing static word embeddings do not determining for that information contextual required is we senses. 事前訓練された埋め込みがリッチにエンコードする コーパス、セマンティックからの大きな情報は、しばしば2Priorでカバーされている意味を超えた意味をテキスト化する 静的な単語の埋め込みが、その情報にコンテキスト的に必要とされるかどうかを判断しないのは、私たちが感じることです。 0.50
do reasons comparability for Therefore, 訳語 理由;理由;理由;理由 0.48
use word neither. 言葉も使わないで 0.65
英語(論文から抽出)日本語訳スコア
preserve dictionary, we must this semantic inforpossible mation as as much during the debiasing semantic as this refer process. 辞書を保存し、この参照プロセスと同様にデバイアスセマンティクスの間も、この意味的不可避なmationを必要とします。 0.54
constraint to We preservation. Semantic preservation is likely to lead to good performance in downstream NLP apembeddings. 保存の制約です セマンティック保存は、下流のNLPアンペベディングにおいて良好な性能をもたらす可能性が高い。 0.50
pre-trained word that plications use purpose, we For encoded the decode version this parametrised of w using a decoder, Dc, by θc and define Jc to be the reconstruction loss given by (1). プリエンプションが目的とする事前訓練された単語は、 θc でデコーダ Dc を用いて w をパラメトリしたデコードバージョンを符号化し、Jc を(1) が与える再構成損失と定義する。 0.79
Jc(w) = ||w − Dc(E(w; θe); θc)||2 (1) 2 that dictionary the Following our assumption unbiased of w s(w), definition, concise and a is of w, we would the meaning like of description encoded version of w is to ensure that the similar dictionary to s(w). jc(w) = ||w − dc(e(w; θe); θc)|||2 (1) 2 w s(w) の定義、簡潔、および a の is の偏りのない仮定に従う辞書は、w の記述符号化バージョンのように、w の類似の辞書が s(w) と確実に一致することを意味する。 0.78
We refer this constraint to as agreement. 私たちはこの制約を合意として参照する。 0.56
emdictionary formalise To agreement represent by sentence a pirically, we first ems(w) ∈ Rn. 文 a による合意の形式化は、まず第一に ems(w) ∈ rn である。 0.53
bedding vector sentence Different s(w) embedding methods can be used for this purpose (Kim, 2014), convolutional neural networks such as networks (Peters recurrent et al., 2018) or neural transformers 2019). ベクター文の異なるs(w)埋め込みは、この目的のために使用できる(kim, 2014)、ネットワークのような畳み込みニューラルネットワーク(peters recurrent et al., 2018)、neural transformers 2019)。 0.69
For the simplic(Devlin et al., (SIF; frequency inverse smoothed use ity, we the in Arora al., 2017) for creating this paet s(w) per. simplic (Devlin et al., (SIF; frequency inverse smoothed use ity, we are in Arora al., 2017) は、このpaet s(w) per.を作成できる。 0.79
SIF computes the embedding of sentence a as the weighted average of the pre-trained word the words embeddings sentence, where the in of the weights are computed as the inverse unigram probability. sif は、前訓練された単語の重み付き平均として文 a の埋め込みを計算し、重みの in を逆ユニグラム確率として計算する。 0.63
Next, the first principal component vector of the sentence embeddings are removed. 次に、文埋め込みの第1の主成分ベクトルを除去する。 0.77
The embeddings the sentence of dimensionality created pre-trained word the using SIF is equal to that of embeddings used. 埋め込みは、SIFを用いた事前訓練された単語の生成した次元の文を埋め込む。 0.66
Therefore, in our case we have both w, s(w) ∈ Rn. したがって、この場合、どちらも w, s(w) ∈ Rn である。 0.74
embedding E(w; θe) the debiased We decode of w using a decoder Dd, parametrised by θd and compute squared distance and between it the given by (2). 埋め込み e(w; θe) デバイアスweデコード w はデコーダddを用いてデコードされ、θd でパラメトリされ、二乗距離を計算され、その間は (2) で与えられる。
訳抜け防止モード: 埋め込みE(w) ; θe ) debiased We decode of w は decoder Dd を用いる。 θd でパラメトリされ、二乗距離を計算し、その間を (2 ) で割る。
0.81
an objective Jd to define s(w) Jd(w) = ||s(w) − Dd(E(w; θe); θd)||2 (2) 2 unfair remove to our that Recalling biis goal from pre-trained word embeddings and we ases definitions assume dictionary to be free of such biases, we define objective function that explican rerequirement. s(w) Jd(w) = ||s(w) − Dd(E(w; θe); θd)||2 (2) 2 を定義すべき目的 Jd は、事前訓練された単語の埋め込みからビスゴールを呼び出すという不公平な除去であり、我々は辞書をそのようなバイアスのないものと仮定する。 0.76
We this itly models refer this to the bias orthogonality of quirement the debiased as embeddings. この反復モデルは、偏りを埋め込んだ状態のバイアス直交性を指す。 0.56
For this purpose, we first project the pre-trained word a word w into a embedding w of dictionary to orthogonal is that subspace defithe projection denote nition s(w). この目的のために、まず事前訓練された単語 w を辞書の埋め込み w に直交的に投影し、部分空間 defithe は nition s(w) を表す。 0.68
this vector us Let このベクトルは いくぞ 0.55
(cid:96)2 by φ(w, s(w)) ∈ Rn. (cid:96)2 φ(w, s(w)) ∈ Rn による。 0.82
We the debiased that require orthogonal be to word embedding, E(w; θe), must φ(w, s(w)), the minimisation and formalise as this (cid:16) (cid:17)2 of (3). 我々は、単語埋め込み(E(w; θe), must φ(w, s(w)), the minimization and formalise as this (cid:16) (cid:17)2 of (3)。 0.66
inner-product given the squared in E(φ(w, s(w)); θe)(cid:62)E(w; θe) (3) Ja(w) = lives space because that Note the in φ(w, s(w)) to encoding) original by the spanned (prior vecit space, we must first using E before tor encode the orthogonality requirement. 内積は E(φ(w, s(w)); θe)(cid:62)E(w; θe) (3) Ja(w) = life space(なぜなら φ(w, s(w)) to encoding) original by the spanned (prior vecit space, we must used E before tor encode the orthogonality requirements。 0.76
considering nthe assume To derive φ(w, s(w)), let us dimensional basis vectors in the Rn vector space to embeddings pre-trained word the by spanned loss be , bn. n を考えると φ(w, s(w)) を導出すると仮定し、rn ベクトル空間内の次元基底ベクトルを、前訓練された単語のスパンド損失が , bn となるように埋め込む。 0.78
Moreover, without of genb1, b2, . さらに、genb1, b2, を含まない。 0.71
. . erality, let the subspace spanned by the subset of the first basis to be vectors b1, b2, . . . erality, let the subspace by by by the subset of the first basis to to be vectors b1, b2, . 0.89
k(< n) . k(<n) である。 0.73
. , bk B ∈ ⊆ Rn. . , bk B ∈ , Rn。 0.81
Rn projection vector of The a vB v onto B can expressed using the basis vectors as be k(cid:88) in (4). a vB v から B への Rn 射影ベクトルは、基底ベクトルを (4) において k(cid:88) として表すことができる。 0.78
(v(cid:62)bj)bj vB = j=1 v − vB any is orthogonal To show that let us express v−vB v ∈ B, using the basis vectors k(cid:88) n(cid:88) as given (5). (v(cid:62)bj)bj vB = j=1 v − vB を直交する 基底ベクトル k(cid:88) n(cid:88) を用いて v−vB v ∈ B を (5) とすることを示す。 0.91
in v − vB = (v(cid:62)bi)bi − n(cid:88) i=1 j=1 (v(cid:62)bi)bi i=k+1 in common are no basis vectors there that We see (4) (5). v − vb = (v(cid:62)bi)bi − n(cid:88) i=1 j=1 (v(cid:62)bi)bi i=k+1 では、 (4) (5) を見るような基底ベクトルは存在しない。 0.79
between summations the and Therefore, in for ∀v ∈ B. vB(cid:62)(v − vB) = 0 that direction that Considering a defines s(w) contain any unfair biases, we does not can compute the vector rejection following this of w on s(w) result. vB(cid:62)(v − vB) = 0 の場合、定義 s(w) を考慮すれば不公平なバイアスは一切含まれないので、s(w) の結果に対する w のこの結果に従うベクトルの拒絶は計算できない。 0.69
Specifically, we the projection of w subtract the vector along of s(w) direction the defining unit to compute φ as (6). 具体的には、w の射影は s(w) 方向に沿ってベクトルを減算して φ を (6) として計算する。 0.79
in φ(w, s(w)) = w − w(cid:62)s(w) linearly-weighted We the consider objective three above-defined functions objective function as given (7). φ(w, s(w)) = w − w(cid:62)s(w) 線型重み付けでは、上述の3つの目的関数を与えられた (7) とする。 0.83
in Here, α, β, γ ≥ 0 are coefficients scalar § in 4 we = 1. ここで、α, β, γ ≥ 0 は 4 we = 1 の係数 scalar > である。 0.79
Later, α + β + γ determine and γ the values of α, β ment dataset. その後、α + β + γ は α, β ment データセットの値を決定する。 0.83
(7) satisfying experimentally using a develop- (7)開発を実験的に満足すること- 0.72
s(w) ||s(w)|| sum of as the s(w) ||s(w)|| の和 0.78
J(w) = αJc(w) + βJd(w) + γJa(w) J(w) = αJc(w) + βJd(w) + γJa(w) 0.98
(6) the total (v(cid:62)bj)bj (6)合計 (v(cid:62)bj)bj 0.81
= to vB for = へ vB ですから 0.72
(4) (5) (4) (5) 0.85
英語(論文から抽出)日本語訳スコア
Hyperparameters 4 Experiments Word Embeddings 4.1 use the following pubIn our experiments, we embeddings: pre-trained available licly word Word2Vec3 (300-dimensional embeddings for learned 3M from Google News words ca. ハイパーパラメータ 4 Experiments Word Embeddings 4.1 using the pub In our experiment, we embeddings: Pre-trained available licly word Word2Vec3 (学習した3MのGoogle News語から300次元の埋め込み)。 0.72
GloVe4 corpus 2013a)), (300(Mikolov et al., words embeddings dimensional ca. GloVe4 corpus 2013a), (300(Mikolov et al., words embeddings dimensional ca)。 0.84
2.1M for learned from the Common Crawl (Pennington et al , fastText5 (300-dimensional 2014)), and embeddings learned from Wikipedia for ca. Common Crawl (Pennington et al , fastText5 (300-dimensional 2014) から学ぶための2.1M と Wikipedia から学んだ埋め込み。 0.81
1M words corpus webbase 2017, statmt.org and UMBC news (Bojanowski al., 2017)). 1Mワード corpus webbase 2017 statmt.org と UMBC News (Bojanowski al., 2017)。 0.84
et As the dictionary definitions, we used the glosses (Fellbaum, the WordNet in has been 1998), which in prior popularly used to learn word embeddings et (Tissier and Vincent, 2018; al., 2017; Bosc work However, we 2019). 辞書の定義として、私たちはグロス(Fellbaum, WordNet inは1998年)を使用し、以前は単語の埋め込みや学習に広く用いられていました(Tissier and Vincent, 2018; al., 2017; Bosc work but, we 2019)。 0.84
Washio note that our et al., proposed method does not depend on any WordNetfeatures, can thus be principle in applied specific to any sentences. Washio氏は、提案するメソッドはWordNetfeaturesに依存しないので、任意の文に特化して原則として適用できる、と指摘する。 0.65
dictionary containing definition Words that do not appear in the vocabulary of the ignored when are embeddings pre-trained computdictionary. 事前に訓練された命令を埋め込んだときに無視された単語の語彙に現れない定義語を含む辞書。 0.66
for the ing headwords the s(w) w Therefore, if all the words in a dictionary definition corresponding are remove then the we ignored, headwords from training. したがって、ingの見出し語s(w)wに対して、対応する辞書定義のすべての単語が削除された場合、無視された見出し語はトレーニングから除外される。 0.67
Consequently, we are left with 54,528, 64,779 and 58,015 words respectively for Word2Vec, GloVe and fastText embedrandomly sampled training dataset. その結果,Word2Vec,GloVe,fast Textの組込み型トレーニングデータセットには,それぞれ54,528,64,779,58,015 語が残された。 0.61
We dings in the 1,000 words from this a as dataset and held-out defor velopment set purpose of tuning various the hyperparameters in the proposed method. 提案手法では,1,000語の単語をデータセットとして記述し,様々なハイパーパラメータをチューニングするためのデフォル開発セットをホールドアウトする。
訳抜け防止モード: この a のデータセットから 1000 個の単語を and held - out defor velopment set purpose of tuning the various the hyperparameters in the proposed method 。
0.84
implemented are and Dd single-layer as E, Dc a networks with hyperbolic feed forward neural the outputs. 実装されたDd単層はEとして、Dcは双曲フィードフォワードニューラルな出力を持つネットワークである。 0.58
It is known that tangent activation at effective when using autoencoders pre-training is (Kaneko and debiasing for and Dc Bollegala, E Therefore, we 2019). オートエンコーダの事前トレーニングではタンジェントアクティベーションが有効であることが知られている(Kaneko and debiasing for and Dc Bollegala, E therefore, we 2019)。 0.75
5000 words randomly select pre-trained word from each embedding set and prethose words with autoencoders the train a minion In pre-training, size 512. batch of the model with the lowest loss according to (1) development the in set for pre-traininng is selected. 5000語が、組込み集合から事前学習語をランダムに選択し、オートエンコーダにより、ミニオンをプリトレーニングサイズ512で訓練する。(1)前訓練用インセットを開発することにより、最も損失の少ないモデルのバッチを選択する。
訳抜け防止モード: 5000語がランダムに各埋め込みセットから事前訓練された単語を選択する オートエンコーダでプリスした単語は、トレーニング前、トレーニング前、 サイズ 512 . ( 1 ) 開発に応じて最小の損失率を持つモデルのバッチ プレ-トリンゴンのインセットを選択する。
0.70
in the word2vec/ では word2vec/ 0.61
3https://code.google .com/archive/p/ 4https://github.com/ stanfordnlp/GloVe 5https://fasttext.cc /docs/en/ 3https://code.google .com/archive/p/ 4https://github.com/ stanfordnlp/GloVe 5https://fasttext.cc /docs/en/ 0.29
english-vectors.html english-vectors.html 0.39
fine-tuning debiasing model fine‐tuning debiasing 0.64
4.2 (Srivastava During optimisation, we used dropout al., 2014) with probability 0.05 to w and E(w). 4.2 (srivastava during optimization, we used dropout al., 2014) 確率 0.05 to w と e(w) を用いた。 0.85
et We initial used Adam (Kingma 2015) with and Ba, learning rate to find the optimiser set to 0.0002 as and a mini-batch size the parameters θe, θc, and θd of values optimal hyperparameters 4. We initial use Adam (Kingma 2015) with and Ba, learn rate to find the optimiser set to 0.0002 as and a mini-batch size the parameters θe, θc, θd of values optimal hyperparameters 4。 0.91
The of all are total the defound by minimising the loss over velopment dataset following a Monte-Carlo search. モンテカルロ探索の後、velopmentデータセットの損失を最小にすることで、すべては崩壊した。 0.67
found these optimal hyperparameter values of We and 0.99998, 0.00001. これらの最適超パラメータ値は、we と 0.99998, 0.00001 である。 0.58
= γ α = β 0.00001 = are different losses Note that the scale of different do not hyperparameters values absolute and of the indicate component significance of a the For loss. γ α = β 0.00001 = = a different loss 異なるスケールでは、超パラメータ値が絶対値ではなく、For損失の成分的意義を示すことに注意。 0.87
example, if we rescale all losses same range to the then we have 0.005α, and Lc = Ld = 0.269β orand Therefore, La = 21.1999γ. 例えば、全ての損失を同じ範囲に再スケールすると 0.005α となり、Lc = Ld = 0.269β あるいは La = 21. 1999γ となる。 0.80
(Ld) debiasing contributions thogonalisation (La) significant. (ld)debiasing contributions thogonalization (la) が著名である。 0.68
are We utilized a GeForce GTX 1080 Ti. GeForce GTX 1080 Tiを使いました。 0.74
The debiasing is than an hour because completed in less only our method The technique. 私たちの手法だけでは完成していないので、デバイアスは1時間足らずです。 0.45
a is parameter is 270,900. our size of 4.3 Evaluation Datasets We use the following datasets of the biases in word embeddings. a is パラメータは 270,900 である。我々のサイズは 4.3 評価データセットで、単語埋め込みのバイアスの次のデータセットを使用する。 0.60
WEAT: Association Word Embedding 2017), quantiTest (WEAT; al., et Caliskan and age) using race gender, fies various biases (e g embeddings. WEAT: Association Word Embedding 2017)、QuantiTest(WEAT; al., et Caliskan and age)、人種性を使用して、様々なバイアス(例えば埋め込み)を負う。 0.80
semantic similarities between word target words X It compares two same size sets of and Y names), with (e g and African European attribute words A and B (e g pleasant two sets of s(X ,Y,A,B), unpleasant). 単語対象語 X と Y の2つの同じサイズセットを比較し、(eg と アフリカヨーロッパ属性語 A と B(eg と s(X ,Y,A,B) の2つのセットを快適に)
訳抜け防止モード: 単語対象語間の意味的類似性 X 同じ2つのサイズセットとYの名前を比較する。 a) (e g and African European attribute words A and B (e g enjoy two set of s(X)) Y , A , B ) , unpleasant )。
0.86
vs. The bias score, for (cid:88) follows: as target calculated is each k(x,A,B) s(X ,Y,A,B) = −(cid:88) x∈X k(y,A,B) y∈Y k(t,A,B) = meana∈Af (t, a) − meanb∈Bf (t, b) (9) similarity between the word the Here, cosine is f permuone-sided p-value the for The embeddings. 対。 k(x,A,B) s(X,Y,A,B) = −(cid:88) x・X k(y,A,B) y・Y k(t,A,B) = meana・Af(t,A,B) − meanb・Bf(t,b) (9) この単語の類似性から、コサインはf permuone-sided p-valueである。
訳抜け防止モード: 対。 例えば(cid:88 )のバイアススコアは次の通りである。 A, B ) s(X, Y, A, B ) = −(cid:88 ) x∂X k(y, A, B) y-Y k(t, A, B) = meana-Af ( t, B) a) − meanb)Bf ( t, b ) (9 ) ヘレという単語の類似性 cosine は f permuone - sided p - value the for The embeddeds である。
0.63
and Y regarding X the tation test is calculated as s(Xi,Yi,A,B) s(X ,Y,A,B). そして、xに関するyについて、tation testをs(xi,yi,a,b) s(x,y,a,b)として計算する。 0.73
of probability > the The effect size is calculated as normalised measure given by (10). 確率 > 効果の大きさは (10) で与えられる正規化測度として計算される。 0.79
meanx∈X s(x,A,B) − meany∈Y s(y,A,B) sdt∈X∪Y s(t,A,B) 平均x(x,A,B) −平均y(y,A,B) sdt(t,A,B) 0.56
to evaluate the degree (8) 程度を)評価する (8) 0.74
(10) (10) 0.85
英語(論文から抽出)日本語訳スコア
0). of (SWOWEN; Deyne 0). ですから (スウォウェン、ディーン) 0.66
WAT: a method is (WAT) Word Association Test set of large a to over measure gender bias gender the calculates It 2019). wat: あるメソッドは(wat)大きなaの単語連想テストセットで、2019年に計算した性別バイアスの性別を測定します。 0.70
et words al., (Du a word assoeach word information for vector in ciation graph created with Small World of Words by propaet project al., 2019) gating information related to masculine and femif ) ∈ L using a nine words random walk apm, wi (wi proach (Zhou et The gender information al., 2003). al., (Du a word assoeach word information for vector in ciation graph created with Small World of Words by propaet project al., 2019) ∈ L は、9ワードのランダムウォーク apm, wi (wi proach et The gender information al., 2003) を用いて、男性とフェミフ に関する情報をゲーティングする。 0.80
(bm, vector as represented is a bf ), 2-dimensional respectively the masculine where bm and bf denote a word. (bm, 表されるベクトルはbf) 2次元は、それぞれbmとbfが単語を表す男性である。 0.82
and feminine orientations The gender of information vectors of masculine words, feminine and other words initialised respectively are words vectors bias The 0), (1, with score (0, 1) and (0, defined of a word as log(bm/bf ). 女性指向 男性用単語、女性用単語、その他の単語の情報ベクトルの性別は、それぞれ単語ベクトルバイアス (0), (1, with score (0, 1) and (0, defined of a word as log(bm/bf ))である。 0.80
We evaluate is the gender bias of word embeddings using the Pearson correlation coefficient between the bias score computed of each word and the score given by (11) as the similarities averaged cosine difference between masculine and feminine words. 本研究では,各単語の偏差値と(11)で算出したスコアとのピアソン相関係数を用いて,単語埋め込みの性別バイアスを,男性と女性におけるコサイン差の類似度として評価した。 0.79
|L|(cid:88) (cid:0)f (w, wi f )(cid:1) m) − f (w, wi 1 |L| i=1 SemBias: 2018b) al., et (Zhao dataset SemBias (a) Definition, three contains types of word-pairs: hero pair a gender-definition word hero– (e g (b) Stereotype, a gender-stereotype word pair ine), and (c) None, (e g , manager – secretary) two other word-pairs with genunrelated to similar meanings – der pen). |L|(cid:88) (cid:0)f (w, wi f )(cid:1) m) − f (w, wi 1 |L| i=1 SemBias: 2018b) al., et (Zhao dataset SemBias (a) Definition, three include of word-pairs: hero pair a gender-definition word hero– (e g (b) Stereotype, a gender-stereotype word pair ine), and (c) None, (e g , Manager – Secretary) two other word-pairs with genun related with der pens - der pen. 0.95
We – (e g , the use pencil blues, jazz he − # » # » she gender dicosine similarity between the and a− b in above word pair rectional vector (a, b) lists to measure bias. we – (例えば、"use pencil blues"、"jazz he − # , # ] she gender dicosine similarity between the and a− b in above word pair rectional vector (a, b) list to measure bias. (英語) 0.80
Zhao et al. (2018b) gender used a subset of 40 instances associated with 2 seed training split, word-pairs, not used in the to evaluate For of a debiasing method. Zhaoら。 (2018b) ジェンダーは, 脱バイアス法の評価に用いていない2つのシードトレーニングスプリット, ワードペアに関連する40例のサブセットを使用した。 0.67
the generalisability unbiased word embeddings, we expect high similarin Definition category and low similarity ity scores and None in Stereotype categories. 一般化不可能な単語埋め込み、高い類似性定義カテゴリと低い類似性度スコア、およびステレオタイプカテゴリのNoneを期待する。 0.74
scores WinoBias/OntoNotes: Winothe use We and al., 2018a) et Bias (Zhao dataset corefer2013) for al., et OntoNotes (Weischedel effectiveness evaluate ence to the of resolution downstream in debiasing method proposed our a contains sentences task. WinoBias/OntoNotes: Winothe use We and al., 2018a) et Bias (Zhao dataset corefer2013) for al., et OntoNotes (Weischedel effectiveness evaluateence to the resolution downstream in debiasing method proposed our a a provide sentences task。 0.84
WinoBias two types of that require linking gendered pronouns either to In Type male or female stereotypical occupations. WinoBiasの2つのタイプは、性別付き代名詞を男性または女性のステレオタイプな職業にリンクする必要がある。 0.66
1, be must decisions co-reference using made about some world knowledge given circumstances. 1. 状況によっては、何らかの世界的知識に関する意思決定を共参照しなければなりません。 0.51
(11) Type 2, resolved be can tests in However, these understanding and syntactic using information conditions: two It of the involves pronoun. (11) しかし、これらの理解と情報条件による統語性は2つある: 2つの代名詞は関係する。 0.72
the (pro) pronouns condition links pro-stereotyped by to occupations dominated the gender of the (anti) condition anti-stereotyped the and pronoun, links pronouns to occupations not dominated by the gender of the pronoun. 代名詞(pro)は、代名詞が代名詞の代名詞に支配されない代名詞と、代名詞が代名詞の代名詞に支配される(反)代名詞とをリンクする。
訳抜け防止モード: pro)代名詞は、pro - 職業によってステレオタイプされた条件リンクであり、(反)条件の性別を支配している。 代名詞と職業とのリンクは代名詞の性別に支配されない。
0.61
For a correctly debiased set of word embeddings, the difference and anti between pro small. 単語埋め込みの正確さを損なう集合に対して、pro の差と反差は小さい。 0.65
We expected to be is use et the model proposed by Lee al. Lee alが提案したモデルの使用も期待しています。 0.75
(2017) and implemented in AllenNLP (Gardner et al., 2017) as the coreference resolution method. (2017)およびコア参照解決法としてAllenNLP (Gardner et al., 2017) に実装した。 0.73
code6 evaluate comparing bias We to a used WEAT dataset. バイアスの比較評価 使用済みのWEATデータセットと比較。 0.69
the WAT code was Since not published, we contacted the authors to obtain the code evaluation for and used it evaluation. WATコードは公開されていないので、著者に連絡して、コード評価を取得し、それを使用しました。 0.53
We used the to evaluate SemBias dataset. SemBiasデータセットの評価に使用しました。 0.67
from GP-GloVe7 code evaluate WinoBias AllenNLP8 We used and to OntoNotes datasets. GP-GloVe7 code evaluate WinoBias AllenNLP8 私たちは、OntoNotesデータセットを使用しました。 0.61
We used evaluate pairs word in gensim9 function and evaluate analogies word to evaluate word embedding benchmarks. 我々は、gensim9関数のペアワードを評価し、アナロジーワードを評価し、単語埋め込みベンチマークを評価する。 0.53
5 Results 5.1 Overall Results of embeddings We initialise the word the model (Deb) word (Org) debiased by original and emresolution the and compare beddings coreference using F1 evaluation measure. 5結果 5.1 埋め込みの総合的な結果 モデル (Deb) 単語 (Org) を原語としてデバイアスし,F1 評価尺度を用いてベディングコアスを比較した。 0.76
the accuracy as In Table 1, we show the WEAT bias effects for similarity cosine on WAT dataset and correlation correlation coefficient. In Table 1の精度は、WATデータセットと相関相関係数に対する類似性コサインに対するWEATバイアス効果を示す。 0.83
We see using the Pearson that the proposed method can significantly debias for various biases in all word embeddings in both and in Word2Vec WEAT and WAT. Pearson を用いて,提案手法は Word2Vec WEAT および WAT に埋め込まれた全ての単語の埋め込みにおいて,様々なバイアスに対して顕著なバイアスを生じさせる。 0.68
Especially fastall biases almost are debiased. 特にファストオールバイアスは、ほとんどデバイアスです。 0.47
Text, shows the percentages where Table a word2 classified correctly pair is as Definition, Stereotype sucproposed method our or None. テキストでは、word2 を正しく分類したテーブルが定義されているパーセンテージを示し、ステレオタイプ sucproposed method our or none を示します。 0.70
that see We debiases word cesfully embeddings on rebased sults on Definition and Stereotype in SemBias. ここでは、SemBiasにおける定義とステレオタイプに関するリベースな侮辱に、言葉を巧みに埋め込みます。 0.51
In be can that see addition, we SemBias-subset the fastText. 追加できるのは、SemBias-subset the fastTextです。 0.60
for Word2Vec debiased and on WinoBias the Table 3 performance for shows Type 1 and Type pro anti 2 in and stereotypical 6https://github.com/ hljames/ 7https://github.com/ kanekomasahiro/gp_ 8https://github.com/ allenai/allennlp 9https://github.com/ RaRe-Technologies/ For Word2Vec debiased and on WinoBias the Table 3 for show Type 1 and Type pro anti 2 in and stereotypeal 6https://github.com/ hljames/ 7https://github.com/ Kanekomasahiro/gp_ 8https://github.com/ allenai/allennlp 9https://github.com/ RaRe-Technologies/ 0.55
compare-embedding-bi as 比較埋め込みバイアス 0.41
debias gensim デビアス ゲンシム 0.35
英語(論文から抽出)日本語訳スコア
insects Embeddings flowers T1: vs. T2: instruments vs. weapons T3: European vs. African American T4: male vs. female art T5: math vs. vs. science T6: art T7: physical vs. mental T8: older vs. younger T9: WAT 昆虫 T1: 楽器 vs. 武器 T3: ヨーロッパ vs. アフリカ系アメリカ人 T4: 男性 vs. 女性芸術 T5: 数学 vs. 科学 T6: 芸術 T7: 物理的 vs. 精神的 T8: 年齢 vs. 若年 T9: WAT 0.80
conditions names names Table 1: Rows T1-T8 show WEAT bias on the WAT dataset with cosine similarity. 条件名 名前 表1:Rows T1-T8は、WATデータセットのWEATバイアスとコサイン類似性を示している。 0.70
effects † for the indicates エフェクト! 示すのは 0.49
Word2Vec Org/Deb 1.46†/1.35† 1.56†/1.43† 0.46†/0.16† 1.91†/1.87† 0.85†/0.53† 1.18†/0.96† 0.90/0.57 −0.08/−0.10 0.48†/0.45† similarity and row T9 shows cosine bias effects insignificant Word2Vec Org/Deb 1.46'/1.35'/1.43'/0.46'/0.16'/1.87'/1.87'/0.85'/0.53'/0.96'0.90'/0.57-0.08/-0.10 0.48'/0.45'類似性と行T9はコサインバイアス効果に欠ける。
訳抜け防止モード: Word2Vec Org / Deb 1.46-/1.35--0.48--0. 45-類似性 T9行はコサインバイアスの影響を示さない
0.33
GloVe Org/Deb 1.48†/1.54† 1.49†/1.41† 1.33†/1.04† 1.86†/1.85† 0.43†/0.82† 1.21†/1.44† 1.03/0.98 1.07†/0.92† 0.59†/0.58† GloVe Org/Deb 1.48†/1.54† 1.49†/1.41† 1.33†/1.04† 1.86†/1.85† 0.43†/0.82† 1.21†/1.44† 1.03/0.98 1.07†/0.92† 0.59†/0.58† 0.17
fastText Org/Deb 1.29†/1.09† 1.56†/1.34† 0.79†/0.46† 1.65†/1.42† 1.14†/0.86† 1.16†/0.88† 0.83/0.63 -0.32/−0.13 0.54†/0.51† the Pearson correlations at α < 0.01. ファストテキスト org/deb 1.29,/1.09, 1.56,/1.34, 0.79,/0.46, 1.65,/1.42, 1.14,/0.86, 1.16,/0.88, 0.83/0.63 -0.32/−0.13 0.54,/0.51 ピアソンの相関は α < 0.01 である。 0.18
that are Embeddings definition stereotype none sub-definition sub-stereotype sub-none Table 2: analogies あれ は embeddeds definition stereotype none sub-definition sub-stereotype sub-none table 2: analogies 0.71
Word2Vec Org/Deb 83.0/83.9 13.4/12.3 3.6/3.9 50.0/57.5 40.0/32.5 10.0/10.0 accuracies Word2Vec Org/Deb 83.0/83.9 13.4/12.3 3.6/3.9 50.0/57.5 40.0/32.5 10.0/10.0 0.23
GloVe Org/Deb 83.0/83.4 12.0/11.4 5.0/5.2 67.5/67.5 27.5/27.5 5.0/5.0 for GloVe Org/Deb 83.0/83.4 12.0/11.4 5.0/5.2 67.5/67.5 27.5/27.5 5.0/5.0 for 0.25
fastText Org/Deb 92.0/93.2 5.5/4.3 2.5/2.5 82.5/85.0 12.5/10.0 5.0/5.0 relational fastText Org/Deb 92.0/93.2 5.5/4.3 2.5/2.5/85.0 12.5/10.0 5.0/5.0リレーショナル 0.25
Prediction on SemBias. SemBiasの予測 0.56
gender T1 T2 T5 T6 T7 性別 T1 T2 T5 T6 T7 0.64
GloVe 0.89† 1.25† 0.49 1.22† 1.19 GloVe 0.89† 1.25† 0.49 1.22† 1.19 0.41
HD GP-GloVe GN-GloVe Ours 0.97† 1.24† 1.10† 0.74† 1.23† 1.31† 1.25† 1.22† 0.00 -0.40 0.21 0.35 0.78† 1.13† 1.05† -0.11 1.01 1.23 1.11 1.03 similarity on cosine for effects Table 4: WEAT bias the † indicates bias efprior methods and proposed method. hd gp-glove gn-glove ours 0.97 と 1.24 と 1.10 と 0.23 と 1.31 と 1.25 と 1.22 と 0.00 -0.40 0.21 0.35 0.78 と 1.13 と 1.05 と -0.11 1.01 1.23 1.11 1.03 コサインの類似性 効果表 4: ウィートバイアス (weat bias) はバイアス分離法と提案手法を示している。 0.37
are that fects at α < 0.01. insignificant T* are aligned with in Table those to be fects at α < 0.01. insignificant T* are aligned with the Table them 0.96
1. Word2Vec Org/Deb 70.1/69.4 49.9/50.5 60.0/60.0 20.2/18.9 84.7/83.7 77.9/77.5 81.3/80.6 6.8/6.2 62.6/62.7 1. Word2Vec Org/Deb 70.1/69.4 49.9/50.5 60.0/60.0 20.2/18.9 84.7/83.7 77.9/77.5 81.3/80.6 6.8/6.2 62.6/62.7 0.53
Embeddings Type 1-pro Type 1-anti Avg Diff Type 2-pro Type 2-anti Avg Diff OntoNotes Embeddings Type 1-pro Type 1-anti Avg Diff Type 2-pro Type 2-anti Avg Diff OntoNotes 0.77
fastText GloVe Org/Deb Org/Deb 70.1/69.7 70.8/69.5 52.0/51.6 50.9/52.1 61.1/60.7 60.9/60.8 18.1/18.1 19.9/17.4 83.8/82.5 79.6/78.9 75.1/76.4 66.0/66.4 79.5/79.5 72.8/72.7 8.7/6.1 13.6/12.5 63.3/63.4 62.5/62.9 set. fastText GloVe Org/Deb Org/Deb 70.1/69.7 70.8/69.5 52.0/51.6 50.9/52.1 61.1/60.7 60.9/60.8 18.1/18.1 19.9/17.4 83.8/82.5 79.6/78.9 75.1/76.4 66.0/66.4 79.5/79.5 72.8/72.7 8.7/6.1 13.6/12.5 63.3/63.4 62.5/62.9 セット。 0.21
WinoTable 3: test F1 on OntoNotes and WinoBias Bias results in Type-2 pro and anti and difference (Avg) stereotypical shown. WinoTable 3: OntoNotes と WinoBias Bias のテスト F1 は Type-2 pro と anti and difference (Avg) のステレオタイプが示される。 0.87
(Diff) of anti scores are アンチスコアの(ディフ)は 0.50
have and conditions. Average and pro stereotypical と条件がある。 平均値とプロステレオタイプ 0.75
Type-1 conditions. for smaller is the diff settings, In most the debiased embeddings, original word the than proour of effectiveness which the demonstrates From the posed method. タイプ1 条件だ より小さくするためにdiff設定があり、ほとんどのdebiased embeddedsでは、元々の単語「the than proour of effectiveness」は、ポーズづけされたメソッドから示される。 0.66
for Avg, we see results that debiasing almost no loss in is achieved with performance. Avgの場合、ほとんど損失を失わずに性能を低下させる結果が得られます。 0.62
In addition, the debiased scores on are higher the OntoNotes scores than the original for all word embeddings. さらに、デバイアスされたスコアは、すべての単語埋め込みのオリジナルのスコアよりもOntoNotesスコアが高い。 0.61
Comparison with Existing Methods 5.2 proposed method compare against the exthe We 2016; et isting (Bolukbasi debiasing methods al., al., et 2018b; Kaneko and Bollegala, 2019) Zhao on WEAT, which contains differmentioned in § 2 debias Glove10, which ent types of biases. 既存の方法との比較 5.2 提案された手法は、元We 2016 と比較する; et isting (Bolukbasi debiasing method al., al., et 2018b; Kaneko and Bollegala, 2019) Zhao on WEAT と比較する。
訳抜け防止モード: 既存の方法との比較 5.2 提案手法は,元We 2016 との比較 (Bolukbasi debiasing method al , al .) と比較する。 Kaneko and Bollegala, 2019 ) Zhao on WEAT 2デビアス・グローブ10(英語版)では差分があり、これは偏見の型である。
0.79
We is embeddings al. 私たちはアルを埋め込んでいます。 0.41
used in Zhao et (2018b). Zhao et (2018b) で使用される。 0.77
All word the are in these used experiments pre-trained word existing embeddings used in the debiasing methare and T8 in ods. これらの実験で使われた単語はすべて、デバイアス・メサレとodsのt8で使われる既存の埋め込みの事前学習された単語である。 0.57
Words sets T3, T4 evaluation embeddings not covered by the input pre-trained and hence not considered in this evaluation. words set t3, t4 evaluation embeddeds not covered by the input pre-trained, so not considered in this evaluation (英語) 0.76
From Table 4 we see that only the proposed method debithe are and T6 T5 accurately. 表4から、提案された方法だけが正確にT6 T5であることがわかる。 0.64
biases ases all tests gender for bias; despite prior debiasing methods do well in those tasks, they are not able to address other types of biases. 偏見はすべての性別をバイアスとして検査する; 以前の偏見法はこれらのタスクでうまく機能するが、他の種類の偏見に対処することはできない。 0.65
Notably, we the see that accurately comdebias more proposed method can lists use word previous methods to pared that for gender debiasing, such as Bolukbasi et al. 特に,Blukbasi et al.など,男女の偏見を解析するために,より正確なコデビアス手法が,使用語前の手法を列挙できることを示す。 0.67
(2016) (2018b) and Zhao in T5 in T6. (2016) (2018b)、zhao in t5 in t6。 0.81
al. et vs All Glosses 5.3 Dominant Gloss using the investigate the In Table effect of dominant frequent the most for gloss (i.e. アル et vs all glosses 5.3 superior glosses using the study of in table effects of dominant often the most for gloss (e) 0.57
10https://github.com /uclanlp/gn_glove 10https://github.com /uclanlp/gn_glove 0.31
5, we gloss the 5個目は光沢です はあ? 0.41
英語(論文から抽出)日本語訳スコア
Embeddings definition stereotype none sub-definition sub-stereotype sub-none Table 5: dominant gloss embeddeds definition stereotype none sub-definition sub-stereotype sub-none table 5: dominant gloss 0.78
Word2Vec Dom/All 83.4/83.9 12.7/12.3 3.9/3.9 55.0/57.5 35.0/32.5 10.0/10.0 Word2Vec Dom/All 83.4/83.9 12.7/12.3 3.9/3.9 55.0/57.5 35.0/32.5 10.0/10.0 0.22
GloVe Dom/All 83.9/83.4 11.8/11.4 4.3/5.2 67.5/67.5 27.5/27.5 5.0/5.0 obtained when using the (All) on SemBias. GloVe Dom/All 83.9/83.4 11.8/11.4 4.3/5.2 67.5/67.5 27.5/27.5 5.0/5.0 SemBias 上の (All) を使用すると得られる。 0.35
all glosses all‐glosses 0.80
fastText Dom/All 92.5/93.2 4.8/4.3 2.7/2.5 77.5/85.0 12.5/10.0 10.0/5.0 only fastText Dom/All 92.5/93.2 4.8/4.3 2.7/2.5 77.5/85.0 12.5/10.0 10.0/5.0 のみ 0.24
Performance (Dom) or performance (複数形 performances) 0.54
Embeddings GloVe Word2Vec Org/Deb Org/Deb 60.6/68.9 62.4/60.3 WS 39.5/45.1 44.7/46.5 SIMLEX 68.1/74.1 75.4/77.9 RG 62.7/69.4 63.1/63.6 MTurk 68.1/74.1 75.4/77.9 RW 67.7/76.7 68.1/69.4 MEN 73.8/75.1 73.6/72.6 MSR 76.8/77.3 74.0/73.7 Google correlation Spearman 6: The human similarity cosine and ratings embeddings for using word the word similarity benchmarks. 埋め込み GloVe Word2Vec Org/Deb Org/Deb 60.6/68.9 62.4/60.3 WS 39.5/45.1 44.7/46.5 SIMLEX 68.1/74.1 75.4/77.9 RG 62.7/69.4 63.1/63.6 MTurk 68.1/74.1 75.4/77.9 RW 67.7/76.7 68.1/69.4 MEN 73.8/75.1 73.6 MSR 76.8/77.3 74.0/73.7 Google correlation Spearman 6: Humanity cosinesines and embedings for the similar wordity。 0.45
fastText Org/Deb 64.4/67.0 44.2/47.3 75.0/79.6 67.2/69.9 75.0/79.6 67.6/71.8 83.9/80.5 87.1/85.7 becoefficients comscores sein pairs fastText Org/Deb 64.4/67.0 44.2/47.3 75.0/79.6 67.2/69.9 75.0/79.6 67.6/71.8 83.9/80.5 87.1/85.7 becoefficients comscores sein pairs 0.27
Table tween puted mantic テーブルツイーンのマンティック 0.55
of sense the word) when on creating Sems(w) as benchmark Bias glosses all using opposed to as (same that debiasing using see in Table 2). sems(w) をベンチマークバイアスとして作成する場合、as とは対照的に (表 2 でsee をデバイアスするのと同じ) すべてに光沢がある。
訳抜け防止モード: sems(w ) をベンチマークバイアスとして作成する場合、すべてはas(debiasing が使用するのと同じ)と反対の用語を使用する。 表2)を参照。
0.70
We is more all the only using than effective glosses dominant gloss. 私たちは、より効果的なグロスの支配的な光沢よりも利用しています。 0.46
Word Embedding Benchmarks 5.4 removes debiasing method a important It that is and discriminatory only biases preserves semantic original word information in the embeddings. word embedded benchmarks 5.4 は、debiasing method を重要な it として削除し、差別的のみなバイアスは、埋め込みに意味的な原語の情報を保存する。
訳抜け防止モード: Word Embedding Benchmarks 5.4がDebiasingメソッドを重要なものとして削除 差別のみのバイアスは、埋め込みに意味のある原語の情報を保存します。
0.71
If information removes more debiasing method the necessary than from the embeddings, original word performance will drop when those debiased embedTherefore, are used in NLP applications. もし情報が埋め込みから必要以上にデバイアスングメソッドを取り除くなら、元のワードパフォーマンスは、これらのデバイアスド・埋め込みがNLPアプリケーションで使用されるときに低下する。 0.64
dings to information preserved after the evaluate semantic we debiasing, similarity and word use semantic analogy benchmarks as described next. 次に述べたように、評価後に保存された情報への変換は、偏り、類似性、および単語使用意味類似性ベンチマークである。 0.56
Similarity: Semantic similarity semantic The the cosine between two words is calculated as and embeddings similarity between their word the using against compared ratings human the followThe correlation Spearman coefficient. 類似性: 意味的類似性 意味的意味 2つの単語間のコサインは、その単語間の類似性を計算し、比較格付けに対する使用 相関スピアマン係数に従う。 0.79
(WS; used: Word Similarity ing datasets are 353 SimLex Finkelstein et (Hill et al., al., 2001), 2015), Rubenstein-Goodenoug h (RG; Rubenstein 1965), MTurk et (Halawi and Goodenough, al., (WS; used: Word similarity ing datasets are 353 SimLex Finkelstein et (Hill et al., al., 2001), 2015), Rubenstein-Goodenoug h (RG; Rubenstein 1965), MTurk et (Halawi and Goodenough, al.)。 0.85
in et al., イン など アル... 0.50
and 2013) (RW; Luong 2012), rare words MEN (Bruni al., 2012). そして 2013) (rw; luong 2012), rare words men (bruni al., 2012)。 0.75
et Word Analogy: predict analogy, we In word d to “a is proportional analogy that completes the and b, four for words a, as is to what?”, c b c 2014), and Goldberg, We d. (Levy CosAdd use the determines d by maximising which cosine sim(b − a + c) ilarity between the two vectors and on evaluate (2018b), we al. et word analogy: predict analogy, we in word d to "a is proportional analogy that completes the and b, four for words a, as is is to what?", c b c 2014) と goldberg, we d. (levy cosadd は、二つのベクトル間のコサインsim(b − a + c) ilarity and on evaluation (2018b) を最大化することによって決定的dを使用する。 0.81
et Following Zhao d. and Google MSR (Mikolov et al., 2013c) analogy datasets (Mikolov et al., 2013a) as shown in Table 6. embedfor see 6 we From Table that all word the using debiased dings, proposed method accurately preserves the semantic information in the original embeddings. 表6に示すように、Zhao d. と Google MSR (Mikolov et al., 2013c) のアナロジーデータセット (Mikolov et al., 2013a) が表6に埋め込まれている。
訳抜け防止モード: zhao d. と google msr ( mikolov et al )に続きます。 2013c )アナログデータセット ( mikolov et al ., 2013a) as 表6に示すembedfor テーブルから6時 全ての単語がdebiased dingsを使用しており、提案手法は元の埋め込みにおける意味情報を正確に保存する。
0.67
In fact, except for Word2Vec accuthe on WS dataset, we embeddings that see improved of have embeddings the racy the after debiasing process, which is a desirable side-effect. 実際、WS データセット上の Word2Vec のアキュケートを除いて、我々は、改善された埋め込みが、望ましい副作用である後処理の妥当性を埋め込むのを見ている。 0.61
We believe informathe that fact to the this is due tion used during the the dictionary definitions is debiasing process. 我々は、この事実が辞書の定義において使われるデューションであるという事実は偏りのプロセスであると信じている。 0.62
Overall, our proposed method removes unfair biases, while retaining (and someinformation semantic improving) further times the original word the contained embeddings. 総じて,提案手法は不公平なバイアスを取り除き,その内包された単語のさらに倍の頻度で情報意味改善を行う。 0.73
in We also see that for GloVe embeddings the performance has improved after debiasing whereas for opposite the fastText and Word2Vec is embeddings performance true. また、GloVeの埋め込みでは、debiasingの後にパフォーマンスが向上したのに対して、fastTextとWord2Vecは性能を埋め込んでいる。 0.63
Similar drop analogy in in word tasks have been reported prior work in (Zhao et al., are multiple 2018b). ワードタスクにおける同様のドロップアナロジーは、以前の仕事(zhao et al., are multiple 2018b)でも報告されている。 0.64
there alterBesides CosAdd solving analogies usnative methods proposed for pre-trained word embeddings ing such as CosMult, supervised and PairDiff al., operators (Bollegala et 2015, et there 2018). alterbesides cosadd solve analogies usnative methods proposed for pre-trained word embeddeds ing like cosmult, supervised and pairdiff al., operators (bollegala et 2015 et there 2018)。 0.63
Moreover, al., 2014; Hakami the protocols used have been concerns raised about in prior work evaluating word embeddings on word analogy and the correlation with downstream tasks defer 2018). さらに、2014年(平成14年)には、単語類似性に基づく単語埋め込みの評価や、下流タスクとの相関性に関する事前の作業において、使用するプロトコルが懸念されている。 0.53
(Schluter, tasks further Therefore, we this investigation behaviour in future work. (今後,今後の業務における調査行動について検討する。 0.63
Visualising 5.5 the Outcome of Debiasing the analyse by debiasing calculating of We effect between occupational neutral the cosine similarity Caucasoid − he − # » ( # » ( # » she), race words and gender elder− # » # » N egroid) and age ( # » youth) directions. The Outcome of Debiasing the Analysing outcome of Debiasing the Abiasing calculate of We effect of occupational neutral the cosine similarity Caucasoid − he − # ch (# ) she), race words and gender elder− # s # s N egroid) and age (# s young) direction.
訳抜け防止モード: 5.5 the Outcome of Debiasing the Analyse by debiasing calculation of We effect between occupational neutral the cosine similarity Caucasoid − he − # s (# s (# s she ) 人種の言葉と性別の長老−# s # s N egroid ) 年齢(年齢、年齢、年齢、年齢)。
0.77
The is based on Bolukneutral occupational words list (2016) basi and is listed in Supplementhe et al. bolukneutral occupational words list (2016) basiをベースとし、 supplementhe et alにリストされている。 0.79
1 tary. the visualisation for shows result Figure shows that original Word2Vec Word2Vec. 1タリー 表示結果の可視化図は、オリジナルのWord2Vec Word2Vecを示している。 0.48
We see especially gender words some are away from the 特にジェンダーの言葉は、人から遠ざかっている。 0.63
to 0.63
英語(論文から抽出)日本語訳スコア
(a) Original Word2Vec between similarity Figure 1: Caucasoid − # » ( # » N egroid), and age (a)類似性図1の原語2Vec:カウカソイド-(# > N egroid)と年齢 0.60
Cosine occupation words neutral elder − # » ( # » youth) vectors. コサイン 職業語 中立な年長者 - #(若者) ベクター。 0.53
for vector ですから vector 0.70
(b) Debiased Word2vec he − ( # » directions gender (b)debiased word2vec he − (# ) direction gender 0.86
on # » she), race オン 第3位)。 レース 0.52
age-related have words Moreover, (0.0). 年齢関連語も有る(0.0)。 0.75
origin debiased Our “elder”. origin debiased our "elder". 0.70
overall bias towards an Word2Vec gathers vectors around the origin comthe pared gender, all for original Word2Vec to race and age vectors. Word2Vecに対する全体的な偏見は、オリジナルWord2Vecが人種と年齢のベクトルを収集するために、原点がパードジェンダーを構成するベクトルを収集する。
訳抜け防止モード: Word2Vecに対する全体的な偏見は、起源がパードジェンダーを構成するベクトルを集めます。 オリジナルのWord2Vecからレースや年齢ベクトルまで。
0.68
are multiple words with On the other hand, there gender female the similarity with high after cosine in cases rare that their debiasing. 一方、複数の単語がある場合、性別はコサインの後に高い類似度を持つ。 0.52
speculate We For biases. definition contain sentences example, in the WordNet the definitions for “homemaker” such gender-oriented words and include “nurse” as “a wife who manages her household while a husband earns the family income” and “a woman remains who children.” custodian an It of the is remove to challenge future interesting biases from dictionaries when using for debiasing. 偏見を推測する。 例えば、WordNetでは、このようなジェンダー指向の言葉を「ホームメイカー」と定義し、「看護婦」を「夫が家計を稼いでいる間、自分の家を管理する妻」とし、「女性は子供のままである」と定義している。
訳抜け防止モード: 偏見を推測する。 定義には文が含まれており、WordNetでは、このようなジェンダー指向の単語の“ホームメイカー”の定義が定義されている。 ナース”を”妻”として含めます 夫が家計を稼いでいる間、彼女の家を管理する」 という女性がいる。 It of the is is removed to challenge future interesting biases from dictionary when using using debiasing。
0.59
Therefore, necessary it is to pay attention to biases included in the definition sentences when performing debiCombining dictionaries. したがって、デビコンビニング辞書を実行する際には、定義文に含まれるバイアスに注意する必要がある。
訳抜け防止モード: そのため必要である。 DebiCombining辞書の実行時に定義文に含まれるバイアスに注意する。
0.73
using asing definitions potentially from multiple help dictionaries could single dictionary. 複数のヘルプ辞書から aing定義を使用することで 単一の辞書が出来ます 0.59
to mitigate biases coming from a Another to direction research the evaluate is future proposed method for languages other than English using multilingual dictionaries. 他者からのバイアスを軽減するために,多言語辞書を用いた英語以外の言語にも将来的な手法が提案される。 0.71
Conclusion 6 proposed from preWe to remove biases a method trained word embeddings using dictionaries, without experilists. 結論 6 では,辞書を用いて単語埋め込みを訓練した手法のバイアスを取り除くことを提案した。 0.66
requiring The pre-defined word on results mental datasets benchmark series of the proposed method can remove unfair show that semantic biases, while information retaining useful in pre-trained word embeddings. 提案手法のメンタルデータセットベンチマークシリーズは、事前訓練された単語埋め込みで有用な情報を保持する一方で、セマンティックバイアスが不公平であることを示すことができる。
訳抜け防止モード: requires The pre-defined word on results mental datasets benchmark series of the proposed method 意味的偏見が不公平であることを 事前訓練された単語の埋め込みで有用な情報を保持する。
0.73
encoded a Takanori Joint from a encoded あ aから高徳ジョイント 0.60
and 2017. information. そして 2017年 情報。 0.73
Tengyu Ma. 2017. sentence em- 天牛様。 2017年 - 判決。 0.37
for Computational Linguistics, 5:135–146. 計算言語学 5:135–146。 0.64
Yingyu tough-to-beat baseline for In Proc. In ProcのYingyu tough-to-beatベースライン 0.69
of References Mohammed and Maehara, Alsuhaibani, Bollegala. ですから mohammedとmaehara、alsuhaibani、bollegalaを参照。 0.60
Danushka hierof learning 2019. archical word embeddings taxa corpus and the Automated Knowledge Base In Proc. Danushka hierof Learning 2019 - 古典的な言葉でtata corpusとAutomated Knowledge Base in Procを埋め込む。 0.80
of onomy. Construction Conference. ノノミの 建設会議。 0.46
Liang, Sanjeev Arora, A simple but ICLR. Liang, Sanjeev Arora – シンプルだがICLR。 0.74
beddings. Piotr Bojanowski, Edouard Grave, Armand Joulin, and Tomas Mikolov. 寝具だ Piotr Bojanowski、Edouard Grave、Armand Joulin、Tomas Mikolov。 0.56
vectors with Enriching word the of AssociaTransactions subword tion Takanori Maehara, Danushka Bollegala, 2015. AssociaTransactions subword tion tion Maehara, Danushka Bollegala, 2015 (英語) 0.52
Kawarabayashi. Embedding into word tionas representations. 河原林。 単語 tionas 表現に埋め込みます。 0.57
pages – 1222 1228. 1222年 - 1228年。 0.57
Maehara, Takanori Bollegala, Danushka Yuichi and Ken-ichi Kawarabayashi. 前原、ボリガラ高則、ダヌシュカユイチ、河原林健一。 0.40
2014. Yoshida, Learnrepresentations from ing word relational graphs. 2014. 吉田, ing語関係グラフから学ぶ。 0.72
Conference Proc. of 29th AAAI on Aritificial In (AAAI 2015), pages Intelligence 2152. 会議プロ。 第29回AAAI on Aritificial In (AAAI 2015), page Intelligence 2152。 0.67
2146 – Mohammed, Alsuhaibani Bollegala, Danushka Takanori Maehara, and Ken-ichi Kawarabayashi. 2146年 - モハメド、アルスハイバニ・ボレガラ、ダヌシュカ・前原高則、河原林健一が誕生。 0.42
2016. Joint word representation using a learning AAAI, of Proc. 2016. Procの学習AAAIを用いた共同語表現 0.71
and corpus In lexicon. そして corpus in lexicon。 0.72
semantic a 2690–2696. 意味は2690–2696。 0.68
pages Tolga Bolukbasi, Venkatesh Saligrama, computer is to maker? Tolga Bolukbasi, Venkatesh Saligrama, Computer is to making? 0.72
debiasing word Shikha Bordia and Samuel R. Bowman. シハ・ボルディア(Shikha Bordia)とサミュエル・R・ボウマン(Samuel R. Bowman)。 0.38
2019. Identifylanguage in word-level ing and reducing gender bias 2019 Conference Proceedings of the of In models. 2019. Identify Language in word-level ing and reduce gender bias 2019 Conference Proceedings of the of In models。 0.87
American Chapter the North of for the Association アメリカ支部 フォー・ザ・アソシエーションの北 0.66
James Zou, Y. and Adam Kalai. James Zou, Y. and Adam Kalai 0.80
Man 2016. is woman hometo In NIPS. 男性2016は、ニップスの女性のホームトです。 0.46
embeddings. Kai-Wei programmer 埋め込み。 カイワイプログラマー 0.53
Chang, as and Ken-ichi semantic relaIJCAI, of Chang, as 顕一意味論 0.50
In Proc. Proc。 0.52
英語(論文から抽出)日本語訳スコア
Auto-encoding word embed- 自動エンコーディング語埋め込み 0.71
Evaluating wordnetComputadistan ce. WordnetComputadistan ce の評価。 0.80
Hirst. 2001. 雇用者。 2001. 0.67
Seexperimental, An of five measures. In 実験:5つの方法。 院 0.50
Bryson, and Arvind automatically derived human-like biases. ブライソンとアーヴィンドは自動的に人間のようなバイアスを導いた。 0.49
Linguistics: Student Research Work7–15, Minneapolis, Minnesota. 言語学:ミネソタ州ミネアポリスの学生研究ワーク7-15。 0.63
Associ- Computational shop, pages for Computational Linguistics. アソシエーション- Computational shop, page for Computational Linguistics. 0.64
ation and Tom Bosc Pascal Vincent. イオンとトム・ボスック・パスカル・ヴィンセント。 0.43
2018. consistent definitions dictionary into In EMNLP. 2018. consistent definitions dictionary into in emnlp. 0.84
dings. Marco Baroni, and Boleda, Gemma Bruni, Elia Distributional semantics 2012. ディンズ marco baroni, and boleda, gemma bruni, elia distributional semantics 2012 (英語) 0.53
Nam Khanh Tran. Nam Khanh Tran 0.60
the of 50th Annual Proceedings in technicolor. テクニカラーにおける第50回紀要 0.55
In the Meeting Linfor Association of Computational Papers), 1: guistics (Volume Long pages 136–145. The Meeting Linfor Association of Computational Papers, 1: guistics (Volume Long Page 136–145)。 0.80
Association for Computational Linguistics. A. Budanitsky and G. Hirst. 計算言語学会会員。 a. budanitskyとg. hirst。 0.59
2006. of based semantic measures tional Linguistics, 32(1):13–47. 2006年、semantic measures tional languages, 32(1):13-47。 0.73
Alexander Budanitsky and Graeme mantic wordnet: in distance evaluation application-oriented NAACL 2001. Alexander Budanitsky と Graeme mantic wordnet: in distance evaluation application-oriented NAACL 2001。 0.92
Joanna J Aylin Caliskan, Narayanan. Joanna J Aylin Caliskan, Narayanan 0.69
Semantics 2017. language corpora contain from Science, 356:183–186. Semantics 2017 言語コーパスは Science 356:183–186。 0.82
and Kenton Chang, Devlin, Jacob Ming-Wei Lee, Pre-training BERT: Toutanova. そしてKenton Chang, Devlin, Jacob Ming-Wei Lee, Pre-training BERT: Toutanova。 0.84
Kristina 2019. of bidirectional deep transformers for language underProceedings of the 2019 Conference In standing. kristina 2019. of bidirectional deep transformers for language underproceedings of the 2019 conference in standing(英語) 0.91
the of North Chapter of the Association American Computational for Language Human Linguistics: Technologies, Short Volume 1 (Long and Papers), pages 4171–4186, Minneapolis, Minnesota. The North Chapter of the Association American Computational for Language Human Linguistics: Technologies, Short Volume 1 (Long and Papers), page 4171–4186, Minneapolis, Minnesota. 0.85
Association for Computational Linguistics. Perfors, Navarro, Danielle De Simon Amy Deyne, J. 計算言語学会会員。 Perfors, Navarro, Danielle De Simon Amy Deyne, J 0.63
The Marc Brysbaert, and Gert Storms. マーク・ブライスバートとガート・ストームズ。 0.49
2019. “small association world of words” english word norms for Behavior Research Methods, over 12,000 cue words. 2019. 英単語の規範は行動研究の手法で、1万2000語を超える。
訳抜け防止モード: 2019. 行動研究のための英語単語規範「小連想語世界」 12,000語以上の単語。
0.78
51:987–1006. 51:987–1006. 0.50
Yupei Du, Yuanbin Wu, and Man Lan. Yupei Du, Yuanbin Wu, and Man Lan 0.69
2019. Exploring human gender stereotypes with word association test. 2019. 単語連想テストによる人間性ステレオタイプの検討 0.74
In Proceedings of the 2019 Conference on Empirical and Processing Language in Methods the Natural on Natural International Joint Conference 9th Language Processing (EMNLP-IJCNLP), 6133– pages 6143, Hong Kong, China. 2019 Conference on Empirical and Processing Language in Methods the Natural on Natural International Joint Conference 9th Language Processing (EMNLP-IJCNLP), 6133–page 6143, China, Hong Kong 0.77
Association for Computational Linguistics. Yanai 2018. and Yoav Removal of Demographic Attributes In Proc. 計算言語学会会員。 yanai 2018 と yoav によるproc の人口属性の削除。 0.57
of EMNLP. Kawin Ethayarajh, David Duvenaud, and Graeme Hirst. EMNLPの略。 Kawin Ethayarajh、David Duvenaud、Graeme Hirst。 0.65
undesirable word embedding Understanding 2019. the Confer57th of associations. 2019年、第57回研究発表。 0.31
In ence Linguisfor Computational Association of the tics, Association for pages 1696–1705. ence linguis for computational association of the tics, association for pages 1696–1705 (英語) 0.74
Computational Linguistics. Adversarial from Text Data. 計算言語学。 テキストデータからの反対。 0.68
Proceedings Goldberg. 経過 Goldberg 0.51
Elazar an elec- エラザール アン エレク 0.44
in of editor. in of... 編集者。 0.54
WordNet: Dodge, Jesse Faruqui, Manaal Sujay Jauhar, Kumar Chris Dyer, Eduard Hovy, and Noah A. Smith. wordnet: Dodge、Jesse Faruqui、Manaal Sujay Jauhar、Kumar Chris Dyer、Eduard Hovy、Noah A. Smith。 0.71
2015. lexicons. 2015年デビュー。 0.56
to vectors word Retrofitting In semantic of Conference 2015 Proceedings North of the the for Association American Chapter of the ComputaLinguistics: tional Human Language Technologies, pages 1606–1615, Denver, Colorado. to vectors word retrofitting in semantic of conference 2015 proceedings north of the for association american chapter of the computalinguistics: tional human language technologies, pages 1606–1615, denver, colorado (英語) 0.80
Association for Computational Linguistics. 1998. 計算言語学会会員。 1998. 0.68
Christiane Fellbaum, database. Christiane Fellbaum、データベース。 0.79
MIT Press. tronic lexical Matias, Yossi Gabrilovich, Evgeniy Finkelstein, Lev Ehud Rivlin, Zach Solan, Gadi Wolfman, and Eytan The conRuppin. MIT出版。 tronic lexical matias, yossi gabrilovich, evgeniy finkelstein, lev ehud rivlin, zach solan, gadi wolfman, そしてeytan the conruppin。 0.64
2001. Placing search context: 10th the InternaProceedings revisited. 2001. 検索コンテキストを配置する: 10th the internaproceedings revisited。 0.80
cept In tional Conference on World Wide Web, WWW ’01, 406–414, New York, NY, USA. cept In tional Conference on World Wide Web, WWW ’01, 406–414, New York, NY, USA 0.85
ACM. pages Mark Matt Gardner, Neumann, Joel Grus, Oyvind Matthew F. Nelson Dasigi, Tafjord, Liu, Pradeep Zettlemoyer. ACM。 Mark Matt Gardner, Neumann, Joel Grus, Oyvind Matthew F. Nelson Dasigi, Tafjord, Liu, Pradeep Zettlemoyer
訳抜け防止モード: ACM。 Mark Matt Gardner, Neumann, Joel Grus, Oyvind Matthew F. Nelson Dasigi, Tafjord , Liu , Pradeep Zettlemoyer の略。
0.83
and Schmitz, Peters, Michael Luke S. A deep 2017. そしてschmitz、peters、michael luke s. a deep 2017。 0.71
Allennlp: semantic natural language Proceedings of Workshop platform. Allennlp: セマンティック自然言語 ワークショッププラットフォームの成果。 0.68
processing In (NLP-OSS). Processing In (NLP-OSS)。 0.75
Source for NLP Open Software Vuli´c. NLP Open Software Vuli ́c の略。 0.72
Glavaˇs and Explicit 2018. 詳細は2018年公開。 0.39
Goran Ivan Proretrofitting of distributional word vectors. Goran Ivan Proretrofitting of distributional word vectors 0.69
In ceedings of the 56th Annual Meeting of the Association 1: (Volume Linguistics Computational for Long Papers), pages 34–45. 第56回年次学術大会(the 56th annual meeting of the association 1: (volume linguistics computational for long papers))では、34-45頁が発行された。 0.58
Association for Computational Linguistics. on a 2019. 計算言語学会会員。 2019年。 0.55
Lipstick Hila Gonen and Yoav Goldberg. Lipstick Hila GonenとYoav Goldberg。 0.81
gender systematic cover pig: Debiasing methods up remove biases them. ジェンダー・システマティック・カバー豚:偏りを取り除く方法。 0.54
embeddings in word do not but the North of In Proceedings the 2019 Conference of ComputaAmerican the Association for Chapter of Technologies, tional Linguistics: Human Language Volume Short Papers), and (Long 1 609–614, pages Minneapolis, Minnesota. 2019年のComputaAmerican the Association for Chapter of Technologies, tional Linguistics: Human Language Volume Short Papers), and (Long 1 609-614, pages Minneapolis, Minnesota)。
訳抜け防止モード: 2019年のComputaAmerican the Association for Chapter of Technologies(コンピュータアメリカ技術協会)の国際会議、Noth of In Proceedings(ノーザン・オブ・イン・プロセジングズ・オブ・イン・シーディングス) 仮訳:Human Language Volume Short Papers ) と (Long 1 609-614, pages Minneapolis, Minnesota )。
0.76
Association for Computational Linguistics. Anthony G. Greenwald, dan L. K. Schwatz. 計算言語学会会員。 Anthony G. Greenwald, dan L. K. Schwatz 0.74
ferences in implicit Journal tion test. 暗黙のJournal tionテストの参照。 0.64
ogy, 74(6):1464–1480. オギー74(6):1464–1480。 0.72
Danushka and BolleHayashi, Kohei Hakami, Huda a mathework? Danushka and BolleHayashi, Kohei Hakami, Huda a mathework? 0.85
PairDiffdoes Why 2018. gala. PairDiffdoes 2018年。 0.46
compositional relational bilinear of analysis matical Proceedings of for operators In detection. 検出における操作者の解析行列の合成関係双線型法 0.77
analogy the 27th International Conference on Computational Linguistics, pages Santa 2493–2504, Fe, New Mexico, LinguisUSA. The 27th International Conference on Computational Linguistics, pages Santa 2493–2504, Fe, New Mexico, LinguisUSA. 0.87
Association tics. アソシエーションtics所属。 0.60
Guy Halawi, 2012. ガイ・ハロウ、2012年。 0.49
Yehuda Koren. Yehuda Koren 0.55
constraints. relatedness with 18th SIGKDD Knowledge Discovery pages 制約。 第18回sigkdd知識発見ページとの関連性 0.62
and Evgeniy Gabrilovich, Large-scale of word learning the of Proceedings In ACM International on Conference and Data Mining, KDD ’12, 1406–1414, New York, NY, USA. and evgeniy gabrilovich, large-scale of word learning the of proceedings in acm international on conference and data mining, kdd ’12, 1406–1414, new york, ny, usa. (英語) 0.83
ACM. and E. McGhee, JorDebbie individual 1998. ACM。 E・マクギー、JorDebbie、1998年。 0.74
Measuring difassociaimplicit cognition: The of Personality and Social Psychol- Difassociaimplicit認知の測定:パーソナリティと社会的心理- 0.80
Computational Gideon Dror, 計算 Gideon Dror 0.59
for ですから 0.55
英語(論文から抽出)日本語訳スコア
2015. (genLinguis- 2015. (ゲンリンギス) 0.68
Reichart, and Anna Korhonen. ReichartとAnna Korhonen。 0.66
semantic models with Evaluating Computational estimation. 計算量推定を用いた意味モデル 0.72
Cotterell, Ryan Hall Gonen, Hila Maudslay, Rowan name: Mitthe It’s 2019. Cotterell, Ryan Hall Gonen, Hila Maudslay, Rowan name: Mitthe It’s 2019 0.79
Simone Teufel. Simone Teufel 0.58
and all in counterfactual gender igating name-based bias with the Proceedings 2019 Conof In substitution. そしてすべては、2019年のProceedings 2019 Conof Inの代替品で名前に基づく偏見を訴える反事実的な性別だ。 0.47
data on Empirical Methods in Natural Language ference International Processing and the 9th Joint Conference on Natural Language Processing (EMNLPIJCNLP), pages 5266–5274, Hong Kong, China. 第9回自然言語処理国際会議(EMNLPIJCNLP)、5266-5274頁、香港、中国。
訳抜け防止モード: 自然言語参照国際処理における経験的手法のデータと第9回自然言語処理合同会議(EMNLPIJCNLP) 5266-5274頁、香港、中国。
0.77
Association for Computational Linguistics. Felix Hill, Roi Simlex-999: similarity uine) tics, 41(4):665–695. 計算言語学会会員。 Felix Hill, Roi Simlex-999: similarity uine, 41(4):665–695。 0.72
Semantic Jay J. Jiang and David W. Conrath. 意味:jay j. jiangとdavid w. conrath。 0.54
1997. lexical and on similarity statistics corpus based taxComputaon 10th Intl. 1997. lexical and on similarity statistics corpus based taxcomputaon 10th intl 0.85
Conf. Research In onomy. Conf ノノミの研究。 0.57
tional Linguistics (ROCLING), – 33. pages 19 2019. オプション言語学 (ROCING) - 33.page 19 2019年。 0.72
Masahiro Kaneko and Danushka Bollegala. カネコ正弘とダヌシュカ・ボレガラ。 0.36
word for debiasing Gender-preserving pre-trained the Annual 57th Proceedings of In embeddings. 年次第57回埋没手続を修了したジェンダー保存の怠慢の語。 0.32
LinMeeting Association for Computational of the guistics, Italy. イタリアのLinMeeting Association for Computational of the guisticsの略。 0.82
Associapages 1641–1650, Florence, tion for Computational Linguistics. Associapages 1641–1650, Florence, tion for Computational Linguistics (英語) 0.76
2020. and Danushka Bollegala. 2020年、Danushka Bollegala。 0.84
AuMasahiro Kaneko embeddings. AuMasahiro Kaneko 埋め込み。 0.75
pre-trained word toencoding improves the 28th International Conference In Proceedings of on Linguistics, Computational 1699–1713, pages International Committee (Online). 事前訓練された単語のトーエンコーディングは、28th International Conference In Proceedings of on Linguistics, Computational 1699–1713, pages International Committee (Online) を改善している。 0.68
Barcelona, Spain on Computational Linguistics. スペイン・バルセロナの計算言語学者。 0.71
Convolutional neural Yoon 2014. 畳み込みニューラル・ヨン 2014。 0.63
Kim. Proceedings classification. Kim Proceedingsの分類。 0.69
for In sentence Empirical Methods on 2014 Conference (EMNLP), Processing Language pages Association Doha, Qatar. for sentence Empirical Methods on 2014 Conference (EMNLP), Processing Language page Association Doha, Qatar. 0.76
for Computational guistics. Diederik A method ICLR. 計算統計学。 Diederik メソッド ICLR。 0.50
Al2016. Tucker. 2016年。 タッカー。 0.55
E. Catherine and Lambrecht Anja apparent into study empirical an bias? E.キャサリンとランブレヒト・アンジャが経験的偏見の研究に現れるか? 0.61
gorithmic gender-based discrimination in the display of stem Journal. 性差に基づくstemジャーナルの表示における識別 0.60
SSRN Electronic ads. career 2019. SSRN電子広告。 2019年キャリア。 0.72
Glavas. and Lauscher Anne Goran consistently multidimensional we biased? Glavas ローシャー・アン・ゴランは 一貫して多次元の偏りを? 0.39
sis of biases in distributional word vectors. 分布型単語ベクトルにおけるバイアスのsis 0.77
*SEM@NAACL-HLT. ※SEM@NAACL-HLT 0.84
and Luke ZettleKenton Lee, Luheng He, Mike Lewis, coreference resoneural moyer. Luke ZettleKenton Lee, Luheng He, Mike Lewis, coreference resoneural moyer。 0.72
Conference on 2017 the lution. 2017年の第1回大会を開催。 0.53
Empirical Methods in Natural Language Processing, pages 188–197, Copenhagen, Denmark. Empirical Methods in Natural Language Processing, page 188–197, Copenhagen, Denmark. 0.96
Association for Computational Linguistics. Omer and Yoav Goldberg. 計算言語学会会員。 オマーとヨーフ・ゴールドバーグ。 0.48
Levy ularities in sparse In CoNLL. スパースにおけるLevi ularities in sparse CoNLL。 0.65
networks of the in Natural 1746–1751, Lin- 自然界の1746-1751のネットワーク、Lin- 0.65
Jimmy Lei Ba. optimization. ジミー・レイ・バ 最適化。 0.61
Linguistic regrepresentations. End-to-end Proceedings of 言語表現。 end‐to-end Proceedings 0.59
2014. explicit word 2014年 明示的な言葉 0.54
and stochastic Are analyIn 確率的に Are analyIn 0.60
Adam: Proc. Adam: Proc。 0.83
of 2015. ですから 2015. 0.69
In P. Kingma 院 P. Kingma 0.66
for 2017. ですから 2017. 0.70
In and and the 院 そして そして... 0.50
Trevor 56th Baldwin, 2018. トレバー56 2018年、ボールドウィン。 0.46
Cohn. Timothy Li, Yitong represenrobust and privacy-preserving text Towards Annual Meetof Proceedings In tations. Cohn Timothy Li, Yitong Reresenrobust and privacy-serving text towardss Annual Meetof Proceedings In tations 0.64
ing of the Association for Computational Linguistics Short Papers), pages 25–30. ing of the association for computational linguistics short papers)、25-30頁。 0.72
Association (Volume 2: for Computational Linguistics. 協会(第2巻):計算言語学。 0.69
Christopher Manand Socher, Richard Luong, Thang re2013. Christopher Manand Socher, Richard Luong, Thang re2013 0.82
ning. word representations Better with Proneural cursive for morphology. ナイン 単語表現 形態学のための Proneural cursive によるより良い表現 0.49
networks In the Seventeenth Conference on Computaceedings of Language tional Natural Learning, 104–113. 第17回言語教育自然学習会議(104-113)におけるネットワーク 0.73
pages for Computational Linguistics. 計算言語学のページ。 0.74
Association Chong, Lim Yao Thomas Alan W Black, Manzini, criminal to 2019. Association Chong, Lim Yao Thomas Alan W Black, Manzini, criminal to 2019 0.77
Tsvetkov. and is Black Yulia Detecting is caucasian as police: to and removing Proceedembeddings. Tsvetkov そしてブラック・ユリア・ディテクティング(Black Yulia Detecting)は警察としての白人である。 0.55
multiclass bias in word In the North American ings of the 2019 Conference of Chapter of the Association for LinComputational Volume Technologies, guistics: 1 Language Human (Long and Short Papers), pages 615–621, MinneapoComputationa l lis, Minnesota. 2019 conference of chapter of chapter of the association for lincomputational volume technologies, guistics: 1 language human (long and short papers), pages 615–621, minneapocomputationa l lis, minnesota (英語)
訳抜け防止モード: 英語) "In the North American ings of the 2019 Conference of Chapter of the Association for LinComputational Volume Technologies, 言語学 : 1言語人間(長文・短文) 615-621頁, MinneapoComputationa l lis , Minnesota 。
0.74
Association for Linguistics. Samuel R. Shikha Bordia, Chandler May, Alex Wang, On measurRudinger. 専門は言語学。 Samuel R. Shikha Bordia, Chandler May, Alex Wang, On measurRudinger 0.61
2019. Rachel and Bowman, Proceedsentence In encoders. 2019. Rachel and Bowman, Proceedsentence In Encoders 0.77
biases ing social in of the North American 2019 Conference the ings of Computational for Association the Chapter Linof guistics: Human Language Technologies, Volume 1 and (Long Short Papers), pages 622–628. The ings of Computational for Association the Chapter Linof guistics: Human Language Technologies, Volume 1 and (Long Short Papers), pages 622–628。
訳抜け防止モード: 北米2019年会議における社会のバイアス : 第1章リノフ言語学協会の計算の入力 : ヒューマン・ランゲージ・テクノロジー Volume 1 and ( Long Short Papers ) 622-628頁。
0.73
Association for Computational Linguistics. Ilya Sutskever, Kai Chen, Greg S CorTomas Mikolov, Jeff Dean. 計算言語学会会員。 Ilya Sutskever, Kai Chen, Greg S CorTomas Mikolov, Jeff Dean 0.63
and Distributed rado, representa2013a. そして、Distributed rado, representa2013a。 0.59
words of tions and compositionand their phrases In ality. 感情と構成の語と現実における句 0.58
C. C. Bottou, M. Welling, L. J. Burges, Adeditors, and K. Q. Weinberger, Z. Ghahramani, Systems Processing in Information Neural vances 26, pages 3111–3119. C. C. Bottou, M. Welling, L. J. Burges, Adeditors, K. Q. Weinberger, Z. Ghahramani, Systems Processing in Information Neural vances 26, 3111–3119。 0.91
Curran Associates, Inc. Geoffrey Tomas 2013b. Curran Associates, Inc. Geoffrey Tomas 2013b 0.89
continous word pages 751. Zweig. 連続語751ページ Zweig 0.47
Geoffrey Tomas continuous space 2013c. Geoffrey Tomas continuous space 2013c 0.79
the of 2013 word Chapter of the Conference Human Linguistics: Association Language 746–751, Atlanta, Georgia. 2013年の「人間言語学会議」の章:ジョージア州アトランタのアソシエーション言語746-751。 0.73
Association for Computational Linguistics. Jeffery Pennington, Richard Socher, and Christopher D. vectors Manning. 計算言語学会会員。 ジェフリー・ペニントン、リチャード・ソッチャー、クリストファー・d・ベクターズ・マニング。 0.53
representation. 1532–1543. 代表。 1532–1543. 0.65
Matthew E. Peters, Mark Neumann, Mohit Gardner, Lee, Zettlemoyer. マシュー・e・ピーターズ、マーク・ノイマン、モヒト・ガードナー、リー、ゼトルモイヤー。 0.61
2018. sentations. Yih, Wen-tau Mikolov, and in Linguistic regularities Proceedings representations. 2018年。 Yih, Wen-tau Mikolov, and in Linguistic regularities Proceedings representations。 0.71
In of the North American for Computational Technologies, pages in the North American for Computational Technologies, Page 0.75
Iyyer, Matt Luke and Deep contextualized word repre- Iyyer, Matt Luke and Deep contextualized word repre- 0.94
Christopher Clark, Kenton In Proc. クリストファー・クラーク - イギリスの俳優。 0.47
of NAACL-HLT. NAACL-HLTの略。 0.52
Yih, and regularities in In NAACL-HLT, NAACL-HLTにおけるYihと規則性 0.77
Mikolov, Wen-tau Linguistic representations. Mikolov, Wen-tau 言語表現。 0.80
2014. global In EMNLP, pages 2014年グローバルEMNLP、ページ 0.72
Zweig. space 746 – Zweig スペース746。 0.58
for word Glove: 言い換えると Glove: 0.70
英語(論文から抽出)日本語訳スコア
2 It B. Null 2 それ B。 null 0.76
Hila 2020. Goodenough. 2020年。 よかった。 0.50
1965. Commun. 1965. Commun 0.66
ACM, Elazar, Gonen, Michael Shauli Ravfogel, Yanai Goldberg. acm。 Elazar, Gonen, Michael Shauli Ravfogel, Yanai Goldberg 0.64
Twiton, Out: and Yoav Guarding Protected Attributes by Iterative Nullspace of ACL. Twiton, Out: and Yoav Guarding Protected Attributes by Iterative Nullspace of ACL 0.76
In Proc. Projection. and Herbert Rubenstein John Contextual correlates of synonymy. Proc。 投影。 ハーバート・ルベンシュタイン・ジョン・コンテクスト(Herbert Rubenstein John Contextual)は同義語である。 0.54
8(10):627–633. 8(10):627–633. 0.82
Jason Rachel Rudinger, Brian Naradowsky, Leonard, Van and Benjamin Gender Durme. Jason Rachel Rudinger、Brian Naradowsky、Leonard、Van、Benjamin Gender Durme。 0.75
2018. bias in the of 2018 Proceedings resolution. 2018年. 2018年の手続決議における偏見。 0.59
coreference In Chapter American of the Conference North of the Association for Computational Linguistics: Human Language Technologies, Volume 2 (Short Papers), pages 8–14. 中略 計算言語学会の北アメリカ支部第1章 人間の言語技術、巻2(短文)、ページ8-14。 0.57
Association for Computational Linguistics. testing analogy Natalie word The Schluter. 計算言語学会会員。 ナタリー語の"The Schluter"をテストする。 0.52
2018. Conference of the of 2018 Proceedings caveat. 2018. 2018年第1回大会を開催。 0.72
In for Association American Chapter the North the of Computational Linguistics: Human Language TechVolume nologies, (Short Papers), pages 242–246. for association american chapter the north the of computational linguistics: human language techvolume nologies, (short papers) 242-246頁。 0.72
Association for Computational Linguistics. Premkumar Natarajan, Chang, Kai-Wei Sheng, Emily woman worked The 2019. and Nanyun Peng. 計算言語学会会員。 Premkumar Natarajan, Chang, Kai-Wei Sheng, Emily woman worked The 2019, and Nanyun Peng 0.71
as in biases a babysitter: On language In generation. バイアスのようにベビーシッター: 言語の世代について。 0.62
Proceedings of the 2019 Conference on Empirical and Processing Language in Methods the Natural on Natural International Joint Conference 9th Language Processing (EMNLP-IJCNLP), pages 3405– 3410, Hong Kong, China. 2019 Conference on Empirical and Processing Language in Methods the Natural on Natural International Joint Conference 9th Language Processing (EMNLP-IJCNLP), page 3405–3410, Hong Kong, China 0.79
Association for Computational Linguistics. Srivastava, Nitish Krizhevsky, Ilya nov. 2014. 計算言語学会会員。 Srivastava, Nitish Krizhevsky, Ilya nov. 2014 0.67
Dropout: networks from 15:1929–1958. ドロップアウト:15:1929–1958のネットワーク。 0.62
Christopher Julien Tissier, 2017. クリストファー・ジュリアン・ティシエ、2017年。 0.39
Habrard. Dict2vec using beddings lexical 2017 Conference the ings of in Natural Language Copenhagen, Denmark. ハブラルド Dict2vec using beddings lexical 2017 Conference the ings of in Natural Language Copenhagen, Denmark 0.71
tional Linguistics. Hardmeier, Christian Vanmassenhove, Eva Andy right gender Way. 言語学者。 Hardmeier、Christian Vanmassenhove、Eva Andy right gender Way。 0.67
Getting 2018. neural machine in 2018 Conference In Proceedings of the translation. getting 2018. neural machine 2018 conference in proceedings of the translation(英語) 0.90
on Empirical Methods in Natural Language Processing, 3003–3008. 自然言語処理における経験的手法について, 3003-3008。 0.52
Association for Compupages tational Linguistics. Association for Compupages tational Linguistics(英語) 0.79
Jesse Vig. 2019. ジェシー・ヴィグ。 2019. 0.69
Visualizing Attention in TransformerBased Language Representation Models. トランスフォーマティブ言語表現モデルにおける注意の可視化 0.71
Koki Washio, Satoshi Sekine, and Tsuneaki Kato. 弘喜ワシオ、サトシ・セキネ、加藤経明。 0.52
2019. Bridging the defined and the defining: Exploiting implicit definition modeling. 2019. 定義と定義のブリッジ: 暗黙的な定義モデリングの爆発。 0.80
Amaury and Gravier, : word Learning emProceedIn dictionaries. Amaury and Gravier, : Word Learning emProceedIn Dictionary 0.65
on Empirical Methods Processing, pages 254–263, ComputaAssociation for 経験的方法の処理について 254–263, ComputaAssociation for 0.67
Geoffrey Alex E. Hinton, Salakhutdiand Sutskever, Ruslan neural prevent a simple way to Res., Learn. Geoffrey Alex E. Hinton, Salakhutdiand Sutskever, Ruslan Neural prevent a simple way to Res., Learn。 0.84
Mach. J. overfitting. Mach J.オーバーフィッティング。 0.55
lexical semantic In EMNLP/IJCNLP. lexical semantic in EMNLP/IJCNLP 0.92
relations and in 2017. feature 関係 そして イン 2017年版。 0.63
Martha Taylor, 2013. マーサ・テイラー、2013年。 0.52
Zihang Dai, Yulun Du, Neubig. Zihang Dai, Yulun Du, Neubig 0.67
adversarial and Eduard Hovy, Controllable invariance Proc. 敵 Eduard Hovy, Controllable Invariance Proc 0.55
of In learning. Mitchell Marcus, Ralph Weischedel, Palmer, Eduard Hovy, Sameer Pradhan, Lance Ramshaw, NiMichelle Ann anwen Jeff Xue, Kaufman, Franchini, 5.0 et al. 学習の場。 Mitchell Marcus, Ralph Weischedel, Palmer, Eduard Hovy, Sameer Pradhan, Lance Ramshaw, NiMichelle Ann anwen Jeff Xue, Kaufman, Franchini, 5.0 et al 0.74
Ontonotes release Linguistic Data Consortium, Philadelldc2013t19. onnotesは言語データコンソーシアム、philadelldc2013t19をリリース。 0.58
phia, PA, 23. phia, PA, 23。 0.81
Qizhe Xie, Graham through NIPS. Qizhe Xie, Graham, NIPS。 0.71
CotRyan Tianlu Wang, Zhao, Jieyu Mark terell, Vicente Ordonez, and Kai-Wei Chang. CotRyan Tianlu Wang, Zhao, Jieyu Mark terell, Vicente Ordonez, Kai-Wei Chang 0.74
2019. contextualized word Gender bias in embeddings. 2019年 - 埋め込みにおける文脈化語であるジェンダーバイアス。 0.50
In of Proceedings 2019 the Conference the of North Computafor of Chapter American Association the Technologies, tional Linguistics: Human Language Volume 1 (Long and Short Papers), pages 629–634, Minneapolis, Minnesota. The Conference of North Computafor of Chapter American Association the Technologies, tional Linguistics: Human Language Volume 1 (Long and Short Papers), page 629–634, Minneapolis (ミネソタ州ミネアポリス) 0.70
Association for Computational Linguistics. OrVicente Yatskar, Tianlu Wang, Mark Zhao, Jieyu like Men 2017. also and donez, Kai-Wei Chang. 計算言語学会会員。 OrVicente Yatskar, Tianlu Wang, Mark Zhao, Jieyu like Men 2017, donez, Kai-Wei Chang
訳抜け防止モード: 計算言語学会会員。 OrVicente Yatskar, Tianlu Wang, Mark Zhao, Jieyu like Men 2017 また、Dedz , Kai - Wei Chang も。
0.69
amplification using shopping: Reducing gender bias the 2017 In Proceedings of constraints. amplification using shopping: reduce gender bias the 2017 in proceedings of constraints (英語) 0.86
corpus-level on Conference Natural in Empirical Methods Language Copenhagen, 2941–2951, pages Denmark. corpus-level on Conference Natural in Empirical Methods Language Copenhagen, 2941–2951, page Denmark. 0.94
Association Linguisfor Computational tics. Association Linguiss for Computational tics (英語) 0.66
Vicente Yatskar, Jieyu OrTianlu Wang, Mark Zhao, Kai-Wei bias Gender 2018a. Vicente Yatskar, Jieyu OrTianlu Wang, Mark Zhao, Kai-Wei bias 2018a 0.77
and donez, Chang. そして、Chang。 0.40
debiasing and Evaluation in coreference resolution: the In Proceedings of 2018 Conference of methods. coreference resolution: the in proceedings of 2018 conference of methods におけるデバイアスと評価。 0.85
the North of for Association the American Chapter Computational Linguistics: Human Language Technologies, Volume 2 (Short Papers), pages 15–20. The North of for Association The American Chapter Computational Linguistics: Human Language Technologies, Volume 2 (Short Papers), page 15–20. 0.88
Association Jieyu Zhao, Yichao Zhou, Zeyu Li, Wei Wang, and KaiWei Chang. AssociationJEyu Zhao, Yichao Zhou, Zeyu Li, Wei Wang, KaiWei Chang 0.62
Learning Gender-Neutral Word Proc. ジェンダーニュートラル語 Proc の学習 0.68
Embeddings. 4847– 4853. 埋め込み。 4847– 4853. 0.72
Dengyong Lal, Learning NIPS. Dengyong Lal, Learning NIPS 0.66
Ran Zmigrod, Sebastian J. Mielke, Hanna Wallach, and Data Ryan Augmentation for Mitigating Gender Stereotypes in LanIn Proc. Ran Zmigrod, Sebastian J. Mielke, Hanna Wallach, Data Ryan Augmentation for Mitigating Gender Stereotypes in LanIn Proc 0.77
of ACL. guages with Rich Morphology. ACLの略。 Rich Morphology (複数形 Rich Morphologys) 0.66
Bousquet, Olivier Jason Weston, Bernhard and local and global Bousquet, Olivier Jason Weston, Bernhard, およびローカルおよびグローバル 0.87
Thomas Sch¨olkopf. トーマス・ショルコプ。 0.62
consistency. for Computational Linguistics. 一貫性。 計算言語学。 0.58
Navin 2003. In Zhou, with 2003年。 院 周と 0.50
Counterfactual 2018b. 反事実 2018年。 0.51
In Processing, EMNLP, 院 処理 EMNLP 0.44
Cotterell. 2019. Cotterell 2019. 0.68
Yatskar, of Yatskar ですから 0.47
pages ページ 0.68
                         ページの最初に戻る

翻訳にはFugu-Machine Translatorを利用しています。