論文の概要、ライセンス

# (参考訳) 分類的モジュラリティを用いた単語埋め込みの評価 [全文訳有]

Evaluating Word Embeddings with Categorical Modularity ( http://arxiv.org/abs/2106.00877v1 )

ライセンス: CC BY 4.0
S\'ilvia Casacuberta, Karina Halevy, Dami\'an E. Blasi(参考訳) 単語埋め込み品質を評価するために,新しい低リソース内在指標である分類的モジュラリティを導入する。 カテゴリーモジュラリティ(英: Categorical modularity)とは、ある固定された意味圏の集合から単語のベクトルを埋め込んだ$k$-nearest(英語版)近傍グラフに基づくグラフモジュラリティの計量である。 我々は29言語で59の神経生物学的に動機付けられた意味カテゴリーに属する500語のコアセットを使用し、言語ごとの3つの単語埋め込みモデル(FastText, MUSE, subs2vec)を分析した。 感情分析と単語類似性計算の単言語的タスク,およびバイリンガル語彙誘導の両言語間タスクにおいて,カテゴリー的モジュラリティと性能との間には,中程度の正の相関関係が認められた。 全体として、分類モジュラリティは、下流タスクのパフォーマンスに関する非自明な予測情報を提供し、セマンティック情報損失に関するメタ予測特性のモデルによる相関関係の分解も提案する。

We introduce categorical modularity, a novel low-resource intrinsic metric to evaluate word embedding quality. Categorical modularity is a graph modularity metric based on the $k$-nearest neighbor graph constructed with embedding vectors of words from a fixed set of semantic categories, in which the goal is to measure the proportion of words that have nearest neighbors within the same categories. We use a core set of 500 words belonging to 59 neurobiologically motivated semantic categories in 29 languages and analyze three word embedding models per language (FastText, MUSE, and subs2vec). We find moderate to strong positive correlations between categorical modularity and performance on the monolingual tasks of sentiment analysis and word similarity calculation and on the cross-lingual task of bilingual lexicon induction both to and from English. Overall, we suggest that categorical modularity provides non-trivial predictive information about downstream task performance, with breakdowns of correlations by model suggesting some meta-predictive properties about semantic information loss as well.
公開日: Wed, 2 Jun 2021 01:29:11 GMT

※ 翻訳結果を表に示しています。PDFがオリジナルの論文です。翻訳結果のライセンスはCC BY-SA 4.0です。詳細はトップページをご参照ください。

翻訳結果

    Page: /      
英語(論文から抽出)日本語訳スコア
Evaluating Word Embeddings with Categorical Modularity 分類的モジュラリティを用いた単語埋め込みの評価 0.52
1: Harvard University 3: HSE University 1:ハーバード大学 3HSE大学 0.63
S´ılvia Casacuberta1∗, Karina Halevy1∗, Dami´an E. Blasi1,2,3 {scasacubertapuig, khalevy}@college.harvard.edu S ́lvia Casacuberta1∗, Karina Halevy1∗, Dami ́an E. Blasi1,2,3 {scasacubertapuig, khalevy}@college.harvard.edu 0.60
2: MPI for Evolutionary Anthropology 進化人類学のためのMPI 0.63
dblasi@fas.harvard.e du dblasi@fas.harvard.e du 0.59
1 2 0 2 n u J 1 2 0 2 n u J 0.85
2 ] L C . s c [ 2 ]LC。 sc [ 0.60
1 v 7 7 8 0 0 1 v 7 7 8 0 0 0.85
. 6 0 1 2 : v i X r a . 6 0 1 2 : v i X r a 0.85
Abstract We introduce categorical modularity, a novel low-resource intrinsic metric to evaluate word embedding quality. 概要 単語埋め込み品質を評価するために,新しい低リソース内在指標である分類的モジュラリティを導入する。 0.53
Categorical modularity is a graph modularity metric based on the k-nearest neighbor graph constructed with embedding vectors of words from a fixed set of semantic categories, in which the goal is to measure the proportion of words that have nearest neighbors within the same categories. カテゴリー的モジュラリティ(英: Categorical modularity)とは、ある固定された意味圏の集合から単語のベクトルを埋め込んだk-ネアレスト近傍グラフに基づくグラフモジュラリティ計量であり、その目標は、同じカテゴリ内で最も近い隣り合う単語の比率を測定することである。 0.76
We use a core set of 500 words belonging to 59 neurobiologically motivated semantic categories in 29 languages and analyze three word embedding models per language (FastText, MUSE, and subs2vec). 我々は29言語で59の神経生物学的に動機付けられた意味カテゴリーに属する500語のコアセットを使用し、言語ごとの3つの単語埋め込みモデル(FastText, MUSE, subs2vec)を分析した。 0.64
We find moderate to strong positive correlations between categorical modularity and performance on the monolingual tasks of sentiment analysis and word similarity calculation and on the cross-lingual task of bilingual lexicon induction both to and from English. 感情分析と単語類似性計算の単言語的タスク,およびバイリンガル語彙誘導の両言語間タスクにおいて,カテゴリー的モジュラリティと性能との間には,中程度の正の相関関係が認められた。 0.76
Overall, we suggest that categorical modularity provides non-trivial predictive information about downstream task performance, with breakdowns of correlations by model suggesting some meta-predictive properties about semantic information loss as well. 全体として、分類モジュラリティは、下流タスクのパフォーマンスに関する非自明な予測情報を提供し、セマンティック情報損失に関するメタ予測特性のモデルによる相関関係の分解も提案する。 0.76
Introduction 1 Word embeddings represent words and phrases in continuous low-dimensional vector spaces. はじめに 1ワード埋め込みは連続した低次元ベクトル空間における単語とフレーズを表す。 0.61
They are usually trained with neural language models or word collocations (Bengio et al , 2003; Collobert and Weston, 2008; Mikolov et al , 2013b; Levy et al., 2015), such that similar assignments in a space reflect similar usage patterns. それらは通常、ニューラルネットワークモデルや単語のコロケーション(Bengio et al , 2003; Collobert and Weston, 2008; Mikolov et al , 2013b; Levy et al., 2015)で訓練される。
訳抜け防止モード: 彼らは通常、ニューラルネットワークモデルや単語のコロケーションで訓練されている(Bengio et al, 2003 ; Collobert and Weston, 2008 ; Mikolov et al, 2013b ; Levy et al , 2015 )。 空間における同様の割り当ては、同様の使用パターンを反映します。
0.81
The rise of monolingual embeddings such as Word2Vec (Mikolov et al , 2013b), GloVe (Pennington et al , 2014), and FastText (Bojanowski et al , 2017), coupled with the need to transfer lexical knowledge across languages, has also led to the development of crosslingual word embeddings, in which different lan- Word2Vec (Mikolov et al , 2013b)、GloVe (Pennington et al , 2014)、FastText (Bojanowski et al , 2017)のようなモノリンガルな埋め込みの台頭は、言語間の語彙的知識の伝達の必要性と相まって、言語間での言語間埋め込みの開発にも繋がった。 0.73
∗Equal contribution guages share a single distributed representation and are mapped into the same vector space. ∗平等貢献 guagesは単一の分散表現を共有し、同じベクトル空間にマッピングされる。 0.76
Such methods use different bilingual supervision signals (at the level of words, sentences, or documents) with varying levels of strength (Ruder et al , 2019). このような方法は、さまざまな強さのレベル(ruder et al , 2019)を持つ異なるバイリンガルの監督信号(単語、文、文書のレベル)を使用する。 0.69
A central task in the study of word embeddings is finding metrics to evaluate their quality. 単語埋め込みの研究における中心的な課題は、その品質を評価するメトリクスを見つけることである。 0.64
These metrics can either be extrinsic, where embeddings are used as input features for downstream NLP tasks and evaluated on their performance, or intrinsic, where embeddings are directly tested for how well they capture syntactic or semantic properties in their own right (Qiu et al , 2018). これらのメトリクスは、下流のNLPタスクの入力機能として組み込みを使用し、パフォーマンスを評価したり、組み込みを直接テストして、構文的あるいはセマンティックなプロパティを適切にキャプチャする方法(Qiu et al , 2018)で使用することができる。 0.73
Extrinsic methods are not always feasible for low-resource languages due to a lack of annotated data. 外部メソッドは、アノテーション付きデータがないため、低リソース言語では必ずしも実現できない。 0.60
Moreover, downstream model components can be finetuned to achieve higher performance on certain tasks without necessarily indicating improvement in the semantic representation of words in an embedding space (Leszczynski et al , 2020). さらに、下流モデルコンポーネントは、埋め込み空間における単語の意味表現の改善を必ずしも示さずに、特定のタスクでより高いパフォーマンスを達成するように微調整することができる(leszczynski et al , 2020)。
訳抜け防止モード: さらに、下流モデルコンポーネントを微調整できる あるタスクにおいてより高いパフォーマンスを達成する 埋め込み空間における単語の意味表現の改善を必ずしも示さない(Leszczynski et al, 2020)。
0.82
This paper presents categorical modularity, a low-resource intrinsic evaluation metric for both monolingual and cross-lingual word embeddings based on the notion of graph modularity. 本稿では,グラフのモジュラリティの概念に基づく単言語および言語間単語埋め込みの低リソース固有の評価指標である分類モジュラリティについて述べる。 0.75
The underlying principle is that in good embeddings, words in the same semantic category should be closer to each other than to words in different categories. 基礎となる原則は、良い埋め込みでは、同じ意味カテゴリーの単語は、異なるカテゴリの単語よりも互いに近付くべきであるということである。 0.74
We quantify this by building the k-nearest neighbor graph with a fixed set of words’ semantic categories and computing the graph’s modularity for a given embedding space. 我々は、k-辺グラフを単語の意味圏の固定セットで構築し、与えられた埋め込み空間に対するグラフのモジュラリティを計算することによって、これを定量化する。
訳抜け防止モード: 我々は、k-近傍グラフを単語の固定セットで構築することでこれを定量化する。 そして、所定の埋め込み空間に対するグラフのモジュラリティを計算する。
0.73
Modularity measures the strength of division of a graph with densely connected groups of vertices, with sparser connections between groups (Newman, 2006). モジュラリティは、頂点の密結合群を持つグラフの分割の強さを測定し、群間のスパーザー接続を測定する(newman, 2006)。 0.78
We source our semantic categories from Binder et al (2016). 我々はBinder et al (2016)からセマンティックカテゴリを抽出した。 0.62
In contrast to other semantic and ontological categories in the literature, these have been motivated by a set of experiential attributes with neurobiological consistency, covering sensory, motor, spatial, temporal, affective, social, and cog- 文献における他の意味論的・オントロジ的カテゴリーとは対照的に、これらは感覚、運動、空間的、時間的、感情的、社会的、およびコーグをカバーする、神経生物学的一貫性を持つ経験的属性のセットによって動機づけられている。
訳抜け防止モード: 文学における他の意味的・存在論的カテゴリーとは対照的である。 これらは神経生物学的に整合した 経験的特性によって動機付けられています 感覚、運動、空間、時間、情緒、社会的、コグ
0.57
英語(論文から抽出)日本語訳スコア
nitive dimensions. We refer to these attributes collectively as Binder categories. ニッション次元。 これらの属性をまとめて Binder カテゴリと呼ぶ。 0.69
The resulting dataset consists of 500 English words, each labeled with three categories at three levels of semantic granularity. その結果得られたデータセットは、500の英語単語からなり、それぞれ3つのカテゴリを意味的な粒度でラベル付けする。 0.59
For example, the word chair belongs to Concrete Objects (Level 1), Artifacts (Level 2), and Furniture (Level 3). 例えば、チェアという言葉は、具体的なオブジェクト(レベル1)、アーティファクト(レベル2)、家具(レベル3)に属します。 0.73
442 words are pulled from Binder, on top of which we add a few words to even out distributions of categories and replace a few English-specific words with words that are more easily translated to non-English languages. 442の単語がbinderから引き出され、その上にカテゴリの分布にいくつかの単語を追加し、いくつかの英語固有の単語を非英語言語に翻訳しやすい単語に置き換えます。 0.77
We then translate these 500 English words into 28 more languages, selected based on their availability in the form of pre-trained vectors from the MUSE library (Conneau et al , 2018). 次に、これらの500の英単語を28の言語に翻訳し、MUSEライブラリ(Conneau et al , 2018)からの事前学習ベクターの形式に基づいて選択する。 0.77
We produce 300-dimensional embeddings for these words using three popular embedding models: the monolingual FastText (Bojanowski et al , 2017) and subs2vec (Paridon and Thompson, 2020) models and the cross-lingual MUSE (Conneau et al , 2018) model. 3つの一般的な埋め込みモデルである単言語fasttext (bojanowski et al , 2017) とsubs2vec (paridon and thompson, 2020) モデルとクロスリンガルmuse (conneau et al , 2018)モデルを用いて,300次元埋め込みを生成する。 0.77
Using these embeddings, we obtain the nearest-neighbor sets among the 500 words within each (language, model) pair and use those relationships to calculate a modularity score for the pair. これらの埋め込みを用いて、各(言語、モデル)ペア内の500語のうち最寄りの集合を取得し、それらの関係を利用してペアのモジュラリティスコアを計算する。 0.71
We compare modularity scores to performance on three downstream tasks: sentiment analysis (monolingual classification), word similarity (monolingual regression), and word-level bilingual lexicon induction (BLI, cross-lingual regression) both to and from English. モジュール性スコアを,感情分析(単言語分類),単語類似度(単言語回帰),単語レベルの二言語間回帰(bli,クロス言語回帰)の3つの下流タスクにおけるパフォーマンスと比較した。 0.79
We obtain moderate to strong positive correlations on all three tasks, with slightly stronger results on the monolingual tasks. 3つのタスクすべてにおいて中程度から強い正の相関関係を示し,単言語的タスクではわずかに強い結果を得た。 0.57
We also provide an analysis of correlations broken down by individual model and explore potential metapredictive properties of categorical modularity. また,個別モデルによって分解された相関の解析を行い,分類的モジュラリティの潜在的メタ予測特性について検討する。 0.65
We further show that estimating modularity on Binder categories yields relevant information that cannot simply be derived from naturally occurring distributions of word clusters in embedding spaces. さらに,Binder カテゴリのモジュラリティを推定すると,埋め込み空間における単語クラスタの自然分布から簡単には導出できない関連情報が得られることを示す。 0.80
We show this by replicating all three downstream task correlation analyses with modularity scores based on clusters obtained with unsupervised community detection methods (Clauset et al , 2004), which we henceforth refer to as unsupervised clusters. 本研究は,非教師付きコミュニティ検出手法を用いて得られたクラスタ(Clauset et al , 2004)に基づいて,3つの下流タスク相関解析をモジュラリティスコアで再現し,これを非教師付きクラスタと呼ぶ。 0.71
After establishing the utility of categorical modularity, we show some of its use cases for comparing and selecting models for specific NLP problems, and we discuss preliminary results about the individual categories we find to be most predictive of downstream task performance. 分類的モジュラリティの実用性を確立した後、特定のNLP問題に対するモデルの比較と選択のユースケースをいくつか紹介し、下流タスクのパフォーマンスを最も予測可能な個々のカテゴリに関する予備的な結果について議論する。 0.82
Our code and data are available to the public.1 私たちのコードとデータは公開されています。 0.56
2 Related Work 2.1 Word Embedding Evaluation Metrics While word embeddings have become crucial tools in NLP, there is still little consensus on how to best evaluate them. 2 関連作業 2.1 Word Embedding Evaluation Metrics ワード埋め込みは NLP において重要なツールとなっているが、その評価方法に関してはまだ合意が得られていない。 0.76
Evaluation methods commonly fall into two categories: those motivated by an extrinsic downstream task and those motivated by the intrinsic study of the nature of semantics and the cognitive sciences (Bakarov, 2018). 評価方法は通常、外在的な下流課題によって動機付けられたものと、意味論と認知科学の本質的な研究によって動機付けられたもの(Bakarov, 2018)の2つのカテゴリに分類される。 0.64
Intrinsic and extrinsic metrics do not always align, as some models have high quality as suggested by intrinsic scores but low extrinsic performance, and vice versa (Schnabel et al , 2015; Glavaˇs et al , 2019). 内在的および外在的メトリクスは必ずしも一致しないが、いくつかのモデルは内在的スコアによって示唆されるように高品質であるが、外在的パフォーマンスは低い(schnabel et al , 2015; glavas et al , 2019)。 0.67
Some commonly used methods of extrinsic evaluation include named entity recognition (Collobert et al , 2011) —including the datasets CoNLL-2002 and CoNLL-2003 (Tjong Kim Sang and De Meulder, 2003)—, sentiment analysis (Schnabel et al , 2015), semantic role labeling, and part-of-speech tagging (Collobert et al , 2011). 例として、名前付きエンティティ認識(Collobert et al , 2011)、データセットのCoNLL-2002とCoNLL-2003(Tjong Kim Sang and De Meulder, 2003)、感情分析(Schnabel et al , 2015)、意味的役割ラベル付け(Collobert et al , 2011)などがある。 0.69
Intrinsic evaluation methods include word semantic similarity (Baroni et al , 2014), concept categorization (Baroni et al , 2014), and experiments on neural activation patterns (Søgaard, 2016). 内在的評価手法には、単語意味的類似性(Baroni et al , 2014)、概念分類(Baroni et al , 2014)、神経活性化パターンの実験(Søgaard, 2016)などがある。 0.85
Our categorical modularity metric is inspired by Fujinuma et al (2019). 我々の分類モジュラリティ指標は Fujinuma et al (2019) にインスパイアされている。 0.70
They study the modularity of cross-lingual embeddings based on the premise that different languages are well-mixed in good cross-lingual embeddings and thus have low modularity with respect to language. 彼らは言語間埋め込みのモジュラリティを、異なる言語が優れた言語間埋め込みで十分に混合されているという前提に基づいて研究している。 0.71
Our metric improves upon the modularity proposed in Fujinuma et al (2019) by overcoming the problem caused by low modularity potentially occurring with a purely random distribution of word vectors and being mistaken for high embedding quality, as it is unlikely for a random distribution to coincidentally have highly modular clusters corresponding to Binder categories. 提案手法は,純粋にランダムな単語ベクトル分布で発生する低モジュラリティの問題と,バインダー圏に対応する高度にモジュール化されたクラスタを偶然に持つことができないため,高埋め込み品質と誤認されることを克服することで,富士沼ら (2019) で提案されたモジュール性を改善した。 0.80
Moreover, our metric is able to evaluate both monolingual and cross-lingual word embeddings and allow for comparisons between these types of embeddings (e g , FastText and MUSE), and it incorporates cognitive information through the use of brain-based semantic categories. さらに,本尺度は,単言語とクロス言語の両方の単語埋め込みを評価し,これらの種類の埋め込み(fasttextやmuseなど)の比較を可能にし,脳に基づく意味カテゴリーを用いて認知情報を取り込む。 0.87
2.2 Cognitive Approaches to NLP Recent work on word embeddings has explored the connections between NLP word representations 2.2 NLPへの認知的アプローチ 単語埋め込みに関する最近の研究は、NLP単語表現の関連について検討している。 0.59
1https://github.com/ enscma2/ 1https://github.com/ enscma2/ 0.36
categorical-modulari ty categorical‐modularity 0.58
英語(論文から抽出)日本語訳スコア
and cognitively grounded representations of words. 認知的に根ざした言葉の表現です 0.58
Such connections enrich both computational and neuroscientific research: external cognitive signals can enhance the capacity of artificial neural networks to understand language, while language processing in neural networks can shed light on how the human brain stores, categorizes, and processes words (Muttenthaler et al , 2020). 外部認知信号は、言語を理解するための人工ニューラルネットワークの能力を高めることができる一方、ニューラルネットワークの言語処理は、人間の脳がどのように単語を保存、分類、処理するかを光を当てることができる(Muttenthaler et al , 2020)。 0.74
Cognitive approaches to lexical semantics propose a model in which words are defined by how they are organized in the brain (Lakoff, 1988). 語彙意味論への認知的アプローチは、単語が脳内でどのように組織化されるかによって定義されるモデルを提案する(lakoff, 1988)。
訳抜け防止モード: 語彙意味論への認知的アプローチ 単語は脳内でどのように組織化されるかによって定義される(lakoff, 1988)。
0.84
Based on this premise, Hollenstein et al (2019) propose CogniVal, a framework for word embedding evaluation with cognitive language processing data. この前提に基づいてHollenstein et al (2019)は、認知言語処理データを用いた単語埋め込み評価のためのフレームワークであるCogniValを提案する。 0.80
They evaluate six different word embeddings against a combination of 15 cognitive data sources acquired via eye-tracking, electroencephalograp hy (EEG), and functional magnetic resonance imaging (fMRI). 彼らは、視線追跡、脳波(EEG)、機能的磁気共鳴画像(fMRI)によって得られた15の認知データソースの組み合わせに対して、6つの異なる単語埋め込みを評価した。
訳抜け防止モード: 彼らは6つの単語の埋め込みを評価し、15の認知データソースの組み合わせを追跡する。 脳電図(脳波)と機能的磁気共鳴画像(fmri)
0.76
In a similar line of work, both Søgaard (2016) and Beinborn et al (2019) evaluate word embeddings using fMRI datasets. 同様の研究で、Søgaard (2016) と Beinborn et al (2019) は、fMRIデータセットを用いて単語の埋め込みを評価する。 0.74
The use of cognitive data in NLP goes well beyond the evaluation of word embeddings. NLPにおける認知データの利用は、単語の埋め込みの評価を超える。 0.76
Utsumi (2020) uses the neurosemantically inspired categories from Binder et al (2016) to identify the knowledge encoded in word vectors. Utsumi (2020) は、Binder et al (2016) の神経文的にインスピレーションを受けたカテゴリーを用いて、ワードベクトルで符号化された知識を識別する。
訳抜け防止モード: Utsumi (2020 )はBinder et al (2016 )のニューロセマンティックなカテゴリーを使っている 単語ベクトルにエンコードされた知識を識別するのです
0.72
Among other conclusions, they find that the prediction accuracy of cognitive and social information is higher than that of perceptual and spatiotemporal information. その結果,認知的・社会的情報の予測精度は知覚的・時空間的情報の予測精度よりも高いことがわかった。 0.66
3 Modularity and k-NN Graphs 3 モジュラリティとk-NNグラフ 0.74
The concept of modularity has origins in the field of network science, as first introduced by Newman (Newman, 2006). モジュラリティの概念はNewman (Newman, 2006)によって初めて導入されたネットワーク科学の分野に起源がある。 0.81
The goal of the modularity measure is to quantify the strength of the division of a network into clusters. モジュラリティ尺度の目標は、ネットワークのクラスタへの分割の強さを定量化することである。 0.83
Usually, such networks are represented with graphs. 通常、そのようなネットワークはグラフで表される。 0.77
Intuitively, the modularity of a graph measures the difference between the fraction of edges in the graph that connect two nodes of the same category and the expected corresponding fraction if the graph’s edges were distributed at random. 直感的には、グラフのモジュラリティは、グラフのエッジがランダムに分散された場合、同じカテゴリの2つのノードを接続するグラフのエッジの分数と期待される対応する分数との差を測定する。 0.80
Thus, the higher the proportion of edges between nodes that belong to the same category, the higher the modularity. したがって、同じカテゴリに属するノード間のエッジの割合が高くなるほど、モジュラリティが高くなる。
訳抜け防止モード: したがって、同じカテゴリに属するノード間のエッジの割合が高くなるほど高い。 モジュール性が高いほど。
0.66
In our case, we construct the pertinent graph with the k-nearest neighbors algorithm. この場合、k-nearest neighborsアルゴリズムを用いて関連するグラフを構築する。 0.80
Given a set Sw of N words and a set Sc of categories such that each of the N words belongs to exactly one of the categories in Sc, we map each of the N words into a d-dimensional word embedding vector space and obtain a d-dimensional vector for each word. n 個の単語のセット sw とカテゴリのセット sc が与えられると、各 n 個の単語が sc 内のカテゴリのちょうど 1 つに属するように、各 n 個の単語を d-次元ワード埋め込みベクトル空間に写像し、各単語に対する d-次元ベクトルを得る。 0.79
For each pair (wi, wj), where wi, wj ∈ Sw and 1 ≤ i, j ≤ |Sw|, with corresponding d-dimensional vectors vi and vj, we compute their cosine similarity (the cosine of the angle between them), which we denote by similarity(i, j). 各ペア (wi, wj) に対して、wi, wj ∈ Sw と 1 ≤ i, j ≤ |Sw| と対応する d-次元ベクトル vi と vj は、それらのコサイン類似性(それらの間の角度のコサイン)を計算する。
訳抜け防止モード: 各ペア (wi, wj ) に対して wi, wj ∈ Sw と 1 ≤ i, j ≤ |Sw|, 対応する d-次元ベクトル vi と vj を用いて、それらのコサイン類似性(それらの間の角度のコサイン)を計算する。 類似性 (i, j) で表す。
0.87
We create a matrix MD of dimensions |Sw| × |Sw|, where entry (MD)i,j is similarity(i, j). 次元 |sw| × |sw| の行列 md を作成し、エントリ (md)i,j は類似性(i, j) である。 0.82
For a given k ∈ Z>0, we build the |Sw| × |Sw| k-nearest neighbor matrix (denoted k-NNM) as follows: entry (i, j) of k-NNM is equal to 1 if and only if word j is one of the k nearest neighbors of word i (i.e., if similarity(i, j) is among the k largest cosine similarities between i and all other words in Sw). 与えられた k ∈ Z>0 に対して、|Sw| × |Sw| k-nearest 近傍行列 (k-NNM) は次のように構成される: k-NNM のエントリ (i, j) が 1 に等しいのは、単語 j が単語 i の k に近い隣人であるときである(すなわち、類似性(i, j) が i と Sw の他のすべての単語の k 最大の余弦的類似性である場合)。 0.78
We note that MD and k-NNM are not necessarily symmetric, as word i being the k-th nearest neighbor of word j does not imply the reverse. 我々は、md と k-nnm は必ずしも対称ではないことに注意する。
訳抜け防止モード: MD と k - NNM は必ずしも対称ではない。 iがkであるように、jが隣人であるということは逆を意味するものではない。
0.67
Finally, we define the k-NN graph of Sw as the graph defined by k-NNM viewed as an adjacency matrix. 最後に、Swのk-NNグラフを、隣接行列と見なされるk-NNMで定義されるグラフとして定義する。 0.64
We can now describe how to compute the modularity score following the schema in Fujinuma et al (2019). fujinuma et al (2019) のスキーマに従ってモジュラリティスコアを計算する方法が記述できるようになった。 0.64
Let di denote the degree of node i, that is, di = j(k-NNM)i,j, and let gi denote the category of word i. di をノード i の次数、すなわち di = j(k-NNM)i,j とし、gi を単語 i の圏とする。 0.63
For each category c ∈ Sc, the expected number of edges within c is 各圏 c ∈ Sc について、c 内の辺の期待数は、 0.69
(cid:80) ac = (cid:80) ac = 0.82
1 2m (cid:88) 1-2m (cid:88) 0.68
i di I[gi = c], 私は di I[gi = c], 0.64
(1) where m is the total number of edges in the k-NN graph and I is the indicator function that evaluates to 1 if the argument is true and to 0 otherwise. (1) ここで m は k-NN グラフの辺の総数であり、I は引数が真で 0 でない場合は 1 に評価する指標関数である。 0.81
The fraction of edges ec that connect words of 単語を接続する辺の分数ec 0.50
the same semantic category c is (k-NNM)i,j I[gi = c] I[gj = c]. 同じ意味圏cは (k-NNM)i,j I[gi = c] I[gj = c] 0.67
(2) By weighting the |Sc| different semantic categories together, we calculate the overall modularity Q as follows: 2) |Sc| の異なる意味圏を重み付けすることで、次のように全体モジュラリティ Q を計算する。 0.64
(cid:88) i,j (cid:88) i.j. 0.78
ec = 1 2m |Sc|(cid:88) ec = 1-2m |Sc|(cid:88) 0.69
c=1 Q = (ec − a2 c). c=1。 Q = (ec − a2c)。 0.71
(3) Finally, we normalize Q by setting (3) 最後に q を正規化します 0.76
Qmax = 1 − N(cid:88) Qmax = 1 − N(cid:88) 0.96
c=1 a2 c, Qnorm = c=1。 a2 c, qnorm = 0.69
Q Qmax . (4) Q Qmax . (4) 0.85
In our setting, Qnorm indicates the modularity score of one (language, model) pair overall, but 我々の設定では、Qnormは1つの(言語、モデル)ペア全体のモジュラリティスコアを示しているが、 0.66
英語(論文から抽出)日本語訳スコア
(a) A high-modularity semantic k-NN graph. (a)高モジュラリティ意味k-nnグラフ。 0.74
(b) A low-modularity semantic k-NN graph. (b)低モジュラリティ意味k-nnグラフ。 0.75
Figure 1: A toy visualization of the meaning of categorical modularity with some words pertaining to the Binder categories Body Parts (purple ovals), Plants (peach rectangles), and Emotions (green rhombi). 図1: バインダーのボディパーツ(複数の楕円形)、植物(各長方形)、感情(緑のロンビ)を分類した、カテゴリのモジュラリティの意味を可視化するおもちゃ。 0.69
Dotted edges connect nodes of different categories, while solid edges connect nodes of the same category. ドットエッジは異なるカテゴリのノードを接続し、固体エッジは同じカテゴリのノードを接続する。 0.81
we denote by Qc the modularity of said (language, model) pair with respect to category c ∈ Sc. 我々は Qc によって、圏 c ∈ Sc に対してその(言語、モデル)対のモジュラリティを表す。 0.76
The definition of Qc (normalized) is deduced from Equation 4: Qc(正規化)の定義は方程式 4 から導かれる。 0.81
Qc = . (5) Qc = . (5) 0.85
ec − a2 c Qmax ec − a2 c Qmax 0.99
A higher value of Qnorm indicates that a higher number of words that belong to the same categories appear connected in the k-NN graph. Qnormの値が高いことは、同じカテゴリに属する単語の数がk-NNグラフに関連していることを示している。 0.72
In Sections 5 and 6, we analyze the values Qnorm for each of the languages, and in Section 8, we make some observations about the different values of Qc. 第5節と第6節では各言語のQnormを解析し,第8節ではQcの異なる値についていくつかの観察を行った。 0.75
In our conclusions about how our categorical modularity scores correlate with downstream task performance, we also want to prove that our selected neurosemantic-based categories are nontrivial and are better predictors than the unsupervised clusters that emerge from the embeddings. 我々の分類的モジュラリティスコアが下流タスクのパフォーマンスとどのように相関するかについての結論では、我々の選択したニューロセマンティックなカテゴリーが非自明であり、埋め込みから生じる教師なしクラスタよりも優れた予測因子であることを証明したい。 0.63
To find these clusters, we use the Clauset-NewmanMoore greedy modularity method (Clauset et al , 2004). これらのクラスターを見つけるには、cludest-newmanmoore greedy modular method (clauset et al , 2004) を用いる。 0.78
This algorithm iteratively joins the pair of communities that most increases modularity until no such pair exists. このアルゴリズムは反復的にコミュニティのペアに加わり、そのようなペアが存在しないまでモジュラリティを増加させる。 0.58
For each value of k, we obtain the unsupervised communities in this manner and compute their modularity scores. k の各値について、この方法で教師なしのコミュニティを取得し、そのモジュラリティスコアを計算する。 0.54
In Section 6, we show that Binder categories are significantly better predictors than the unsupervised clusters using the same set of 500 words. 第6節では,500単語の同じ集合を用いた教師なしクラスタよりも,Binderカテゴリの方がはるかに優れた予測因子であることが示されている。
訳抜け防止モード: 第6節では バインダーカテゴリは、同じ500ワードのセットを使用して教師なしクラスタよりもはるかに優れた予測子である。
0.62
4 Dataset In this section, we define the sets SN and Sc of words and their semantic categories, respectively, that we use to compute categorical modularity scores for 29 languages.2 As outlined in Section 1, our motivation to take a cognitive approach in the study of word embeddings prompts us to use words and categories that reflect a brain-based computational model of semantic representation as in Binder et al (2016). 4データセット 本稿では,単語の集合 SN と Sc とそれらの意味圏を定義し,29言語に対する分類的モジュラリティスコアを計算する。第1節で概説されているように,単語埋め込みの研究において認知的アプローチをとる動機は,Binder et al (2016)のように,脳による意味表現の計算モデルに反映した単語やカテゴリの使用を促す。 0.80
We have 500 words (comprised of nouns, adjectives, and verbs) with 3 levels of categories, from most general (Level 1) to most specific (Level 3). 我々は500の単語(名詞、形容詞、動詞からなる)を持ち、最も一般的な(レベル1)から最も具体的な(レベル3)までの3つのカテゴリを持つ。 0.82
Each word is tagged with 3 categories (one per level), which are listed in Table 1. 各単語は3つのカテゴリ(レベル1)でタグ付けされ、表1に記載されている。 0.78
After lifting 442 English words from Binder and adjusting the word set to optimize evenness of distribution across categories and translatability of concepts across languages, we manually translate the words to the 28 non-English languages3 mentioned in footnote 2. バインダーから442の英語単語を持ち上げ、単語セットを調整して、カテゴリ間の分布の偶性と言語間の概念の翻訳性を最適化した後、脚注2で述べた28の非英語言語3に手作業で翻訳する。 0.68
Level 1. Concrete Objects, Concrete Events, Abstract Entities, Concrete Actions, Abstract Actions, States, Abstract Properties, Physical Properties. レベル1。 コンクリート, コンクリートイベント, 抽象エンティティ, コンクリートアクション, 抽象アクション, 国家, 抽象特性, 物性 0.66
Level 2. Living Things, Other Natural Objects, Artifacts, Social Events, Nonverbal Sound Events, Weather Events, Miscellaneous, Concrete Events, Abstract Constructs, Cognitive Entities, Emotions, Social Constructs, Time Periods, Body Actions, Locative Change Actions, Social Actions, Miscellaneous Actions, Abstract Actions, States, Abstract Properties, Physical Properties. レベル2。 生活物、その他の自然物、人工物、社会イベント、非言語的な音イベント、気象イベント、雑多な出来事、抽象的なイベント、認知的エンティティ、感情、社会的構成物、時間的活動、身体的行動、ロッキートな変化行動、社会行動、雑多な行動、抽象的な行動、状態、抽象的性質、物性。 0.67
Level 3. Animals, Body Parts, Humans, Human Groups, Plants, Natural Scenes, Miscellaneous Natural Objects, Furniture, Hand Tools, Manufactured Foods, Musical Instruments, Places/Buildings, Vehicles, Miscellaneous Artifacts, Social Events, Nonverbal Sound Events, Weather, Events, Miscellaneous Concrete Events, Abstract Constructs, Cognitive Entities, Emotions, Social Constructs, Time Periods, Body Actions, Locative Change Actions, Social Actions, Miscellaneous Actions, Abstract Actions, States, Abstract Properties, Physical Properties. レベル3。 Animals, Body Parts, Humans, Human Groups, Plants, Natural Scenes, Miscellaneous Natural Objects, Furniture, Hand Tools, Manufactured Foods, Musical Instruments, Places/Buildings, Vehicles, Miscellaneous Artifacts, Social Events, Nonverbal Sound Events, Weather, Events, Miscellaneous Concrete Events, Abstract Constructs, Cognitive Entities, Emotions, Social Constructs, Time Periods, Body Actions, Locative Change Actions, Social Actions, Miscellaneous Actions, Abstract Actions, States, Abstract Properties, Physical Properties. 0.80
Table 1: Three levels of Binder categories. 表1:Binderカテゴリの3つのレベル。 0.82
2The 29 languages are: Arabic, Bulgarian, Catalan, Croatian, Czech, Danish, Dutch, English, Estonian, Finnish, French, Greek, Hebrew, Hungarian, Indonesian, Italian, Macedonian, Norwegian, Polish, Portuguese, Romanian, Russian, Slovak, Slovenian, Spanish, Swedish, Turkish, Ukrainian, and Vietnamese. アラビア語、ブルガリア語、カタルーニャ語、クロアチア語、チェコ語、デンマーク語、オランダ語、英語、エストニア語、フィンランド語、フランス語、ギリシア語、ヘブライ語、ハンガリー語、インドネシア語、イタリア語、マケドニア語、ノルウェー語、ポーランド語、ポルトガル語、ルーマニア語、ロシア語、スロバキア語、スロベニア語、スペイン語、スウェーデン語、トルコ語、ウクライナ語、ベトナム語。
訳抜け防止モード: 229言語:アラビア語、ブルガリア語、カタルーニャ語、クロアチア語 チェコ語、デンマーク語、オランダ語、英語、エストニア語、フィンランド語 フランス語、ギリシャ語、ヘブライ語、ハンガリー語、インドネシア語、イタリア語 マケドニア語、ノルウェー語、ポーランド語、ポルトガル語、ルーマニア語、ロシア語 スロバキア、スロベニア、スペイン、スウェーデン、トルコ、ウクライナ ベトナム人。
0.62
3For languages with which we were not familiar, we solicited translations from colleagues, whom we compensated fairly for this work. 3 慣れ親しんでいない言語について、私たちは同僚からの翻訳を依頼しました。 0.52
英語(論文から抽出)日本語訳スコア
5 General Categorical Modularity 5つの一般分類モジュラリティ 0.64
With the dataset of 500 words that belong to three levels of semantic categories, we compute the modularity scores of each of the 29 languages for each of the three word embedding models (which we refer to as 87 (language, model) pairs): FastText,4 MUSE,5 and subs2vec.6 We briefly summarize the properties of each of these embeddings. 3つの意味カテゴリーに属する500語のデータセットを用いて、3つの単語埋め込みモデル(87(言語、モデル)ペア)のそれぞれについて、各29言語のモジュラリティスコアを計算します。 fasttext,4 muse,5,subs2vec.6 これらの埋め込みのプロパティを簡単に要約します。 0.74
FastText. Monolingual embeddings for 157 languages trained on Common Crawl and Wikipedia that use CBOW with position-weights and character n-grams (Bojanowski et al , 2017). FastText。 Common Crawl と Wikipedia でトレーニングされた157言語に対するモノリンガルな埋め込みでは、CBOW を位置重みと文字 n-gram で使用する(Bojanowski et al , 2017)。 0.73
MUSE. Cross-lingual embeddings resulting from the alignment of 30 FastText embeddings into a common space under the supervision of groundtruth bilingual dictionaries (Conneau et al , 2018). MUSE バイリンガル辞書(Conneau et al , 2018)の監督の下で、30のFastText埋め込みを共通空間にアライメントした言語間埋め込み。 0.56
subs2vec. subs2vec所属。 0.50
Monolingual embeddings for 55 languages trained on the OpenSubtitles corpus of speech transcriptions from television shows and movies using the FastText implementation of the skipgram algorithm (Paridon and Thompson, 2020). スキップグラムアルゴリズムのFastText実装を用いたテレビ番組や映画からの音声の書き起こしコーパスをOpenSubtitlesコーパスでトレーニングした55言語に対する単言語埋め込み(Paridon and Thompson, 2020)。 0.84
The authors claim that subtitles are closer to the human linguistic experience (Paridon and Thompson, 2020). 著者らは、字幕は人間の言語経験に近いと主張している(Paridon and Thompson, 2020)。 0.75
Information about the sizes of each (language, model) pair can be found in Appendix B. それぞれの(言語、モデル)ペアのサイズに関する情報は、Appendix Bで見ることができる。 0.80
For each pair, we build the k-NN graph and compute modularity for different values of k and different levels of categories, which we treat as our 2 hyperparameters. それぞれのペアに対して、k-NNグラフを構築し、kの異なる値と異なるレベルのカテゴリのモジュラリティを計算し、2つのハイパーパラメータとして扱う。 0.68
We consider small values for k (namely k ∈ {2, 3, 4}) due to the fact that categories such as States have as few as 4 words. k の小さな値 (k ∈ {2, 3, 4}) を考えるのは、状態のような圏が 4 つの単語しか持たないという事実からである。
訳抜け防止モード: k の小さな値 (すなわち k ∈ { 2, 3, 4 } ) は、その事実から考える。 国のようなカテゴリーには4つの単語しかありません。
0.77
6 Downstream Task Experiments ダウンストリームタスク実験6 0.84
We test the reliability of categorical modularity by running a few downstream tasks and computing the Spearman rank correlations between categorical modularity scores and performance on these tasks. 下流タスクを数回実行し,これらのタスクにおける分類モジュラリティスコアと性能の相関関係を計算することにより,分類モジュラリティの信頼性を検証した。 0.69
After determining the optimal set of hyperparameters (k and level of semantic categories) for each task, we then compare the correlation produced by that set of hyperparameters with the correlation produced by the corresponding value of k with the modularity of the unsupervised clusters constructed by the community detection algorithm described in Section 3 to establish the non-triviality of the 各タスクの最適なハイパーパラメータ(kと意味圏のレベル)を決定した後、そのハイパーパラメータのセットによって生成された相関と、対応するkの値によって生成された相関と、第3節で記述されたコミュニティ検出アルゴリズムによって構築された教師なしクラスタのモジュラリティを比較して、その非自明性を確立する。
訳抜け防止モード: 各タスクの最適なハイパーパラメータセット(kと意味圏のレベル)を決定した後、 次に,そのハイパーパラメータ群が生成する相関と,kの対応する値が生成する相関と,第3節に記載したコミュニティ検出アルゴリズムによって構築された教師なしクラスタのモジュラリティを比較した。 非自明性を確立するために
0.80
4https://fasttext.cc /docs/en/ 4https://fasttext.cc /docs/en/ 0.34
crawl-vectors.html crawl-vectors.html 0.39
5https://github.com/ facebookresearch/ 5https://github.com/ facebookresearch/ 0.39
MUSE#download MUSE#download 0.85
6https://github.com/ jvparidon/subs2vec 6https://github.com/ jvparidon/subs2vec 0.31
predictive properties of these chosen semantic categories. 選択されたセマンティックカテゴリーの予測特性です 0.78
Table 2 provides a summary of correlation values for four tasks: movie review sentiment analysis (Sentiment), word similarity (WordSim), bilingual lexicon induction from English (BLI from), and bilingual lexicon induction to English (BLI to). 表2は、映画レビュー感情分析(sentiment)、単語類似性(wordsim)、英語からのバイリンガル語彙誘導(bli from)、英語へのバイリンガル語彙誘導(bli to)の4つのタスクにおける相関値の要約を提供する。 0.80
Appendix A contains full tables with the correlation results. Appendix Aは相関結果の完全なテーブルを含む。 0.87
A visual summary of the results can be found in Figure 2. 結果の視覚的な要約は図2で確認できる。 0.66
Task ρ Sentiment 0.54 WordSim 0.71 BLI from 0.55 BLI to 0.50 課題 ρ 感度 0.54 WordSim 0.71 BLI から 0.55 BLI へ。 0.70
ρft 0.44 0.59 0.40 0.29 ρft 0.44 0.59 0.40 0.29 0.47
ρm 0.68 0.34 0.54 0.56 ρm 0.68 0.34 0.54 0.56 0.47
ρs 0.46 0.80 0.76 0.82 ρs 0.46 0.80 0.76 0.82 0.47
Table 2: Summary of Spearman correlations of categorical modularity with downstream task performance for Binder categories, aggregated across all models (ρ) and broken down within FastText (ρft), MUSE (ρm), and subs2vec (ρs). 表2: すべてのモデル(ρ)に集約され、FastText(ρft)、MUSE(ρm)、subs2vec(ρs)内で分解されるBinderカテゴリのカテゴリ的モジュラリティと下流タスクパフォーマンスの相関関係の概要。 0.84
6.1 Sentiment Analysis We first test our modularity scores through correlations with performance on the binary classification task of sentiment analysis, where the input is a movie review and the output is a binary label that corresponds to either positive or negative sentiment for that review. 6.1 感性分析 まず, 感情分析の2値分類タスクにおいて, 評価結果が映画レビューであり, 評価結果が肯定的, 否定的のいずれかに対応する2値ラベルである場合のパフォーマンスと相関して, モジュラリティスコアを検証する。 0.76
For this task, our data consists of 5,000 randomly selected positive movie reviews and 5,000 randomly selected negative reviews from the IMDB Movie Reviews dataset (Maas et al , 2011). 本研究は, IMDB Movie Reviewsデータセット(Maas et al , 2011)から, ランダムに選択されたポジティブなレビュー5,000とランダムに選択されたネガティブなレビュー5,000から成っている。 0.68
We randomly partition these 10,000 reviews into 80% training and 20% testing data. この10,000のレビューを80%のトレーニングと20%のテストデータにランダムに分割します。 0.65
Because this dataset is only available in English, we use the Google Translate API7 to translate the data to 15 more languages (Arabic, Bulgarian, Catalan, Croatian, Czech, Danish, Dutch, Estonian, Finnish, French, Greek, Hebrew, Hungarian, Indonesian, and Italian) for a total of n = 48 observations. このデータセットは英語でしか利用できないため、Google Translate API7を使用して15の言語(アラビア語、ブルガリア語、カタルーニャ語、クロアチア語、チェコ語、デンマーク語、オランダ語、エストニア語、フィンランド語、フランス語、ギリシア語、ヘブライ語、ハンガリー語、インドネシア語、イタリア語)に翻訳し、n = 48の観測を行う。 0.69
The languages and the dataset size of 10,000 are chosen due to Google Translate API rate limits. Google Translate APIのレート制限により、言語とデータセットサイズが10,000になる。 0.81
For each (language, model) pair, we convert the raw text of each review to a 300-dimensional embedding vector. それぞれの(言語,モデル)ペアに対して,各レビューの原文を300次元埋め込みベクトルに変換する。 0.75
We use the built-in black-box position-weighted continuous bag-of-words embedding model for FastText and subs2vec (Bojanowski et al , 2017), and we use a simple mean of individual word embeddings for MUSE, as the MUSE 我々は、FastText と subs2vec (Bojanowski et al , 2017) に内蔵されたブラックボックス位置重み付き連続バッグ・オブ・ワード埋め込みモデルを使用し、MUSE の個々の単語埋め込みを MUSE として使用する。 0.76
7https://pypi.org/pr oject/ 7https://pypi.org/pr oject/ 0.39
google-trans-new/ google-trans-new/ 0.34
英語(論文から抽出)日本語訳スコア
Figure 2: Summary of modularity vs performance metrics across tasks. 図2:タスク間のモジュール化とパフォーマンス指標の要約。 0.77
Each language is represented with its 2-letter ISO 639-1 code. 各言語は2文字のISO 639-1コードで表される。 0.78
Hebrew, an outlier on the low end, is not included in this plot. ローエンドの外れたヘブライ語は、このプロットには含まれていない。 0.63
Full modularity and performance data is included in our public GitHub repository. 完全なモジュール性とパフォーマンスデータは、githubリポジトリに含まれています。 0.68
library does not have multi-word phrase embeddings built into its functionality. ライブラリには多語句の埋め込みが組み込まれていない。 0.67
Using a vanilla linear support vector machine model with scikit learn’s default settings,8 we run the task on each language-model pair 30 times and record the mean accuracy and precision scores for each pair. scikit learnのデフォルト設定を備えたバニラ線形サポートベクターマシンモデルを使用して,各言語モデルペアのタスクを30回実行し,各ペアの平均精度と精度スコアを記録します。 0.82
We then calculate the Spearman correlations of each of the 9 modularity scores with both the accuracy and precision values. 次に、9つのモジュラリティスコアのそれぞれのスピアマン相関を精度と精度の両方の値で計算する。 0.74
Furthermore, we analyze the overall merged correlations (taking all 48 data points for a given modularity score and performance metric) as well as the correlations within models (taking only the 16 data points within each single model), giving us a total of 72 Spearman correlation values. さらに,全体のマージ相関(所定のモジュラリティスコアとパフォーマンスメトリックで48データポイントすべてを取る)とモデル内の相関(単一モデルで16データポイントのみを取る)を分析し,合計72のスピアマン相関値を得た。
訳抜け防止モード: さらに,統合された相関関係の解析を行った。 与えられたモジュラリティスコアとパフォーマンス指標のために48のデータポイントをすべて取る モデル内の相関だけでなく それぞれのモデルで16のデータポイントのみを取る) 合計72のSpearman相関値を与えてくれます。
0.85
We find that the optimal set of hyperparameters is Level 3 categories with k = 2, which gives a Spearman correlation of ρ = 0.54 with the accuracy metric. 超パラメータの最適集合は k = 2 のレベル 3 の圏であり、これは精度の計量と ρ = 0.54 のスピアマン相関を与える。 0.74
Breaking it down by individual model, we have ρft = 0.44 for FastText, ρm = 0.68 for MUSE, and ρs = 0.46 for subs2vec. 個々のモデルで分解すると、FastTextではρft = 0.44、MUSEではρm = 0.68、subs2vecではρs = 0.46となる。
訳抜け防止モード: 個々のモデルで分解する。 ρft = 0.44 for FastText, ρm = 0.68 for MUSE, ρs = 0.46 for subs2vec 。
0.87
For k = 2, the correlations of unsupervised clusters with accuracy are ρ = 0.09 for all 48 observations merged, ρft = 0.1, ρm = 0.4, and ρs = 0.35, providing evidence that Binder categories contain non-trivial k = 2 のとき、教師なしクラスターの相関は ρ = 0.09 であり、48 個の観測が合わさって ρft = 0.1 、ρm = 0.4 、ρs = 0.35 となり、バインダー圏が非自明であることを証明している。
訳抜け防止モード: k = 2 の場合、48 個の観測の全てで ρ = 0.09 となる。 ρft = 0.1, ρm = 0.4, ρs = 0.35, ビンダー分類が非自明であることを示す証拠を提供する
0.71
predictive information that is not present in naturally emerging clusters. 自然に出現するクラスタには存在しない予測情報。 0.70
6.2 Word Similarity Our next downstream task is the monolingual regression task of word similarity, in which the input is two words in one language and the output is a real number between 0 and 4 representing how similar the two words are (a higher score represents a greater degree of similarity). 6.2 単語類似性 次のダウンストリームタスクは単語類似性の単言語回帰タスクであり、入力は1つの言語で2つの単語であり、出力は2つの単語の類似度を表す0と4の間の実数である(高いスコアはより高い類似度を表す)。 0.81
We use the English, Italian, and Spanish word pair datasets from SemEval-2017 (Camacho et al , 2017), and we use the same Google Translate API from Section 6.1 to translate the English dataset into the remaining 26 languages. 私たちはsemeval-2017(camacho et al , 2017)の英語、イタリア語、スペイン語の単語ペアデータセットを使用し、セクション6.1の同じgoogle translate apiを使用して、英語データセットを残りの26言語に翻訳します。 0.76
Each language’s dataset then has 500 word pairs, which we randomly split into 400 training pairs and 100 testing pairs for each trial. 各言語のデータセットには500のワードペアがあり、400のトレーニングペアと100のテストペアにランダムに分割しています。 0.84
Given a language and a model, we take each word pair, compute the 300-dimensional embeddings of both words, and calculate the Euclidean distance, Manhattan distance, and cosine similarity between the embeddings. 言語とモデルが与えられた場合、各単語対を計算し、両方の単語の300次元埋め込みを計算し、ユークリッド距離、マンハッタン距離、および埋め込み間の余弦的類似性を計算する。 0.80
We then feed these three scalars as a vector of inputs into a standard linear regression model from Python’s scikit-learn package with default settings,9 whose output is the 次に、これらの3つのスカラーを、インプットのベクトルとして、PythonのScikit-learnパッケージから標準線形回帰モデルにフィードします。 0.76
8https://scikit-lear n.org/stable/ 8https://scikit-lear n.org/stable/ 0.34
9https://scikit-lear n.org/stable/ 9https://scikit-lear n.org/stable/ 0.34
modules/svm.html modules/svm.html 0.39
modules/linear_model .html modules/linear_model .html 0.29
英語(論文から抽出)日本語訳スコア
similarity score given in the dataset. データセットで与えられる類似度スコア。 0.70
To evaluate task performance, we compute the Mean Squared Error (MSE) loss for each run and record the mean MSE loss over 30 trials per (language, model) pair. タスク性能を評価するため,各実行毎に平均正方形誤差(MSE)を算出し,各(言語,モデル)ペアあたりの平均MSE損失を30回以上記録する。 0.83
We then calculate the Spearman correlations of each of the 9 modularity scores with the negatives of the losses (such that positive correlation means that high modularity predicts high performance), both merged (87 data points) and within individual models (29 data points per model), for a total of 36 correlation values. 次に、各9つのモジュラリティスコアのスピアマン相関と損失の負の相関(正の相関は高いモジュラリティが高い性能を予測することを意味する)、マージ(87データポイント)、および個々のモデル(1モデルあたり29データポイント)を合計36の相関値で計算する。 0.77
We find that all of the merged correlations are moderately to strongly positive. 合併した相関関係はいずれも中程度に正である。 0.62
In particular, with the optimal hyperparameters of Level 2, k = 2, we have ρ = 0.71 overall, ρft = 0.59 for FastText, ρm = 0.34 for MUSE, and ρs = 0.8 for subs2vec. 特に、レベル 2 k = 2 の最適ハイパーパラメータでは、全体としてρ = 0.71 であり、FastText は ρft = 0.59 であり、MUSE は ρm = 0.34 であり、subs2vec は ρs = 0.8 である。
訳抜け防止モード: 特に、レベル 2 の最適ハイパーパラメータは k = 2 である。 FastText は ρ = 0.71 で ρft = 0.59 です。 MUSE は ρm = 0.34 、subs2vec は ρs = 0.8 である。
0.83
In comparison, the correlations of the unsupervised cluster modularities with mean MSE loss for k = 2 are ρ = 0.27, ρft = 0.36, ρm = 0.3, and ρs = 0.42, all weaker than their Binder counterparts. 比較して、k = 2 の平均 mse 損失に対する教師なしクラスタモジュラリティの相関は ρ = 0.27, ρft = 0.36, ρm = 0.3, ρs = 0.42 である。 0.75
6.3 Word-Level Bilingual Lexicon Induction 6.3 単語レベルバイリンガル語彙誘導 0.67
In addition to both monolingual classification and monolingual regression tasks, we also test our modularity metric on the cross-lingual regression task of bilingual lexicon induction. モノリンガル分類とモノリンガル回帰タスクの両方に加えて,両言語語彙誘導の言語間回帰タスクにおいて,モジュラリティ指標をテストする。 0.77
Using the groundtruth bilingual dictionaries provided by the publishers of MUSE (Conneau et al , 2018), we run this task with the 28 non-English languages listed in footnote 2 in two directions: translation to and from English. MUSE(Conneau et al , 2018)の出版社が提供している基礎的なバイリンガル辞書を用いて、フットノート2に記載されている28の非英語言語でこのタスクを実行する。 0.71
We use the 5,000-1,500 train-test split provided in the MUSE dictionary dataset and formulate the tasks as multivariate, multi-output regression tasks: for each observation in each (language, model) pair, we convert the English source word to its 300-dimensional embedding specified by the English version of the model and feed this vector as input to the same scikit-learn linear regression model as in Section 6.2, of which the output is a 300-dimensional vector in the target language model space representing the embedding of the target word. We use the 5,000-1,500 train-test split provided in the MUSE dictionary dataset and formulate the tasks as multivariate, multi-output regression tasks: for each observation in each (language, model) pair, we convert the English source word to its 300-dimensional embedding specified by the English version of the model and feed this vector as input to the same scikit-learn linear regression model as in Section 6.2, of which the output is a 300-dimensional vector in the target language model space representing the embedding of the target word. 0.97
We follow this procedure in the other direction as well by converting source non-English words to embeddings in the appropriate non-English model spaces, feeding those embeddings into the linear regression model, and computing 300-dimensional predictions for the target English word vectors in the English model spaces. この手法を他の方向でも適用し、ソース非英語単語を適切な非英語モデル空間への埋め込みに変換し、それらの埋め込みを線形回帰モデルに供給し、対象英語単語ベクトルを英語モデル空間で300次元予測する。 0.79
To measure task performance in the “from English” direction, we convert the ground-truth non-English target words into vec- 英語から」方向のタスクパフォーマンスを測定するために,非英語対象語をvecに変換する。
訳抜け防止モード: from english”方向のタスクパフォーマンスを測定する。 根拠-真理-非-英語のターゲット語をvecに変換する-
0.76
tors in the corresponding non-English embedding model space, compute the cosine similarities between each ground-truth vector and its corresponding predicted vector, and record the mean of those cosine similarities as a measure of how close we are to the ground truth on average. 対応する非英語埋め込みモデル空間のトーストは、各接地ベクトルと対応する予測ベクトルの間のコサイン類似度を計算し、それらのコサイン類似度の平均を平均で接地真理との距離の尺度として記録する。 0.79
We run 30 trials per (language, model) pair and record the mean of the mean cosine similarities. ペア(言語,モデル)あたり30回のトライアルを実施し,平均コサイン類似度の平均を記録する。 0.70
In the “to English” direction, we similarly convert the ground-truth English target words into vectors and compute the mean cosine similarity over the prediction-ground-tr uth pairs. 英語への"方向"では、英語の接頭辞をベクトルに変換し、予測-接頭辞-接頭辞対の平均コサイン類似性を計算する。
訳抜け防止モード: to english" でも同様に接頭辞 - truth english target words をベクトルに変換する 予測 - 基底 - 真理対に対する平均コサインの類似性を計算する。
0.77
We calculate the Spearman correlations of each of the 9 modularity scores with the 30-trial means of mean cosine similarities in both directions. 本研究では,9つのモジュラリティスコアのスピアマン相関を,両方向の平均コサイン類似度30乗平均値と比較した。 0.72
Once again, we calculate the correlations both across all models and within each individual model, yielding 72 total correlation values. 繰り返しますが、すべてのモデルと各モデルの両方で相関を計算し、72の相関値を出力します。 0.80
The optimal set of hyperparameters for the merged correlation in the “from English” direction is Level 3, k = 2, giving a moderate ρ = 0.55 overall, ρft = 0.4 for FastText, ρm = 0.54 for MUSE, and a strong ρs = 0.76 for subs2vec. イングリッシュ」方向の合併相関に対する最適パラメータの集合はレベル3、k = 2 であり、全体としては中等度ρ = 0.55 であり、FastText は ρft = 0.4 であり、MUSE は ρm = 0.54 であり、subs2vec は ρs = 0.76 である。 0.76
For comparison, the corresponding k = 2 correlations for unsupervised cluster modularities are ρ = 0.35, ρft = 0.04, ρm = 0.27, and ρs = 0.65 — all weaker than their Binder counterparts. 比較のために、教師なしクラスタモジュラリティに対する対応する k = 2 の相関は ρ = 0.35, ρft = 0.04, ρm = 0.27, ρs = 0.65 である。 0.77
The optimal set of hyperparameters for the merged correlation in the “to English” direction is also Level 3, k = 2, giving a moderate ρ = 0.5 overall, a weak ρft = 0.29, a moderate ρm = 0.56, and a very strong ρs = 0.82. また、「英語への」方向のマージ相関に対する最適なハイパーパラメータのセットはレベル 3, k = 2 であり、中程度の ρ = 0.5 全体、弱い ρft = 0.29 、中程度の ρm = 0.56 、非常に強い ρs = 0.82 となる。 0.77
The corresponding unsupervised cluster correlations for k = 2 are ρ = 0.35, ρft = 0.04, ρm = 0.27, and ρs = 0.65. k = 2 の教師なしクラスタ相関は ρ = 0.35, ρft = 0.04, ρm = 0.27, ρs = 0.65 である。 0.74
Notably, in both the word similarity and BLI tasks, ρs is significantly stronger than ρft and ρm. 特に、単語類似性とBLIタスクの両方において、ρs はρft や ρm よりもかなり強い。 0.72
This may be due to the fact that compared to sources such as Wikipedia and Common Crawl, the subtitles used as training data for subs2vec are more representative of how the human brain semantically maps language, as suggested by the model’s creators (Paridon and Thompson, 2020). これは、WikipediaやCommon Crawlなどのソースと比較すると、サブ2vecのトレーニングデータとして使われる字幕は、モデルの作者(ParidonとThompson、2020年)が示唆しているように、人間の脳が言語を意味的にどうマッピングするかをより表しているためかもしれない。 0.72
Overall, these downstream task experiments suggest that categorical modularity is a non-trivially significant predictor of performance on both monolingual and cross-lingual NLP tasks (though it is stronger on monolingual tasks) and that it may have potential to be a meta-predictor of how well a particular model matches the information encoded in the human brain. 全体として、これらの下流のタスク実験は、分類的モジュラリティは、単言語とクロス言語の両方のnlpタスクにおけるパフォーマンスの非自明な重要な予測因子であり(単言語タスクでは強いが)、特定のモデルが人間の脳でエンコードされた情報にどの程度よくマッチするかをメタ予測する可能性があることを示唆している。 0.63
英語(論文から抽出)日本語訳スコア
7 Use Cases: Comparing and Selecting 7つのユースケース:比較と選択 0.83
Models After having established substantial evidence of the predictive properties of categorical modularity, we present some examples of how the research community can make use of the metric for model evaluation and selection. モデル 分類的モジュラリティの予測的性質の実質的な証拠を確立した後、モデル評価と選択にこの指標をどのように活用できるかを研究コミュニティが示す。 0.77
7.1 Comparing Models within a Language The best hyperparameters for the tasks described in Section 6 are Level 3 with k = 2 along with Level 2 with k = 2. 7.1 言語内のモデルを比較する 第6節で記述されたタスクの最適ハイパーパラメータは、レベル3とk = 2、レベル2とk = 2である。 0.78
Across the 29 languages at the latter, FastText has the highest modularity 9 times (Arabic, Catalan, Estonian, Finnish, Greek, Macedonian, Polish, Turkish, Ukrainian), while MUSE has the highest modularity 3 times (Hungarian, Russian, Spanish), and subs2vec has the highest modularity 17 times. 後者の29言語の中で、FastTextは9倍(アラビア語、カタルーニャ語、エストニア語、フィンランド語、ギリシャ語、マケドニア語、ポーランド語、トルコ語、ウクライナ語)、MUSEは3倍(ハンガリー語、ロシア語、スペイン語)、s2vecは17倍)のモジュール性を持っている。 0.69
For Level 3 with k = 2, FastText has the highest modularity 13 times, while MUSE has the highest modularity 2 times (Russian, Vietnamese), and subs2vec has the highest modularity 15 times. k = 2のレベル3では、FastTextは13倍、MUSEは2倍(ロシア語、ベトナム語)、subs2vecは15倍である。
訳抜け防止モード: k = 2のレベル3では、FastTextは13倍のモジュール性を持つ。 MUSEのモジュラリティは2倍(ロシア語、ベトナム語)。 s2vecのモジュラリティは15倍です
0.71
Though individual choices should be made with each language, this suggests that subs2vec may be a strong choice for monolingual tasks overall. 個々の選択は各言語で行うべきであるが、これはs2vecが全体的な単言語タスクにとって強い選択であることを示している。 0.58
7.2 Comparing Languages within a Model We also present some evidence that categorical modularity predicts bilingual lexicon induction performance moderately well, and predictive properties are especially strong within subs2vec. 7.2 モデル内の言語の比較 また、分類的モジュラリティが2言語の語彙誘導性能を適度に予測する証拠を示し、予測特性は特にsubs2vec内で強い。 0.75
For the optimal set of hyperparameters found in that task within subs2vec (Level 2, k = 2, ρs = 0.77 from English and ρs = 0.81 to English), the languages with the highest modularities in subs2vec are Dutch (0.84), Portuguese (0.81), French (0.80), Bulgarian (0.80), Swedish (0.80), Indonesian (0.79), and English (0.78), while the languages with the lowest modularities are Catalan (0.65), Spanish (0.58), Hebrew (0.58), Greek (0.56), Finnish (0.55), Arabic (0.53), and Russian (0.53). 英語とρs = 0.81 から ρs = 0.77 から、s2vec の最も高いモジュラリティを持つ言語はオランダ語 (0.84)、ポルトガル語 (0.81)、フランス語 (0.80)、ブルガリア語 (0.80)、スウェーデン語 (0.80)、インドネシア語 (0.79)、英語 (0.78) であり、最も低いモジュラリティを持つ言語はカタルーニャ語 (0.65)、スペイン語 (0.58)、ヘブライ語 (0.58)、ギリシャ語 (0.56)、フィンランド語 (0.55)、アラビア語 (0.53)、ロシア語 (0.53) である。 0.75
This may suggest which languages have lower amounts of resources at this time and hence deserve more data collection efforts on the part of the NLP community, particularly within subs2vec’s domain of subtitle and conversational data. このことは、どの言語が現時点で少ないリソースを持ち、したがってNLPコミュニティ、特にsubs2vecのサブタイトルおよび会話データ領域において、より多くのデータ収集の努力に値するかを示唆している。 0.72
7.3 Categorical Modularity as a Potential 7.3 可能性としてのカテゴリーモジュラリティ 0.58
Meta-Predictor map to the human brain, as suggested by subs2vec’s significantly stronger correlations. メタ予測器 s2vecの強い相関関係によって示唆されるように、人間の脳にマップする。 0.54
This is particularly true with regression tasks. これは特に回帰タスクには当てはまります。 0.65
Given a new or existing embedding model, calculating its categorical modularities and assessing their correlations with regression tasks such as word similarity may reveal if the model space is representative of how linguistic information is encoded in the brain. 新しいあるいは既存の埋め込みモデルが与えられた場合、その分類モジュラリティを計算し、単語類似性のような回帰タスクとの相関性を評価することで、モデル空間が脳内の言語情報のエンコード方法を表すかどうかを明らかにすることができる。
訳抜け防止モード: 新しいまたは既存の埋め込みモデルが与えられた。 その分類モジュラリティを計算し、単語類似性のような回帰タスクとの相関性を評価する モデル空間が 言語情報がどのように脳に エンコードされているか
0.84
8 Discussion and Future Work 8 討論と今後の課題 0.76
Categorical modularity shows promise as an intrinsic word embedding evaluation metric based on our preliminary experiments. カテゴリー的モジュラリティは、我々の予備実験に基づいて、本質的な単語埋め込み評価指標として約束を示す。 0.52
We can envision extending this work in several directions. この作業をいくつかの方向に拡張することを想像できます。 0.52
For one, we can calculate single-category modularities (denoted by Qc as defined in Equation 5) and test which individual categories contain the most predictive properties. 例えば、1つのカテゴリのモジュラリティ(式5で定義されたqcによって示される)を計算し、どのカテゴリが最も予測的な性質を含むかをテストすることができる。 0.58
Our limited experiments in this direction with the movie sentiment analysis task suggest that concrete and non-living categories have better predictive capabilities than abstract and living ones: for the sentiment analysis task, the 5 most strongly correlated categories are Nonverbal Sounds, Artifacts, Concrete Objects, Vehicles, and Manufactured Foods, while the 5 least correlated categories are Abstract Properties, Abstract Constructs, Miscellaneous Actions, Humans, and Abstract Actions. 感情分析タスクでは,非言語音,人工物,具体物,自動車,製造食品の5つが最も強く関連しているのに対し,最も関連性の高い5つのカテゴリは抽象的特性,抽象的構成,雑多な行動,人間,抽象的行動である。
訳抜け防止モード: 映画感情分析タスクで この方向の限定実験は 具体的・非生活的カテゴリーは抽象的・生活的カテゴリーよりも優れた予測能力を持つ 感情分析タスクでは、最も強く相関する5つのカテゴリーは非言語音である。 アーティファクト、具体物、車両、製造食品、最も相関の薄い5つのカテゴリーは抽象的な特性である。 抽象的な構成、雑多な行動、人間、抽象的な行動。
0.66
We may also extend our work to more models and languages to see if the predictive properties truly hold across all languages and models. さらに、予測特性がすべての言語やモデルに本当に当てはまるかどうかを確認するために、より多くのモデルや言語に作業を拡大することもできます。
訳抜け防止モード: より多くのモデルや言語に 作品を広げることもできます 予測特性がすべての言語やモデルに真に当てはまるかどうかを確認する。
0.72
Additionally, as more multilingual research and data becomes available in this space, we may probe different sets of semantic categories, further downstream tasks (particularly multi-class classification, monolingual text generation, and sentence-level bilingual lexicon induction), and further variations of models used in downstream tasks (e g , deeper neural networks instead of vanilla SVMs and linear regressions). さらに、より多言語的な研究やデータがこの分野で利用可能になるにつれて、さまざまなセマンティックなカテゴリ、さらに下流タスク(特にマルチクラス分類、モノリンガルテキスト生成、文レベルのバイリンガル語彙誘導)、下流タスクで使われるモデルのさらなるバリエーション(例えば、バニラSVMや線形回帰の代わりにディープニューラルネットワーク)を探索することができる。 0.81
We can also envision improvements upon the categorical modularity metric itself, perhaps by way of a lower-resource metric or a metric that works well on contextualized word embeddings for which the word-vector mappings may have more complex geometries. おそらくは低リソースのメトリックや、単語ベクトルマッピングがより複雑なジオメトリを持つかもしれない文脈化された単語埋め込みでうまく機能するメトリックによって、カテゴリのモジュラリティメトリック自体の改善も想定できる。 0.79
Our code and data, which are available to the public,10 can also enable researchers and practitioners to replicate our results and experiment with different models, words, languages, and categories. 私たちのコードとデータは公開されており、研究者や実践者が結果を再現し、さまざまなモデル、単語、言語、カテゴリで実験することができます。 0.70
We find evidence that categorical modularity reveals some information about how well models 分類的モジュラリティがいかに良いモデルかを示す証拠を見つける 0.66
10https://github.com /enscma2/ 10https://github.com /enscma2/ 0.36
categorical-modulari ty categorical‐modularity 0.58
英語(論文から抽出)日本語訳スコア
9 Conclusion In this paper, we introduce categorical modularity, a novel low-resource metric that may serve as a tool to evaluate word embeddings intrinsically. 9 結論 本稿では,単語の埋め込みを本質的に評価するためのツールとして機能する,新しい低リソース計量であるカテゴリー的モジュラリティを紹介する。 0.70
We present evidence that categorical modularity has strong non-trivial predictive properties with respect to overall monolingual task performance, moderate predictive properties with respect to cross-lingual task performance, and potential meta-predictive properties of model space similarity to cognitive encodings of language. 分類的モジュラリティが言語全体の単言語的タスク性能に関して強い非自明な予測特性、言語間タスク性能に関する中程度の予測特性、および言語認知符号化と類似したモデル空間のメタ予測特性を持つことを示す。 0.75
Acknowledgments This work was supported by the Radcliffe Institute for Advanced Study at Harvard University. 承認 この研究はハーバード大学のRadcliffe Institute for Advanced Studyによって支援された。 0.58
SC and KH were supported by the School of Engineering and Applied Sciences at Harvard University under Prof. David Parkes. SCとKHは、ダビッド・パークス教授の下でハーバード大学の工学・応用科学科に支援された。 0.72
DEB acknowledges funding from the Branco Weiss Fellowship, administered by the ETH Zurich. DEBは、チューリッヒ工科大学が運営するブランコ・ヴァイスフェローシップからの資金提供を認めている。 0.46
DEB’s research was also executed within the framework of the HSE University Basic Research Program and funded by the Russian Academic Excellence Project ‘5-100’. DEBの研究は、HSE大学ベーシック・リサーチ・プログラム(英語版)の枠組みで実施され、ロシア学術卓越プロジェクト「5-100」によって資金提供された。 0.60
Impact Statement Ethical Concerns All of the data used in this paper is either our own or from publicly released and licensed sources. インパクトステートメント倫理的懸念 この論文で使用されるデータはすべて、私たち自身のものであるか、公開され、ライセンスされたソースからである。
訳抜け防止モード: インパクトステートメント倫理的懸念 この論文で使用されるデータはすべて あるいは、公開され、ライセンスされたソースからです。
0.77
Our data is mainly aimed towards researchers and developers who wish to assess the qualities of word embedding models and gain some intuition for embedding model selection for downstream tasks. 我々のデータは主に、単語埋め込みモデルの品質を評価し、下流タスクにモデル選択を組み込む直感を得たい研究者や開発者を対象としています。 0.74
In particular, our conclusions would be suited for researchers working among the 29 functioning languages given in the MUSE library, which are heavily skewed towards Indo-European languages. 特に、我々の結論は、インド・ヨーロッパ語に強く依存しているMUSEライブラリーで与えられた29の関数型言語の中で働く研究者に当てはまるだろう。 0.69
Though we do not directly introduce novel NLP applications, we provide resources that may be useful in selecting technologies to deploy and informing the development of word embedding systems. 我々は,新しいNLPアプリケーションを直接導入するわけではないが,単語埋め込みシステムの開発を展開・実現するための技術選択に有用なリソースを提供する。 0.85
Categorical modularity is intended to be an informational tool that sheds light on semantic representation of natural language information in computational word embeddings, and there are many aspects of its capabilities that can be improved upon, extended, or further explored. カテゴリー的モジュラリティは、計算語埋め込みにおける自然言語情報のセマンティックな表現に光を当てることを目的とした情報ツールであり、その能力には改善、拡張、さらに探索できる多くの側面がある。 0.77
We would also like to emphasize that we have only tested our metric on three specific downstream tasks with basic downstream models, and these may not be representative of all NLP tasks in general. また、基本的な下流モデルで3つの特定の下流タスクで測定値をテストするだけで、これらは一般的に全てのNLPタスクを表すものではないことを強調したい。 0.68
Categorical modularity 分類的モジュラリティ 0.63
also has not yet been shown to reveal information on representational harms inherent in word embedding spaces, so evidence of good downstream task performance should not be misconstrued as indicative of strong and beneficial performance across all NLP domains. また、単語埋め込み空間に固有の表現的害に関する情報も明らかにされていないため、ダウンストリームタスクのパフォーマンスを示す証拠は、すべてのNLPドメインにまたがる強靭で有益なパフォーマンスを示すものとして誤解されるべきではない。 0.60
Environmental Impact We acknowledge the pressing threat of climate change and therefore record some statistics on the computational costs of our experiments. 環境影響 気候変動の脅威が迫っていることを認識し、実験の計算コストに関する統計を記録します。 0.79
All of our experiments are run with a 13-inch 2019 MacBook Pro with a 1.7 GHz Quad-Core Intel Core i7 processor running Python 3.8.3 in Terminal Version 2.11 on MacOS Big Sur Version 11.1. 実験はすべて、MacOS Big Sur Version 11.1のターミナルバージョン2.11でPython 3.8.3で動作する1.7GHzのQuad-Core Intel Core i7プロセッサを搭載した13インチの2019 MacBook Proで実行されています。 0.65
For the English language, generating FastText embeddings for our 500 core words took 20.31 seconds, generating the 500 × 500 k-NNM took 1 hour and 25.72 seconds, generating MUSE embeddings for the 500 words took 23.13 seconds, and generating the 500 × 500 k-NNM took 7 minutes and 39.32 seconds. 英語では、500コアワードの高速テキスト埋め込みの生成に20.31秒、500×500k-nnmの生成に1時間25.72秒、500ワードのミューズ埋め込みに23.13秒、500×500k-nnmの生成に7分39.32秒を要した。 0.74
For the downstream task of movie review sentiment analysis, it took 42.03 seconds to generate FastText sentence embeddings for 10,000 English reviews and 6 minutes and 38.32 seconds to generate these embeddings with MUSE. 映画レビューの感情分析の下流では、1万の英語レビューのためにFastText文の埋め込みを生成するのに42.03秒、MUSEでこれらの埋め込みを生成するのに38.32秒を要した。 0.65
It took 0.35 seconds per review to translate from English to Spanish using the Google Translate API, and it took 2.6 seconds to run 30 trials of the sentiment analysis task for English FastText using scikit-learn’s LinearSVC. Google Translate APIを使用して英語からスペイン語への翻訳に1レビューあたり0.35秒を要し、Scikit-learnのLinearSVCを使って英語FastTextの感情分析タスクを30回試行するのに2.6秒を要した。 0.79
For the task of word similarity calculation, English FastText embeddings and 3-dimensional input data took 21.25 seconds to generate for 500 word pairs, English MUSE-based embedding data took 33.47 seconds to generate, and the word similarity task using scikit-learn’s LinearRegression took 0.09 seconds on the generated English FastTextbased inputs. 単語類似性計算のタスクでは、英語のFastText埋め込みと3次元入力データが500ワードペアを生成するのに21.25秒、英語のMUSEベースの埋め込みデータが生成に33.47秒、Scikit-learnのLinearRegressionを使った単語類似性タスクは生成された英語のFastTextベースの入力で0.09秒かかった。 0.72
For bilingual lexicon induction, FastText English-Spanish embedding data took 55.87 seconds to generate, MUSE English-Spanish embedding data took 27 minutes and 29.56 seconds to generate, and the BLI task took a combined 4.35 seconds for both directions of English-Spanish using FastText. バイリンガル語彙誘導のために、FastText英語とスペイン語の埋め込みデータは生成に55.87秒、MUSE英語とスペイン語の埋め込みデータは生成に27分29.56秒、BLIタスクはFastTextを使って英語とスペイン語の両方の方向で4.35秒を要した。 0.69
All other tasks took less than one second per language/model pair. 他のすべてのタスクは言語/モデルペアにつき1秒以下で済んだ。 0.60
英語(論文から抽出)日本語訳スコア
References Ehsaneddin Asgari and Mohammad R.K. Mofrad. Ehsaneddin Asgari と Mohammad R.K. Mofrad を参照。 0.74
2016. Comparing Fifty Natural Languages and Twelve Genetic Languages Using Word Embedding Language Divergence (WELD) as a Quantitative Measure of Language Distance. 2016. 言語距離の定量的指標としての単語埋め込み言語(weld)を用いた50の自然言語と12の遺伝的言語の比較 0.81
In Proceedings of the Workshop on Multilingual and Cross-lingual Methods in NLP, pages 65–74. nlpの多言語および言語横断手法に関するワークショップの議事録では、65-74ページが挙げられている。 0.55
Amir Bakarov. アミール・バカロフ。 0.46
2018. A survey of word embeddings evaluation methods. 2018. 単語埋め込みの評価方法に関する調査 0.77
arXiv preprint arXiv: 1801.09536. arXiv プレプリント arXiv: 1801.09536 0.86
Marco Baroni, Georgiana Dinu, and Germ´an Kruszewski. Marco Baroni, Georgiana Dinu, Germ ́an Kruszewski 0.75
2014. Don’t count, predict! 2014. 数えないで、予測しなさい! 0.80
A systematic comparison of context-counting vs. context-predicting semantic vectors. 文脈カウントと文脈予測意味ベクトルの体系的比較 0.65
In Proceedings of ACL, pages 238–247. ACL Proceedings of ACL』 238-247頁。 0.70
Lisa Beinborn, Samira Abnar, and Rochelle Choenni. Lisa Beinborn, Samira Abnar, Rochelle Choenni 0.62
2019. Robust evaluation of language-brain encoding experiments. 2019. 言語脳符号化実験のロバスト評価 0.79
arXiv preprint arXiv:1904.02547. arXiv preprint arXiv:1904.02547 0.72
Yoshua Bengio, R´ejean Ducharme, Pascal Vincent, and Christian Jauvin. ヨシュア・ベンジオ、R ́ejean Ducharme、Pascal Vincent、Christian Jauvin。 0.77
2003. A neural probabilistic language model. 2003. ニューラル確率言語モデル。 0.71
Journal of Machine Learning Research, 3:1137–1155. Journal of Machine Learning Research, 3:1137–1155。 0.76
Jeffrey R. Binder, Lisa L. Conant, Colin J. Humphries, Leonardo Fernandino, Stephen B. Simons, Mario Aguilar, and Rutvik H. Desai. Jeffrey R. Binder, Lisa L. Conant, Colin J. Humphries, Leonardo Fernandino, Stephen B. Simons, Mario Aguilar, Rutvik H. Desai 0.92
2016. Toward a brainbased componential semantic representation. 2016. 脳に基づく成分的意味表現を目指して 0.75
Cognitive Neuropsychology, 33(3-4):130–74. 認知神経心理学33(3-4):130-74。 0.59
Piotr Bojanowski, Edouard Grave, Armand Joulin, and Tomas Mikolov. Piotr Bojanowski、Edouard Grave、Armand Joulin、Tomas Mikolov。 0.65
2017. Enriching word vectors with subword information. 2017. 単語ベクトルをサブワード情報で強化する。 0.75
Transactions of the Association for Computational Linguistics, 5:135–146. 計算言語学会(Association for Computational Linguistics) 5:135–146。 0.64
Jos´e Camacho-Collados, Mohammad Taher Pilehvar, Nigel Collier, and Roberto Navigli. Jos ́e Camacho-Collados, Mohammad Taher Pilehvar, Nigel Collier, Roberto Navigli 0.87
2017. SemEval2017 task 2: Multilingual and cross-lingual semantic word similarity. 2017. SemEval2017 Task 2: 多言語および多言語間のセマンティックワード類似性。 0.73
In Proceedings of SemEval, pages 15–26. Proceedings of SemEval, page 15–26。 0.84
Aaron Clauset, Mark E. J. Newman, and Cristopher Moore. Aaron Clauset、Mark E. J. Newman、Cristopher Moore。 0.82
2004. Finding community structure in very large networks. 2004. 非常に大きなネットワークでコミュニティ構造を見つける。 0.84
Physical Review E, 70:066111. 詳細は「70:066111」を参照。 0.40
Ronan Collobert and Jason Weston. ロナン・コロバートとジェイソン・ウェストン 0.57
2008. A unified architecture for natural language processing: Deep neural networks with multitask learning. 2008. 自然言語処理のための統一アーキテクチャ: マルチタスク学習を備えたディープニューラルネットワーク。 0.86
In Proceedings of ICML, pages 160–167. ICML Proceedings of ICML』160-167頁。 0.70
Ronan Collobert, Jason Weston, Leon Bottou, Michael Karlen, Koray Kavukcuoglu, and Pavel Kuksa. Ronan Collobert, Jason Weston, Leon Bottou, Michael Karlen, Koray Kavukcuoglu, Pavel Kuksa 0.73
2011. Natural language processing (almost) from scratch. 2011. 自然言語処理(ほぼ)をスクラッチから行う。 0.82
Journal of Machine Learning Research, 12:2493–2537. Journal of Machine Learning Research, 12:2493–2537。 0.77
Yoshinari Fujinuma, Jordan Boyd-Graber, and Michael J. Paul. 藤沼義成、ジョーダン・ボイドグラバー、マイケル・J・ポール。 0.57
2019. A resource-free evaluation metric for cross-lingual word embeddings based on graph modularity. 2019. グラフのモジュラリティに基づく言語間単語埋め込みのためのリソースフリー評価指標 0.81
In Proceedings of ACL, pages 4952–4962. Proceedings of ACL』4952-4962頁。 0.76
Goran Glavaˇs, Robert Litschko, Sebastian Ruder, and Ivan Vulic. ゴラン・グラヴァース、ロバート・リチュコ、セバスチャン・ルダー、イヴァン・ヴリック。 0.50
2019. How to (Properly) Evaluate CrossLingual Word Embeddings: On Strong Baselines, Comparative Analyses, and Some Misconceptions. 2019. クロスLingual Word Embeddings: On Strong Baselines, Comparison Analyses, and Some Misconceptions (英語) 0.73
In Proceedings of ACL, pages 710–721. aclでは710-721頁。 0.57
Nora Hollenstein, Antonio de la Torre, Nicolas Langer, and Ce Zhang. Nora Hollenstein、Antonio de la Torre、Nicolas Langer、Ce Zhang。 0.71
2019. CogniVal: A Framework for Cognitive Word Embedding Evaluation. 2019. cognival: 認知的単語埋め込み評価のためのフレームワーク。 0.82
Proceedings of CoNLL, pages 538–549. CoNLL の証明、538-549頁。 0.57
George Lakoff. 1988. ジョージ・ラコフ。 1988. 0.76
Cognitive Semantics. In Meaning and Mental Representations. 認知意味論。 意味 精神的な表現です 0.54
UC Berkeley. カリフォルニア大学バークレー校。 0.51
Megan Leszczynski, Avner May, Jian Zhang, Sen Wu, Christopher R. Aberger, and Christopher R´e. Megan Leszczynski, Avner May, Jian Zhang, Sen Wu, Christopher R. Aberger, Christopher R ́e 0.83
2020. Understanding the downstream instability of word embeddings. 2020. 単語埋め込みの下流不安定性を理解する。 0.74
In Proceedings of MLSys, pages 262–290. MLSys Proceedings of MLSys』262-290頁。 0.71
Omer Levy, Yoav Goldberg, and Ido Dagan. Omer Levy、Yoav Goldberg、Ido Dagan。 0.70
2015. Improving distributional similarity with lessons learned from word embeddings. 2015. 単語埋め込みから学んだ教訓による分布類似性の改善 0.80
In Transactions of the Association for Computational Linguistics, 3:211–225. 計算言語学会 Transactions of the Association for Computational Linguistics, 3:211–225。 0.68
Andrew L. Maas, Raymond E. Daly, Peter T. Pham, Dan Huang, Andrew Y. Ng, and Christopher Potts. Andrew L. Maas、Raymond E. Daly、Peter T. Pham、Dan Huang、Andrew Y. Ng、Christopher Potts。 0.86
2011. Learning Word Vectors for Sentiment Analysis. 2011. 感情分析のための単語ベクトルの学習 0.79
In Proceedings of ACL, pages 142–150. ACL (Proceedings of ACL) 142-150頁。 0.52
Tomas Mikolov, Ilya Sutskever, Kai Chen, Greg Corrado, and Jeffrey Dean. Tomas Mikolov、Ilya Sutskever、Kai Chen、Greg Corrado、Jeffrey Dean。 0.69
2013. Distributed representations of words and phrases and their compositionality. 2013. 単語と句の分散表現とその構成性 0.73
In NIPS, pages 3111–3119. NIPS』3111-3119頁。 0.66
Lukas Muttenthaler, Nora Hollenstein, and Maria Barrett. Lukas Muttenthaler、Nora Hollenstein、Maria Barrett。 0.67
2020. Human brain activity for machine attention. 2020. 機械的注意のための人間の脳活動 0.78
arXiv preprint arXiv:2006.05113. arXiv preprint arXiv:2006.05113 0.72
Mark E. J. Newman. マーク・e・j・ニューマン 0.57
2006. Modularity and community structure in networks. 2006. ネットワークにおけるモジュール性とコミュニティ構造。 0.80
In Proceedings of the National Academy of Sciences, 103(23):8577–858. The Proceedings of the National Academy of Sciences, 103(23):8577–858。 0.94
Jeroen van Paridon and Bill Thompson. Jeroen van ParidonとBill Thompson。 0.79
2020. subs2vec: Word embeddings from subtitles in 55 languages. 2020. subs2vec: 55の言語の字幕から単語を埋め込む。 0.73
Behavior Research Methods, pages 1–27. 行動研究法1-27頁。 0.70
Jeffrey Pennington, Richard Socher, and Christopher D. Manning. ジェフリー・ペニントン、リチャード・ソッチャー、クリストファー・d・マニング。 0.57
2014. GloVe: Global vectors for word representation. 2014. GloVe: ワード表現のためのグローバルベクトル。 0.82
In EMNLP, pages 1532–1543. EMNLP』1532-1543頁。 0.65
Yuanyuan Qiu, Hongzheng Li, Shen Li, Yingdi Jiang, Renfen Hu, and Lijiao Yang. Yuanyuan Qiu, Hongzheng Li, Shen Li, Yingdi Jiang, Renfen Hu, Lijiao Yang 0.68
2018. Revisiting Correlations between Intrinsic and Extrinsic Evaluations of Word Embeddings. 2018. 単語埋め込みの内在的評価と外在的評価の相関性の再検討 0.68
In Chinese Computational Linguistics and Natural Language Processing Based on Naturally Annotated Big Data, pages 209–221. 自然アノテーション付きビッグデータに基づく中国語の計算言語学と自然言語処理、209-221ページ。 0.82
Alexis Conneau, Guillaume Lample, Marc’Aurelio Ranzato, Ludovic Denoyer, and Herv´e J´egou. Alexis Conneau, Guillaume Lample, Marc’Aurelio Ranzato, Ludovic Denoyer, Herv ́e J ́egou 0.85
2018. Word translation without parallel data. 2018. 並列データのない単語翻訳。 0.84
In Proceedings of ICLR. In Proceedings of ICLR 0.59
Sebastian Ruder, Ivan Vuli´c, and Anders Søgaard. セバスティアン・ルダー、イヴァン・ヴリ、アンデルス・ソガード。 0.43
2019. A Survey of Cross-lingual Word Embedding Models. 2019. 言語間単語埋め込みモデルの検討 0.70
Journal of Artificial Intelligence Research 65:569–631. Journal of Artificial Intelligence Research 65:569–631 0.80
英語(論文から抽出)日本語訳スコア
Tobias Schnabel, Igor Labutov, David Mimno, and Thorsten Joachims. Tobias Schnabel、Igor Labutov、David Mimno、Thorsten Joachims。 0.62
2015. Evaluation methods for unsupervised word embeddings. 2015. 教師なし単語埋め込みの評価方法 0.67
In EMNLP, pages 298–307. EMNLP 298-307頁。 0.64
Anders Søgaard. Anders Søgaard 0.57
2016. Evaluating word embeddings with fMRI and eye-tracking. 2016. fMRIとアイトラッキングによる単語埋め込みの評価 0.83
In Proceedings of the ACL Workshop on Evaluating Vector-Space Representations for NLP, pages 116–121. The Proceedings of the ACL Workshop on Evaluating Vector-Space Representations for NLP, page 116–121。 0.89
Erik F. Tjong Kim Sang and Fien De Meulder. Erik F. Tjong Kim SangとFien De Meulder。 0.89
2003. Introduction to the CoNLL-2003 Shared Task: Language-Independent Named Entity Recognition. 2003. CoNLL-2003 共有タスクの紹介:言語に依存しない名前付きエンティティ認識。 0.72
In CoNLL-2003, pages 142–147. CoNLL-2003年、142-147頁。 0.60
Model 1, 2 1, 3 1, 4 2, 2 2, 3 2, 4 3, 2 3, 3 3, 4 C, 2 C, 3 C, 4 Model 1, 2 1, 3 1, 4 2, 2 2, 3 2, 4 3, 2 3, 3 3, 4 C, 2 C, 3 C, 4 0.85
ρ 0.45 0.45 0.42 0.47 0.48 0.45 0.49 0.46 0.41 0.06 −0.18 −0.24 ρ 0.45 0.45 0.42 0.47 0.48 0.45 0.49 0.46 0.41 0.06 −0.18 −0.24 0.41
ρm ρft 0.44 0.27 0.45 0.29 0.31 0.25 0.46 0.32 0.53 0.32 0.49 0.38 0.60 0.42 0.66 0.32 0.34 0.64 0.04 0.37 0.14 −0.08 0.09 −0.31 ρm ρft 0.44 0.27 0.45 0.29 0.31 0.25 0.46 0.32 0.53 0.32 0.49 0.38 0.60 0.42 0.66 0.32 0.34 0.64 0.04 0.37 0.14 −0.08 0.09 −0.31 0.40
ρs 0.27 0.36 0.35 0.29 0.44 0.38 0.29 0.42 0.35 0.18 0.02 0.03 ρs 0.27 0.36 0.35 0.29 0.44 0.38 0.29 0.42 0.35 0.18 0.02 0.03 0.42
Akira Utsumi. 2020. 宇津見あきら。 2020. 0.69
Exploring What Is Encoded in Distributional Word Vectors: A Neurobiologically Motivated Analysis. 分布型単語ベクトルで符号化されるものを探索する:神経生物学的動機付け解析 0.60
Cognitive Science, 44(6). 認知科学、44(6)。 0.66
Table 4: Spearman correlations of categorical modularity with precision of IMDB sentiment analysis task. 表4:spierman correlations of categorical modular with precision of imdb sentiment analysis task (英語) 0.78
A Appendix: Full Results for Correlations of Categorical Modularities with Downstream Tasks A Appendix:カテゴリーモジュールと下流タスクの相関に関する完全な結果 0.73
This section contains full tables of correlations of general categorical modularities and unsupervised cluster modularities with downstream tasks. 本項では、一般的な分類的モジュラリティと下流タスクによる教師なしクラスタモジュラリティの相関関係の完全な表を含む。 0.61
As above, ρ is overall correlation, ρf t is the correlation within FastText, ρm is the correlation within MUSE, and ρs is the correlation within subs2vec. ρは全体相関、ρf tはFastText内の相関、ρmはMUSE内の相関、ρsはsubs2vec内の相関である。 0.75
On notation: in the “Model” columns, a, b represents the hyperparameters of Level a Binder categories with k = b neighbors, while “C, a” represents “control” unsupervised clusters with the hyperparameter of k = a neighbors. 表記について: "モデル" 列では、a, b は k = b 個の近傍を持つレベル a ビンダー圏のハイパーパラメータを表し、一方 "C, a" は k = a 個の近傍のハイパーパラメータを持つ無監督クラスタを表す。 0.76
A.1 Sentiment Analysis A.2 Word Similarity A.1 感性分析 A.2 単語の類似性 0.61
Model 1, 2 1, 3 1, 4 2, 2 2, 3 2, 4 3, 2 3, 3 3, 4 C, 2 C, 3 C, 4 Model 1, 2 1, 3 1, 4 2, 2 2, 3 2, 4 3, 2 3, 3 3, 4 C, 2 C, 3 C, 4 0.85
ρ ρft ρm ρs −0.66 −0.47 −0.36 −0.74 −0.60 −0.46 −0.24 −0.71 −0.57 −0.46 −0.15 −0.71 −0.71 −0.59 −0.34 −0.80 −0.65 −0.62 −0.29 −0.80 −0.61 −0.60 −0.23 −0.78 −0.69 −0.65 −0.44 −0.79 −0.62 −0.60 −0.42 −0.81 −0.57 −0.61 −0.32 −0.79 −0.27 −0.36 −0.30 −0.42 0.00 −0.29 0.20 −0.45 0.04 −0.36 0.32 −0.36 ρ ρft ρm ρs −0.66 −0.47 −0.36 −0.74 −0.60 −0.46 −0.24 −0.71 −0.57 −0.46 −0.15 −0.71 −0.71 −0.59 −0.34 −0.80 −0.65 −0.62 −0.29 −0.80 −0.61 −0.60 −0.23 −0.78 −0.69 −0.65 −0.44 −0.79 −0.62 −0.60 −0.42 −0.81 −0.57 −0.61 −0.32 −0.79 −0.27 −0.36 −0.30 −0.42 0.00 −0.29 0.20 −0.45 0.04 −0.36 0.32 −0.36 0.68
Table 5: Correlations with word similarity mean MSE. 表5:単語類似度との相関はMSEを意味する。 0.66
A.3 Bilingual Lexicon Induction a.3 bilingual lexicon induction 0.71
Model 1, 2 1, 3 1, 4 2, 2 2, 3 2, 4 3, 2 3, 3 3, 4 C, 2 C, 3 C, 4 Model 1, 2 1, 3 1, 4 2, 2 2, 3 2, 4 3, 2 3, 3 3, 4 C, 2 C, 3 C, 4 0.85
ρ 0.49 0.49 0.45 0.52 0.51 0.47 0.54 0.51 0.44 0.09 −0.21 −0.25 ρ 0.49 0.49 0.45 0.52 0.51 0.47 0.54 0.51 0.44 0.09 −0.21 −0.25 0.41
ρm ρft 0.45 0.25 0.47 0.26 0.33 0.21 0.53 0.32 0.58 0.32 0.52 0.36 0.68 0.44 0.72 0.34 0.70 0.33 0.10 0.40 0.13 −0.04 0.05 −0.24 ρm ρft 0.45 0.25 0.47 0.26 0.33 0.21 0.53 0.32 0.58 0.32 0.52 0.36 0.68 0.44 0.72 0.34 0.70 0.33 0.10 0.40 0.13 −0.04 0.05 −0.24 0.40
ρs 0.44 0.54 0.53 0.45 0.59 0.54 0.46 0.58 0.50 0.35 0.15 0.15 ρs 0.44 0.54 0.53 0.45 0.59 0.54 0.46 0.58 0.50 0.35 0.15 0.15 0.42
Model 1, 2 1, 3 1, 4 2, 2 2, 3 2, 4 3, 2 3, 3 3, 4 C, 2 C, 3 C, 4 Model 1, 2 1, 3 1, 4 2, 2 2, 3 2, 4 3, 2 3, 3 3, 4 C, 2 C, 3 C, 4 0.85
ρ ρft 0.15 0.07 0.05 0.34 0.24 0.22 0.39 0.35 0.31 0.19 ρ ρft 0.15 0.07 0.05 0.34 0.24 0.22 0.39 0.35 0.31 0.19 0.64
ρm 0.33 0.41 0.24 0.33 0.16 0.29 0.42 0.50 0.37 0.41 0.30 0.38 0.53 0.55 0.47 0.49 0.37 0.45 0.35 0.44 0.09 −0.09 −0.17 0.07 −0.06 −0.09 ρm 0.33 0.41 0.24 0.33 0.16 0.29 0.42 0.50 0.37 0.41 0.30 0.38 0.53 0.55 0.47 0.49 0.37 0.45 0.35 0.44 0.09 −0.09 −0.17 0.07 −0.06 −0.09 0.39
ρs 0.68 0.64 0.64 0.77 0.74 0.73 0.76 0.75 0.74 0.55 0.46 0.37 ρs 0.68 0.64 0.64 0.77 0.74 0.73 0.76 0.75 0.74 0.55 0.46 0.37 0.42
Table 3: Spearman correlations of categorical modularity with accuracy of IMDB sentiment analysis task. 表3:spierman correlations of categorical modular with accuracy of imdb sentiment analysis task (英語) 0.78
Table 6: Correlations with mean cosine similarity on BLI from English. 表6:英語のBLIにおける平均コサイン類似性との相関 0.79
英語(論文から抽出)日本語訳スコア
Model 1, 2 1, 3 1, 4 2, 2 2, 3 2, 4 3, 2 3, 3 3, 4 C, 2 C, 3 C, 4 Model 1, 2 1, 3 1, 4 2, 2 2, 3 2, 4 3, 2 3, 3 3, 4 C, 2 C, 3 C, 4 0.85
ρft ρ 0.32 0.05 0.28 −0.05 0.26 −0.09 0.42 0.22 0.10 0.37 0.07 0.38 0.29 0.50 0.47 0.20 0.46 0.16 0.35 0.04 0.29 −0.21 0.25 −0.13 ρft ρ 0.32 0.05 0.28 −0.05 0.26 −0.09 0.42 0.22 0.10 0.37 0.07 0.38 0.29 0.50 0.47 0.20 0.46 0.16 0.35 0.04 0.29 −0.21 0.25 −0.13 0.40
ρm 0.35 0.33 0.32 0.45 0.46 0.47 0.56 0.52 0.51 0.27 0.15 0.19 ρm 0.35 0.33 0.32 0.45 0.46 0.47 0.56 0.52 0.51 0.27 0.15 0.19 0.42
ρs 0.74 0.71 0.70 0.81 0.79 0.78 0.81 0.80 0.78 0.65 0.57 0.48 ρs 0.74 0.71 0.70 0.81 0.79 0.78 0.81 0.80 0.78 0.65 0.57 0.48 0.42
Table 7: Correlations with mean cosine similarity on BLI to English. 表7:BLIと英語における平均コサイン類似性との相関 0.77
B Sizes of Embedding Models For contextual reference, we summarize the sizes of each of the embedding models used in this paper. 本稿では,コンテキスト参照のための埋め込みモデルのbサイズについて,各埋め込みモデルのサイズを要約する。 0.78
Language Arabic Bulgarian Catalan Croatian Czech Danish Dutch English Estonian Finnish French Greek Hebrew Hungarian Indonesian 言語 アラビア語 クロアチア語 チェコ語 デンマーク語 オランダ語 フィンランド語 フィンランド語 ヘブライ語 ハンガリー語 ハンガリー語 0.71
Italian Macedonian Norwegian イタリア マケドニアのノルウェー人 0.61
Polish Portuguese Romanian Russian Slovak ポーランド ポルトガルのルーマニア人ロシア人スロバキア人 0.59
Slovenian Spanish Swedish Turkish Ukrainian Vietnamese スロベニア スウェーデン トルコ ウクライナ ベトナム 0.49
FastText MUSE 132,480 610,976 200,000 334,077 200,000 490,564 451,636 200,000 200,000 627,840 200,000 312,955 871,021 200,000 200,000 1,000,000 200,000 329,986 200,000 730,482 1,000,000 200,000 200,000 306,448 200,000 488,935 200,000 793,865 300,685 200,000 200,000 871,052 176,947 176,946 515,787 200,000 200,000 1,000,000 200,000 592,107 200,000 354,323 1,000,000 200,000 200,000 316,097 200,000 281,822 200,000 985,666 1,000,000 200,000 200,000 416,050 200,000 912,457 292,167 200,000 FastText MUSE 132,480 610,976 200,000 334,077 200,000 490,564 451,636 200,000 200,000 627,840 200,000 312,955 871,021 200,000 200,000 1,000,000 200,000 329,986 200,000 730,482 1,000,000 200,000 200,000 306,448 200,000 488,935 200,000 793,865 300,685 200,000 200,000 871,052 176,947 176,946 515,787 200,000 200,000 1,000,000 200,000 592,107 200,000 354,323 1,000,000 200,000 200,000 316,097 200,000 281,822 200,000 985,666 1,000,000 200,000 200,000 416,050 200,000 912,457 292,167 200,000 0.38
subs2vec 898,080 753,982 27,220 1,000,000 1,000,000 262,951 495,055 1,000,000 357,632 842,787 514,066 859,548 679,649 1,000,000 221,876 597,058 132,238 179,069 1,000,000 505,535 964,079 802,112 330,354 517,625 883,541 325,033 1,000,000 80,123 80,216 subs2vec 898,080 753,982 27,220 1,000,000 1,000,000 262,951 495,055 1,000,000 357,632 842,787 514,066 859,548 679,649 1,000,000 221,876 597,058 132,238 179,069 1,000,000 505,535 964,079 802,112 330,354 517,625 883,541 325,033 1,000,000 80,123 80,216 0.35
Table 8: Number of vectors in each (language, model) pair. 表8:各(言語、モデル)ペア内のベクトルの数。 0.80
                         ページの最初に戻る

翻訳にはFugu-Machine Translatorを利用しています。