論文の概要、ライセンス

# (参考訳) 機械翻訳:アルゴリズムバイアスが機械翻訳の言語的複雑さに及ぼす影響 [全文訳有]

Machine Translationese: Effects of Algorithmic Bias on Linguistic Complexity in Machine Translation ( http://arxiv.org/abs/2102.00287v1 )

ライセンス: CC BY 4.0
Eva Vanmassenhove, Dimitar Shterionov, Matthew Gwilliam(参考訳) 機械翻訳(MT)と自然言語処理(NLP)の分野における最近の研究は、既存のモデルがトレーニングデータで観測されたバイアスを増幅していることを示している。 言語技術におけるバイアスの増幅は、主にジェンダーバイアスなどの特定の現象に関して検討されている。 本研究では,mtにおけるジェンダー研究を超越し,バイアス増幅が言語にどのような影響を及ぼすかを検討する。 アルゴリズムバイアス(algorithmic bias)を仮定する。 頻繁なパターンの悪化と頻繁でないパターンの喪失は、現在のデータセットに存在する社会バイアスを悪化させるだけでなく、人工的に貧弱な言語である'機械翻訳'につながる可能性がある。 我々は,異なるデータ駆動型MTパラダイム(PB-SMT)とニューラルMT(NMT)による翻訳の言語的富度(語彙的および形態学的レベル)を評価する。 本研究では,2つの言語ペア(EN<=>FRとEN<=>ES)のMTパラダイムが生成する翻訳に語彙的および形態学的豊かさが失われていることを示した。

Recent studies in the field of Machine Translation (MT) and Natural Language Processing (NLP) have shown that existing models amplify biases observed in the training data. The amplification of biases in language technology has mainly been examined with respect to specific phenomena, such as gender bias. In this work, we go beyond the study of gender in MT and investigate how bias amplification might affect language in a broader sense. We hypothesize that the 'algorithmic bias', i.e. an exacerbation of frequently observed patterns in combination with a loss of less frequent ones, not only exacerbates societal biases present in current datasets but could also lead to an artificially impoverished language: 'machine translationese'. We assess the linguistic richness (on a lexical and morphological level) of translations created by different data-driven MT paradigms - phrase-based statistical (PB-SMT) and neural MT (NMT). Our experiments show that there is a loss of lexical and morphological richness in the translations produced by all investigated MT paradigms for two language pairs (EN<=>FR and EN<=>ES).
公開日: Sat, 30 Jan 2021 18:49:11 GMT

※ 翻訳結果を表に示しています。PDFがオリジナルの論文です。翻訳結果のライセンスはCC BY-SA 4.0です。詳細はトップページをご参照ください。

翻訳結果

    Page: /      
英語(論文から抽出)日本語訳スコア
Machine Translationese: Effects of Algorithmic Bias on Linguistic 機械翻訳:アルゴリズムバイアスが言語学に及ぼす影響 0.84
Complexity in Machine Translation Eva Vanmassenhoveα Matthew Gwilliamβ {e.o.j.vanmassenhove, d.shterionov}@tilburguniversity.e du 機械翻訳の複雑さ Eva Vanmassenhoveα Matthew Gwilliamβ {e.o.j.vanmassenhove, d.shterionov}@tilburguniversity.e du 0.71
α Cognitive Science and AI, Tilburg University, The Netherlands オランダ・ティルブルグ大学におけるα認知科学とAI 0.79
Dimitar Shterionovα Dimitar Shterionovα 0.88
β University of Maryland, College Park βメリーランド大学カレッジパーク 0.51
mgwillia@umd.edu mgwillia@umd.edu 0.78
1 2 0 2 n a J 1 2 0 2 n a J 0.85
0 3 ] L C . 0 3 ] L C。 0.78
s c [ 1 v 7 8 2 0 0 sc [ 1 v 7 8 2 0 0 0.68
. 2 0 1 2 : v i X r a . 2 0 1 2 : v i X r a 0.85
Abstract Recent studies in the field of Machine Translation (MT) and Natural Language Processing (NLP) have shown that existing models amplify biases observed in the training data. 概要 機械翻訳(MT)と自然言語処理(NLP)の分野における最近の研究は、既存のモデルがトレーニングデータで観測されたバイアスを増幅していることを示している。 0.59
The amplification of biases in language technology has mainly been examined with respect to specific phenomena, such as gender bias. 言語技術におけるバイアスの増幅は、主にジェンダーバイアスなどの特定の現象に関して検討されている。 0.71
In this work, we go beyond the study of gender in MT and investigate how bias amplification might affect language in a broader sense. 本研究では,mtにおけるジェンダー研究を超越し,バイアス増幅が言語にどのような影響を及ぼすかを検討する。 0.74
We hypothesize that the ‘algorithmic bias’, i.e. 我々は「アルゴリズムバイアス」すなわち「アルゴリズムバイアス」を仮定する。 0.52
an exacerbation of frequently observed patterns in combination with a loss of less frequent ones, not only exacerbates societal biases present in current datasets but could also lead to an artificially impoverished language: ‘machine translationese’. 頻繁なパターンの悪化と頻繁でないパターンの喪失は、現在のデータセットに存在する社会バイアスを悪化させるだけでなく、人工的に貧弱な言語である‘機械翻訳’につながる可能性がある。 0.71
We assess the linguistic richness (on a lexical and morphological level) of translations created by different data-driven MT paradigms – phrase-based statistical (PB-SMT) and neural MT (NMT). 我々は,異なるデータ駆動型MTパラダイム(PB-SMT)とニューラルMT(NMT)による翻訳の言語的富度(語彙的および形態学的レベル)を評価する。 0.78
Our experiments show that there is a loss of lexical and morphological richness in the translations produced by all investigated MT paradigms for two language pairs (EN↔FR and EN↔ES). 実験の結果,全てのmtパラダイムが生成する2つの言語対の翻訳には語彙的・形態的豊かさが失われていることがわかった。 0.64
Introduction 1 The idea of translation entailing a transformation is widely recognised in the field of Translation Studies (TS) (Ippolito, 2014). はじめに 1 翻訳研究(TS)(Ippolito, 2014)の分野では、トランスフォーメーションを伴う翻訳の考え方が広く認識されています。 0.65
Translations are specific communicative acts occurring in a particular context governed by their own laws. 翻訳は、独自の法律に準拠した特定の文脈で発生する特定のコミュニケーション行為です。 0.65
Some of the features that characterize translated texts are defined as simplification, explicitation, normalization and leveling out (Baker, 1999). 翻訳されたテキストを特徴付けるいくつかの特徴は、単純化、明示化、正規化、平準化として定義される(baker, 1999)。
訳抜け防止モード: 翻訳されたテキストを特徴付ける特徴のいくつかは単純化として定義される。 明示,正規化,レベルアウト(Baker, 1999)。
0.69
The fingerprints left by the translation process and the language this results into, have been referred to as ‘translationese’ (Gellerstam, 1986). 翻訳プロセスで残された指紋とその結果得られる言語は、'translationese' (gellerstam, 1986) と呼ばれる。 0.67
Empirical evidence of the existence of translationese can be found in studies showing that machine learning techniques can be employed to automatically distinguish be- 翻訳語の存在の実証的な証拠は、機械学習技術が自動的にbeを識別できることを示す研究に見ることができる。 0.76
tween human translated and original text by looking at lexical and grammatical information (Baroni and Bernardini, 2006; Koppel and Ordan, 2011). 人間の翻訳とオリジナルのテキストを、語彙的および文法的情報(Baroni and Bernardini, 2006; Koppel and Ordan, 2011)で調べる。 0.83
Translationese differs from original texts due to a combination of factors including intentional (e.g. 翻訳語は意図的(例えば)を含む要素の組み合わせによって元のテキストとは異なります。 0.59
explicitation and normalization) and unintentional ones (e.g. 明示と正規化)と意図しないもの(例えば) 0.66
unconscious effects of the source language input on the target language produced). ソース言語の入力が生成するターゲット言語に対する無意識の影響)。 0.80
Unlike other work on (human) translationese (or even related work on ‘Post-editese’), we delve into the effects of machine translation (MT) algorithms on language, i.e. 他の(人間)翻訳(または「ポスト・エディテ」に関する)研究とは異なり、我々は機械翻訳(MT)アルゴリズムが言語に与える影響を掘り下げます。
訳抜け防止モード: 他の(人間)翻訳作品(または「ポスト・エディット」に関する関連作品)とは異なります。 我々は、機械翻訳(MT)アルゴリズムが言語に与える影響を掘り下げる。
0.81
‘machine translationese’. So far, generating accurate and fluent translations has been the main objective of MT systems. 機械翻訳」。 これまでのところ,mtシステムの主な目的は,正確かつ流動的な翻訳生成である。 0.61
As such, maintaining the richness and diversity in the outputs has understandably not been a priority (Vanmassenhove, 2020).1 However, as MT systems have reached a quality that is (arguably) close to that of human translations (L¨aubli et al., 2018; Toral et al., 2018) and as such are being used widely on a daily basis, we believe it is time to look into the potential effects of (MT) algorithms on language itself.2 このように、アウトプットの豊かさと多様性を維持することは、明らかに優先事項ではない(Vanmassenhove, 2020)。1 しかし、MTシステムは(おそらく)人間の翻訳のそれに近い品質に達している(L saubli et al., 2018; Toral et al., 2018)ため、日常的に広く使用されているので、言語自体に対する(MT)アルゴリズムの潜在的な影響を検討する時が来たと考えています。 0.78
The main motivations behind this work are: (i) if algorithmic bias is indeed a by-product of our algorithms, a statistically biased MT system might prefer frequently occurring words (or sub-words) over others. i)アルゴリズムバイアスがアルゴリズムの副産物であるならば、統計的にバイアスされたMTシステムは、他よりも頻繁に発生する単語(またはサブワード)を好むかもしれません。 0.73
Since MT systems do not necessarily distinguish between different synonymous translations (lexical richness) and morphological variants (grammatical richness), algorithmic bias could lead to the loss of morphological variety (and thus interfere with the ability of our systems to generate MTシステムは必ずしも異なる同義翻訳(語彙豊かさ)とモルフォロジー変種(文法豊かさ)を区別しないので、アルゴリズム的バイアスは形態的多様性の喪失につながる(したがって、我々のシステムが生成する能力に干渉する)。 0.77
1One might argue that for some tasks and domains, diversity can be harmful (specific in-domain translations would prefer consistency over e.g. 1タスクやドメインによっては、多様性が有害である可能性がある(特定のドメイン内翻訳は、例えば一貫性を好む)。 0.59
lexical diversity). 2Google Translate 語彙の多様性) 2Google翻訳 0.72
translates more 100 billions words per day and is used by at 500 million people according to estimates //www.blog.google/pr oducts/translate/ ten-years-of-google- translate/). 1日あたり1000億語以上の単語を翻訳し、5億人の人々が利用していると見積もられている。 0.64
alone than least (https: 一人で 少なくとも (https:) 0.75
英語(論文から抽出)日本語訳スコア
at all times a grammatically correct option); (ii) the sociolinguistic perspective of machine translationese since it has been established that language contact (e.g. 常に文法上正しい選択肢) (ii) 言語接触(例えば、言語接触)が確立されて以来、機械翻訳の社会言語学的視点。 0.72
via translationese) can entail language changes (Kranich, 2014). 翻訳による) 言語変化を伴います (Kranich, 2014)。 0.77
If machine translationese (and other types of ‘NLPese’) is a simplified version of the training data, what does that imply from a sociolinguistic perspective and how could this affect language on a longer term? 機械翻訳(および「NLPese」の他のタイプ)がトレーニングデータの簡略化バージョンである場合、それは社会言語学的な視点から何を意味するのか、そしてこれは長期的に言語にどのように影響しますか? 0.74
The main objective of the presented research is to establish whether there is indeed a quantitatively measurable difference between the linguistic richness of an MT system’s training data and its output in terms of morphological and lexical diversity. 本研究の主な目的は,MTシステムのトレーニングデータの言語的豊かさと,形態的および語彙的多様性の観点からのアウトプットの間に,実際に定量的に測定可能な相違があるかどうかを確かめることである。 0.74
To do so, we conduct an in-depth analysis that goes beyond frequently used standard lexical diversity metrics such as TTR, Yule’s I and MTLD. そのためには、TTR、Yule’s I、MTLDなど、一般的に使用される標準語彙多様性指標を超えて詳細な分析を行います。 0.63
We assess the lexical and morphological diversity through an adapted version of the Lexical Frequency Profile used to assess language acquisition, a measure of morphological diversity based on Shannon and Simpson Diversity and an novel automatic evaluation of synonym frequency. 言語獲得のための語彙周波数プロファイルの適応版、シャノンとシンプソンの多様性に基づく形態的多様性の尺度、および新しい同義語周波数の自動評価により、語彙的および形態的多様性を評価する。 0.74
We focus on the most prominent data-driven MT paradigms: Neural MT (NMT), both LSTM (Bahdanau et al., 2015; Sutskever et al., 2014) and Transformer (Vaswani et al., 2017), and Phrase-Based Statistical MT (PBSMT). 我々は、Neural MT(NMT)、LSTM(Bahdanau et al., 2015; Sutskever et al., 2014)、Transformer(Vaswani et al., 2017)、Phrase-Based Statistical MT(PBSMT)の2つの主要なデータ駆動MTパラダイムに焦点を当てた。 0.79
Up to our knowledge this is the first research on lexical and morphological diversity of machine translation output, i.e. 我々の知る限り、これは機械翻訳出力の語彙的および形態学的多様性に関する最初の研究である。 0.75
machine translationese. The contributions of this work can be summarised as: (i) a detailed analysis of lexical and morphological diversity of machine translationese and the loss thereof to quantify the effects of algorithmic bias; (ii) the adaptation of a metric used in language acquisition for assessing lexical sophistication in MT3; (iii) the use of Shannon entropy and Simpson diversity to measure morphological richness, and (iv) a novel, automatic evaluation of synonym frequency. 機械翻訳。 この研究の貢献は、(i)機械翻訳の語彙的および形態学的多様性の詳細な分析とアルゴリズムバイアスの効果を定量化するための損失、(ii)MT3における語彙的洗練度を評価するために言語獲得に使用されるメトリクスの適応、(iii)形態学的豊かさを測定するためにシャノンエントロピーとシンプソン多様性の使用、および(iv)同義語頻度の新規で自動評価。 0.78
2 Related Work Several studies have exposed the societal biases present in datasets (racial bias (Merullo et al., 2019), political bias (Fan et al., 2019), gender bias (Vanmassenhove and Hardmeier, 2018). 2 関連作業 いくつかの研究は、データセットに存在する社会的偏見(人種偏見(Merullo et al., 2019)、政治的偏見(Fan et al., 2019)、ジェンダー偏見(Vanmassenhove and Hardmeier, 2018)を明らかにしている。 0.77
Existing NLP technology are likely to pick up biases present in the training data and various explorations of e.g. 既存のNLP技術は、トレーニングデータや様々な探究におけるバイアスを拾う可能性がある。 0.75
gender bias in NLP systems have indeed re- NLPシステムにおけるジェンダーバイアスは確かに再燃した 0.59
3In fact, our implementation of the LFP metric can be 3 実際には、LFP メトリックの実装は可能である。 0.71
employed for any NLP tasks. 任意のNLPタスクに採用。 0.69
vealed the existence of harmful biases in the output they generate (Bolukbasi et al., 2016; CaliskanIslam et al., 2016; Garg et al., 2018; Vanmassenhove et al., 2018; Stanovsky et al., 2019; Sun et al., 2019; Habash et al., 2019). 生成するアウトプットに有害なバイアスが存在すること(bolukbasi et al., 2016; caliskanislam et al., 2016; garg et al., 2018; vanmassenhove et al., 2018; stanovsky et al., 2019; sun et al., 2019; habash et al., 2019)。
訳抜け防止モード: 彼らが生成する出力(Bolukbasi et al ., 2016 ; CaliskanIslam et al ., 2016 ; Garg et al ., 2016 )に有害なバイアスの存在を確認しました。 2018 ; Vanmassenhove et al ., 2018 ; Stanovsky et al ., 2019 ; Sun et al ., 2019 ; Habash et al ., 2019 )。
0.95
Research related to bias has often focused on gender or race. 偏見に関する研究は、しばしば性別や人種に焦点を当てている。 0.63
Especially in a field such as MT, the implicit gender in a language such as English and its consecutive translations into morphologically richer languages with gender agreement, makes it relatively easy to expose and study biases related to gender in a contrastive linguistic setting. 特にmtのような分野では、英語などの言語における暗黙のジェンダーとその性合意による形態学的に豊かな言語への連続的な翻訳は、比較言語環境において、性に関連するバイアスを比較的容易に暴露し、研究することができる。 0.70
In the context of this paper, we would like to note that (statistical) bias is not limited to gender or race but can be defined as any systematic inaccuracy in one direction leading to an under (or over) estimation of observations. この論文の文脈では、(統計的)バイアスは性別や人種に限定されないが、観察のアンダー(またはオーバー)推定につながる1つの方向における体系的な不正確さとして定義することができることに注意したい。 0.75
A handful of recent work has mentioned the possibility of algorithmic bias on top of the already existing societal biases in the training data (Bolukbasi et al., 2016; Caliskan-Islam et al., 2016; Garg et al., 2018). いくつかの最近の研究では、トレーニングデータの既存の社会的バイアスの上にアルゴリズムバイアスの可能性について言及している(Bolukbasi et al., 2016; Caliskan-Islam et al., 2016; Garg et al., 2018)。 0.81
For instance, Zhao et al. 例えば、Zhao et al。 0.57
(2017) observe a phenomenon they refer to as ‘bias amplification’. (2017)「バイアス増幅」と呼ばれる現象を観察します。 0.70
They note that in their training data an activity such as ‘cooking’ is associated 33% times more with women compared to men. 彼らは、トレーニングデータでは、男性に比べて「料理」のような活動が女性に33%も関連していると指摘している。 0.72
After training a model on that dataset, the existing disparity is amplified to 68% times more associations with women. そのデータセットでモデルをトレーニングした後、既存の格差は女性との関連付けの68%に増幅されます。 0.65
In the field of MT, Vanmassenhove et al. MTの分野では、Vanmassenhove et al。 0.69
(2019) address the effects of statistical bias on language generation in an MT setting. (2019) 統計バイアスがmt設定における言語生成に及ぼす影響について論じる。 0.80
They assess lexical diversity using standard metrics –TTR, MTLD and Yule’s K– and conclude that the translations produced by various MT systems (PB-SMT and NMT) are consistently less diverse than the original training data. 彼らは標準指標であるTTR、MTLD、YuleのKを用いて語彙の多様性を評価し、様々なMTシステム(PB-SMT、NMT)が生成する翻訳は、元のトレーニングデータよりも一貫して多様性が低いと結論付けている。 0.60
Their approach was conducted on NMT systems that were trained without bytepair-encoding (BPE) (Sennrich et al., 2016) which limits the creativity of the translation systems. 彼らのアプローチは、翻訳システムの創造性を制限するBPE(Sennrich et al., 2016)なしで訓練されたNMTシステム上で実行されました。 0.78
Toral (2019) measures the lexical diversity of 18 state-of-the-art systems on 6 language pairs, reaching similar conclusions. Toral(2019)は、6つの言語ペアで18の最先端のシステムの語彙多様性を測定し、同様の結論に達します。 0.56
They do so focusing specifically on post-editese. それらは、ポストエジタイズに特化している。 0.51
The experiments indicate that post-editese is simpler and more normalised than human translationese. 実験では、ポストエディテスはヒトの翻訳語よりも単純で正常化されている。 0.56
The post-editese also shows a higher degree of interference from the source compared to the human translations. 後編集は、ヒトの翻訳に比べてソースからの干渉の度合いが高いことも示している。 0.64
Daems et al. (2017), like Toral (2019), centers around the automatic detection of post-editese and does not look into properties of unedited machine translationese. daemsとal。 (2017)Toral (2019)のように、後編集の自動検出を中心にして、未編集機械翻訳の性質を考察しない。 0.71
(Aranberri, 2020) different freely available MT systems (neural and rule- (aranberri,2020年)異なる自由利用可能なmtシステム(ニューラルとルール) 0.76
In Aranberri アランベリで 0.39
英語(論文から抽出)日本語訳スコア
based) are compared in terms of automatic metrics (BLEU, TER) and translationese features (TTR, length ratio input/output, perplexity, etc.) ベース) 自動測度(BLEU, TER)と翻訳特徴(TTR, 長さ比入出力, パープレキシティなど)で比較される。
訳抜け防止モード: based )は自動メトリクス(BLEU, TER )で比較される。 および翻訳機能(TTR、長さ比入力/出力)。 perplexity (複数形 perplexities)
0.77
to investigate how such features correlate with translation quality. このような特徴が翻訳品質とどのように相関するかを検討する。 0.52
Bizzoni et al. Bizzoniなど。 0.55
(2020) presents a comparison using similar translationese features of three MT architectures and the human translations of spoken and written language. (2020) では, 3つのMTアーキテクチャの類似した翻訳特徴と, 音声・書字言語の人間翻訳との比較を行った。
訳抜け防止モード: (2020)は3つのMTアーキテクチャの類似した翻訳特徴を用いて比較を行う 話し言葉や書き言葉の人間翻訳です
0.85
In the field of PB-SMT, Klebanov and Flor (2013) show that PB-SMT suffers considerably more than human translations (HT) from lexical loss, resulting in loss of lexical tightness and text cohesion. PB-SMT の分野では、Klebanov と Flor (2013) は、PB-SMT が語彙的損失からヒト翻訳(HT)よりもかなり多く苦しめられ、語彙的タイツネスとテキストの凝集が失われることを示した。 0.65
Aharoni et al. Aharoni et al。 0.81
(2014) proof that automatic and human translated sentences can be automatically identified corroborating that human translations systematically differ from the translations produced by PB-SMT systems. (2014) 自動翻訳文と人間の翻訳文がpb-smtシステムで生成された翻訳文と系統的に異なることを自動的に識別できることの証明。 0.68
Aside from Vanmassenhove et al. Vanmassenhove et alから離れて。 0.74
(2019), the above discussed related work uses metrics of lexical diversity to compare human translations to (post-edited) machine translations. (2019) 以上の研究は, 語彙多様性の指標を用いて, 人文翻訳と(後編)機械翻訳を比較した。 0.69
In this work, we compare how and whether the output of an MT system differs (in terms of lexical and morphological diversity) from the data it was originally trained on. 本研究では、MTシステムの出力が(語彙的および形態学的多様性の観点から)当初訓練されたデータとどのように異なるかを比較します。 0.80
This way, we aim to investigate the effect of the algorithm (and algorithmic bias) on language itself. 本研究では,言語自体に対するアルゴリズム(およびアルゴリズムバイアス)の影響を調べることを目的とした。 0.79
3 Machine Translation Systems MT paradigms have changed quickly over the last decades. 3機械翻訳システム MTパラダイムは過去数十年で急速に変化しました。 0.71
Since this is the first attempt to quantify both the lexical and grammatical diversity of machine translationese, we experimented with the current state-of-the-art data-driven paradigms, LSTM and Transformer, as well as with PB-SMT. 機械翻訳の語彙と文法の多様性を定量化する最初の試みであるため、我々は現在最先端のデータ駆動パラダイムであるLSTMとTransformerをPB-SMTとともに実験した。 0.77
We used data from the Europarl corpus (Koehn, 2005) for two language pairs, English–French and English–Spanish in both direction (EN→FR, FR→EN, EN→ES and ES→EN). 両方向(EN→FR, FR→EN, EN→ES, ES→EN)でEuroparl corpus(Koehn, 2005)のデータを用いて検討した。 0.66
We are interested in both directions in order to verify whether there is a difference in terms of (the potential loss of) diversity when comparing translations from a morphologically poorer language (English) into morphologically richer ones (French and Spanish) and vice versa. 我々は、形態的に貧弱な言語(英語)から形態的に豊かな言語(フランス語とスペイン語)への翻訳を比較した場合の多様性(潜在的な損失)の観点で違いがあるかどうかを検証するために、両方の方向に興味を持っている。 0.65
Our data is summarised in Table 1.4 4We ought to address the fact that the Europarl data consists of both human-uttered and translated text which have different properties in terms of diversity. 我々のデータは表1.4で要約されており、europarlデータは、多様性の観点から異なる特性を持つ人間の発話と翻訳の両方からなるという事実に対処すべきである。 0.67
In this work we analyse the impoverishment of data when it passes through the “filter” of the MT system, i.e. この研究では、MTシステムの「フィルタ」を通過するとき、すなわちデータの低下を分析します。 0.69
the effect of algorithm. アルゴリズムの効果です 0.58
As the origin of the data, human-uttered or translated, has no impact on the inherent workings of the MT system we do not take this into account in our analysis. データの起源として、人間の発話や翻訳は、私たちの分析ではこれを考慮に入れていないMTシステムの固有の動作に影響を与えません。 0.71
Lang. pair Train EN-FR/FR-EN 1,467,489 EN-ES/ES-EN 1,472,203 ラン。 ペア 列車 EN-FR/FR-EN 1,467,489 EN-ES/ES-EN 1,472,203 0.53
Test 499,487 459,633 テスト 499,487 459,633 0.64
Dev 7,723 5,734 Dev 7.723 5,734 0.55
Table 1: Number of parallel sentences for the training, testing and development sets. 表1: トレーニング、テスト、開発のための並列文の数。 0.68
The specifics of the MT systems we trained are: PB-SMT For the PB-SMT systems we used Moses (Koehn et al., 2007) with default settings and a 5-gram language model with pruning of bigrams. PB-SMT PB-SMTシステムの場合、デフォルトの設定でMoses(Koehn et al., 2007)を使用し、5グラムの言語モデルでビッグラムを耕しました。 0.66
We also tuned each system using MERT (Och and Ney, 2003) until convergence or for a maximum of 25 iterations. また,収束や最大25イテレーションまで,mert (och and ney, 2003) を用いて各システムをチューニングした。 0.75
During translation we mask unknown words with the UNK token to avoid bleeding through (source) words which would artificially increase the linguistic diversity. 翻訳中、未知の単語をunkトークンで隠して、言語多様性を人工的に増加させる(ソース)単語の出血を避ける。 0.69
NMT For the RNN and Transformer systems we used OpenNMT-py.5 The systems were trained for maximum of 150K steps, saving an intermediate model every 5000 steps or until reaching convergence according to an early stopping criteria of no improvements of the perplexity (scored on the development set) for 5 intermediate models. NMT RNNおよびトランスフォーマーシステムでは、システムは最大150Kステップでトレーニングされ、5000ステップごとに中間モデルを保存するか、5つの中間モデルに対してパープレキシリティ(開発セットに基づいた)の改善がないことの早期停止基準に従って収束に達するまで訓練されました。 0.82
The options we used for the neural systems are: • RNN: size: 512, RNN type: bidirectional LSTM, number of layers of the encoder and of the decoder: 4, attention type: MLP, dropout: 0.2, batch size: 128, learning optimizer: Adam (Kingma and Ba, 2014) and learning rate: 0.0001. RNN: size: 512, RNN type: bidirectional LSTM, number of layer of the encoder and of the decoder: 4, attention type: MLP, dropout: 0.2, batch size: 128, learning optimizationr: Adam (Kingma and Ba, 2014) and learning rate: 0.0001。 0.69
• Transformer: number of layers: 6, size: 512, transformer ff: 2048, number of heads: 8, dropout: 0.1, batch size: 4096, batch type: tokens, learning optimizer Adam with beta2 = 0.998, learning rate: 2. • transformer: number of layers: 6, size: 512, transformer ff: 2048, number of heads: 8, dropout: 0.1, batch size: 4096, batch type: tokens, learning optimizer adam with beta2 = 0.998, learning rate: 2。 0.92
All NMT systems have the learning rate decay enabled and their training is distributed over 4 nVidia 1080Ti GPUs. すべてのNMTシステムは学習速度の減衰を有効にし、トレーニングは4nVidia 1080Ti GPUに分散される。 0.80
The selected settings for the RNN systems are optimal according to Britz et al. RNN システムの選択された設定は Britz らに従って最適です。 0.75
(2017); for the Transformer we use the settings suggested by the OpenNMT community6 as the optimal ones that lead to quality on par with the original Transformer work (Vaswani et al., 2017). (2017); トランスフォーマーに関しては、opennmt community6が提案した設定を、オリジナルのトランスフォーマー作業と同等の品質をもたらす最適な設定として使用します(vaswani et al., 2017)。 0.79
For training, testing and validation of the systems we used the same data. システムのトレーニング、テスト、検証には、同じデータを使用しました。 0.77
To build the vocabularies for the NMT systems we used sub-word units, allowing NMT to be more creative; using sub-word units also mitigates to a certain extent the out of vo- NMTシステムの語彙を構築するために、私たちはサブワードユニットを使用して、NMTをより創造的にしました。 0.59
5https://opennmt.net /OpenNMT-py/ 6http://opennmt.net/ OpenNMT-py/FAQ. 5https://opennmt.net /OpenNMT-py/ 6http://opennmt.net/ OpenNMT-py/FAQ 0.33
html html 0.85
英語(論文から抽出)日本語訳スコア
cabulary problem. To compute the sub-word units we used BPE with 50,000 merging operations for all our data sets. 語彙の問題だ サブワード単位を計算するために、すべてのデータセットに対して50,000のマージ操作でBPEを使用しました。
訳抜け防止モード: 語彙の問題だ サブワード単位を計算する すべてのデータセットに5万のマージ操作でBPEを使用しました。
0.59
In Table 2 we present the vocabulary sizes of the data used to train our PB-SMT and NMT systems. 表2では、PB-SMTおよびNMTシステムのトレーニングに使用されるデータの語彙サイズを示す。 0.83
Lang. pair EN EN-FR/FR-EN 113,132 EN-ES/ES-EN 113,692 ラン。 ペア EN EN-FR/FR-EN 113,132 EN-ES/ES-EN 113,692 0.57
FR/ES 131,104 168,195 FR/ES 131,104 168,195 0.47
EN 47,628 47,639 EN 47,628 47,639 0.68
FR/ES 48,459 49,283 FR/ES 48,459 49,283 0.47
no BPE with BPE BPEなし BPEで 0.74
Table 2: Vocabulary sizes. For completeness we also present the vocabulary size without BPE, i.e. 表2:語彙サイズ。 完全性のため、BPEのない語彙サイズも提示する。 0.70
the number of unique words in the corpora. コーポラのユニークな単語の数。 0.52
The quality of our MT systems is evaluated on the test set using standard evaluation metrics – BLEU (Papineni et al., 2002) (as implemented in SacreBLEU (Post, 2018)) and TER (Snover et al., 2006) (as implemented in Multeval (Clark et al., 2011)). 当社のMTシステムの品質は、標準評価指標であるBLEU (Papineni et al., 2002) (SacreBLEU (Post, 2018)) およびTER (Snover et al., 2006) (Multeval (Clark et al., 2011) を使用してテストセットで評価されます。 0.73
Our evaluation scores are presented in Table 3. 評価スコアは表3に示します。 0.63
System PB-SMT LSTM TRANS システムPB-SMT LSTMtrans 0.88
System PB-SMT LSTM TRANS システムPB-SMT LSTMtrans 0.88
English as source EN→FR EN→ES 英語 EN→FR EN→ES 0.65
BLEU↑ 35.7 34.2 37.2 BLEUU 35.7 34.2 37.2 0.41
TER↓ BLEU↑ 38.6 50.7 38.2 50.9 48.7 40.9 38.6 50.7 38.2 50.9 48.7 40.9 0.46
English as target FR→EN ターゲットFR→ENとしての英語 0.48
ES→EN TER↓ 45.9 45.3 43.4 ES→EN 45.9 45.3 43.4 0.51
44.0 44.7 41.4 44.0 44.7 41.4 0.47
36.2 34.6 37.0 36.2 34.6 37.0 0.47
47.1 48.2 46.4 47.1 48.2 46.4 0.47
39.3 38.1 41.3 39.3 38.1 41.3 0.47
Table 3: Quality evaluation scores for our MT systems. 表3:当社のMTシステムの品質評価スコア。 0.74
TRANS denotes Transformer systems. transはトランスフォーマーシステムを表す。 0.57
We computed pairwise statistical significance using bootstrap resampling (Koehn, 2004) and a 95% confidence interval. ブートストラップ再サンプリング (Koehn, 2004) と95%信頼区間を用いて, 両値の統計的意義を計算した。 0.70
The results shown in Table 3 are all statistically significant based on 1000 iterations and samples of 100 sentences. 表3に示す結果は、すべて1000のイテレーションと100文のサンプルに基づいて統計的に有意です。 0.79
All metrics show the same performance trends for all language pairs: Transformer (TRANS) outperforms all other systems, followed by PB-SMT, and LSTM. すべてのメトリクスは、すべての言語ペアで同じパフォーマンストレンドを示しています。Transformer(TRANS)は、他のすべてのシステムよりも優れ、PB-SMT、LSTMが続きます。
訳抜け防止モード: すべてのメトリクスは、すべての言語ペアで同じパフォーマンス傾向を示す。 Transformer (Trans ) は他のシステムよりも優れており、PB - SMT と LSTM が続く。
0.69
For all PB-SMT we replaced marked unknown words with only one token “UNK”. すべてのPB-SMTでは、マークされていない単語を1つのトークン "UNK" に置き換えました。 0.52
While this does not effect the computation of BLEU and TER, it allows us not to artificially boost the lexical and grammatical scores for these MT engines (see Section 4) and assess their realistic dimensions. これはBLEUとTERの計算には影響しませんが、これらのMTエンジンの語彙的および文法的スコアを人工的に上昇させないようにします(セクション4を参照)。 0.67
4 Experiments and Results Assessing linguistic complexity is a multifaceted task spanning over various domains (lexis, morphology, syntax, etc.). 4 言語複雑性を評価する実験と結果は、様々な領域(語彙、形態、構文など)にまたがる多面的なタスクである。 0.77
The lexical and grammatical diversity are two of its major components (Bachman, 2004; Bult´e et al., 2008; Bult´e, 2013). 語彙学と文法学 多様性は2つの主要な構成要素である(Bachman, 2004; Bult ́e et al., 2008; Bult ́e, 2013)。 0.70
As such, we conduct an analysis using (i) lexical diversity and sophistication metrics (Section 4.2) and (ii) grammatical diversity metrics (Section 4.3). そこで,<i>Lexical diversity and sophistication metrics (Section 4.2) と (ii) 文法的多様性指標 (Section 4.3) を用いて分析を行った。 0.83
For lexical diversity, we use the following metrics: an adapted version of the Lexical Frequency Profile (LFP), three standard metrics commonly used to assess diversity –TTR, Yule’s I and MTLD–, and three new metrics based on synonym frequency in translations. レキシカル多様性のために、我々は次の指標を使用します:レキシカル頻度プロファイル(LFP)の適応版、多様性を評価するのに一般的に使用される3つの標準メトリック - TTR、YuleのIとMTLD - そして翻訳における同義語頻度に基づく3つの新しいメトリクス。 0.67
Up to our knowledge, this research is the first to employ LFP to analyze synthetic data. 私たちの知る限り、この研究は合成データを分析するためにLFPを採用した最初のものです。 0.68
For grammatical diversity, we focus specifically on morphological inflectional diversity. 文法的多様性については、形態的屈折多様性に特化して着目する。 0.45
We adopt the Shannon entropy and Simpson’s diversity index to compute the entropy of the inflectional paradigms of lemmas, measuring the abundance and the evenness of wordforms per lemma. 我々は、シャノンエントロピーとシンプソンの多様性指数を用いて、補題の帰納的パラダイムのエントロピーを計算し、補題当たりの単語形式の存在量と偶数を測定する。 0.70
Next, we will discuss the evaluation data and the aforementioned metrics designed in order to compare the diversity of the training data with the machine translationese. 次に、トレーニングデータの多様性と機械翻訳の多様性を比較するために設計された評価データと上記のメトリクスについて論じる。 0.79
Our evaluation scripts are available at https://github.com/d imitarsh1/ BiasMT; due to its large size, the data is not hosted in the github repository but is available upon request. 当社の評価スクリプトはhttps://github.com/d imitarsh1/ BiasMTで利用できます。
訳抜け防止モード: 評価スクリプトはhttps://github.com/d imitarsh1/ BiasMTで入手できます。 サイズが大きいため、データはgithubリポジトリにホストされません。 しかし要求に応じて利用できます。
0.68
4.1 Evaluation data To observe the effects of the MT algorithm on linguistic diversity, we used the MT engines (Section 3) to translate the source side of the training set, i.e. 4.1 評価データ MTアルゴリズムが言語の多様性に与える影響を観察するために、トレーニングセットのソース側を翻訳するためにMTエンジン(セクション3)を使用しました。 0.88
completely observed data. 完全に観測されたデータです 0.56
Data that has fully been observed during training is most suitable for our objectives as we are interested in the effects of the algorithm on language itself. トレーニング中に完全に観察されたデータは、アルゴリズムが言語自体に与える影響に関心があるので、私たちの目的に最適です。 0.80
It is also the most favourable translation (and evaluation) scenario for the MT systems since all data has been observed. また、すべてのデータが観察されているため、MTシステムにとって最も好ましい翻訳(および評価)シナリオです。 0.74
4.2 Lexical Diversity Lexical Frequency Profile To look at the lexical sophistication and diversity in the text produced by the MT systems, we adapted the Lexical Frequency Profile (LFP) method (Laufer, 1994; Laufer and Nation, 1995). 4.2 Lexical Diversity Lexical Frequency Profile MTシステムによって作成されたテキストの語彙的洗練と多様性を検討するため、Lexical Frequency Profile (LFP) 法を適用した(Laufer, 1994; Laufer and Nation, 1995)。 0.91
LFP is a measure that stems from research in second language (L2) acquisition and student writing methods. LFPは第二言語(L2)の習得と学生の書き方の研究に由来する尺度である。 0.82
It is designed to study the lexical diversity or sophistication in texts produced by L2 learners. L2学習者によるテキストの語彙的多様性や高度化の研究を目的としている。 0.61
It is based on the observation that texts including a higher proportion of less frequent words are more sophisticated than those containing 頻度の低い単語を多く含むテキストは、含んでいるテキストよりも洗練されているという観察に基づいている。
訳抜け防止モード: 観察に基づいています 頻度の低い単語の比率が高いテキストは、含むテキストよりも洗練されている
0.76
英語(論文から抽出)日本語訳スコア
higher proportions of more frequent words (Kyle, 2019). より頻繁な単語の割合が高い(Kyle, 2019)。 0.75
The LFP method measures diversity and sophistication by looking at frequency bands. LFP法は周波数帯域を用いて多様性と高度度を測定する。 0.67
In its original version, the LFP analysis would distinguish between 4 bands: (i) percentage of words in a text belonging to the 1000 most frequent words in that language, (ii) percentage of words in a text belonging to the next 1000 most frequent words, (iii) a list of academic words that did not occur in the first 2000 words and (iv) the remaining words. 最初のバージョンでは、LFP分析は、(i)その言語で最も頻繁な単語に属するテキスト中の単語の割合、(ii)次の1000の最も頻繁な単語に属するテキスト中の単語の割合、(iii)最初の2000語で発生しなかった学術用語のリスト、および(iv)残りの単語の4つのバンドを区別する。 0.69
The lists used to determine the word bands are predefined word lists such as Nation’s word lists (Nation, 1984). 単語バンドを決定するために使用されるリストは、Nationの単語リスト(Nation、1984)などの事前定義された単語リストです。 0.72
One shortcoming of the approach is that a mismatch between reference corpus and the target text can lead to misleading outcomes. このアプローチの欠点の1つは、参照コーパスとターゲットテキストのミスマッチが誤解を招く可能性があることである。 0.64
However, since we are looking into the (side-)effects of the training algorithm, instead of using preset word lists in order to compute the LFP, we use the original training data to generate the word frequency lists. しかし、学習アルゴリズムの(副次的な)効果を考察するため、事前設定された単語リストを使用してlfpを計算するのではなく、元のトレーニングデータを使用して単語頻度リストを生成する。 0.80
This allows for a better comparison between the original data and the machine translationese while bypassing the potential mismatch issue. これにより、潜在的なミスマッチ問題を回避しながら、元のデータと機械翻訳のより良い比較が可能になる。 0.68
Several studies (Crossley et al., 2013; Laufer, 1994; Laufer and Nation, 1995) have employed the LFP method to assess L2 acquisition in learners. いくつかの研究(Crossley et al., 2013; Laufer, 1994; Laufer and Nation, 1995)はLFP法を用いて学習者のL2獲得を評価する。 0.84
From these studies, it resulted that the less proficient a user of an L2, the more words belonged to the first band and the least words belong to the list of academic words or the remaining words (band 3 and 4 respectively of the original formulation). これらの研究から、l2の利用者の習熟度が低いほど、第1のバンドに属する単語が多くなり、最少の単語が学術用語のリストや残りの単語(それぞれ第3、第4のオリジナル構成)に属することが判明した。 0.72
The lexical profile mentioned above is a detailed profile, showing 4 types of words used by the learner. 上述の語彙プロファイルは、学習者が使用する4種類の単語を示す詳細なプロファイルである。 0.77
Because of interpretability issues, the ‘Beyond 2000’ is also frequently used to assess the profile of the users. 解釈可能性の問題から、‘Beyond 2000’ はユーザのプロファイルを評価するために頻繁に使用される。 0.80
It distinguishes between the first two bands (comprising of the first 2000 words) and the rest. 最初の2つのバンド(最初の2000語を含む)と残りを区別する。 0.66
This condensed profile has been found equally reliable and valid as the original LFP having the advantage that it reduces the profile to one single score facilitating a comparison between learners (or in our case MT systems). この凝縮プロファイルは、学習者(または私たちの場合MTシステム)間の比較を容易にする単一のスコアにプロファイルを減らすという利点を有する元のLFPとして同様に信頼性と有効であることが判明しました。 0.73
Since we are interested in the difference between the original training data and the output of the MT systems, we compute the frequency bands on the original training data instead of based on pre-set word lists used in L2 research. 我々は、mtシステムの出力と元のトレーニングデータの違いに関心があるため、l2研究で使われる予め設定された単語リストに基づいて、元のトレーニングデータの周波数帯域を計算する。 0.81
As such, we leave out the third band consisting of a list of academic words. そのため、学術用語のリストからなる第3のバンドを除外します。 0.65
Presenting and computing the LFP this way, will give us immediately the ‘Beyond 2000’ metric score as well (as we distinguish between three LFPをこのように提示し、計算することで、すぐに‘Beyond 2000’のスコアも得られる(3つを区別する)。 0.73
B1 79.80 ORIG PB-SMT 81.78 82.95 LSTM TRANS 82.01 B1 79.80 PB-SMT 81.78 82.95 LSTM Trans 82.01 0.56
B1 80.83 ORIG PB-SMT 82.06 83.23 LSTM TRANS 82.25 B1 80.83 PB-SMT 82.06 83.23 LSTM Trans 82.25 0.56
FR B2 6.59 6.48 6.18 6.24 ENF R B2 7.10 7.04 6.93 7.05 FR B2 6.59 6.48 6.18 ENF R B2 7.10 7.04 6.93 7.05 0.56
B3 13.61 11.74 10.88 11.75 B3 13.61 11.74 10.88 11.75 0.47
B3 12.07 10.90 9.81 10.70 B3 12.07 10.90 9.81 10.70 0.47
B1 77.80 79.77 80.34 82.35 B1 77.80 79.77 80.34 82.35 0.47
B1 80.81 82.25 83.29 82.35 B1 80.81 82.25 83.29 82.35 0.47
ES B2 6.83 6.86 6.84 6.99 ENES B2 7.11 7.01 6.93 6.99 ES B2 6.83 6.86 6.84 6.99 ENES B2 7.11 7.01 6.93 6.99 0.49
B3 15.36 13.36 12.81 10.67 B3 15.36 13.36 12.81 10.67 0.47
B3 12.08 10.74 9.78 10.67 B3 12.08 10.74 9.78 10.67 0.47
Table 4: Lexical Frequency Profile (French, Spanish, English (ENF R and ENES) with 3 bands (B1: 0-1000, B2: 1001-2000, B3: 2001-end) for the original data and the output of the MT systems. 表4: lexical frequency profile(フランス語、スペイン語、英語(enf r、enes)) 3つのバンド(b1: 0-1000、b2: 1001-2000、b3: 2001-end)によるオリジナルデータとmtシステムの出力。 0.80
bands only, the last one being anything beyond the first 2000 words). バンドのみ、最後のものは最初の2000語を超えたものです)。 0.80
The LFP for French, Spanish and English, from the EN→FR, EN→ES, FR→EN (denoted as ENF R) and ES→EN (denoted as ENES) data is presented in Table 4. EN→FR、EN→ES、FR→EN(ENF R)、ES→→(ENES)のデータから、フランス語、スペイン語、英語でのLFPを表4に示します。 0.75
It shows that the original data is consistently more diverse than the output of the MT systems as (i) the percentage of text occupied by the 1000 most frequent words (B1) is lower than in the corresponding B1 scores for all MT systems which implies that the 1000 most frequent words take up a smaller percentage of the text in the original training data compared to in the output of the different MT systems; and (ii) the so-called ‘Beyond 2000’ measure, which in our LFP is equal to the third band (B3), showing us the percentage of text occupied by the words that do not belong to the first two bands, is consistently higher for the original data compared to the MT systems (meaning that the less frequent words occupy a bigger proportion of the original data than they do in its machine translationese variants). It shows that the original data is consistently more diverse than the output of the MT systems as (i) the percentage of text occupied by the 1000 most frequent words (B1) is lower than in the corresponding B1 scores for all MT systems which implies that the 1000 most frequent words take up a smaller percentage of the text in the original training data compared to in the output of the different MT systems; and (ii) the so-called ‘Beyond 2000’ measure, which in our LFP is equal to the third band (B3), showing us the percentage of text occupied by the words that do not belong to the first two bands, is consistently higher for the original data compared to the MT systems (meaning that the less frequent words occupy a bigger proportion of the original data than they do in its machine translationese variants). 0.88
Note that it has been established that LFPs are large-grained so small gains in vocabulary are likely to be obscured (Kyle, 2019). LFPは大きな粒度であるため、語彙の小さな利得が曖昧になる可能性があることに注意してください(Kyle、2019)。 0.69
The results indicate a consistent and clear difference between the original data and the different types of machine translationese for all language pairs. 結果は、元のデータと全ての言語対に対する異なるタイプの機械翻訳文との一貫性と明確な違いを示している。 0.79
Aside from the different LFP scores between the training data and the translations, we also see a difference between the languages themselves. トレーニングデータと翻訳の間の異なるLFPスコアとは別に、言語自体の違いも見られます。 0.71
French and Spanish have more variety (higher B1 and lower B3 (Beyond 2000) values) compared to ENES and ENF R. Since the LFPs are computed on tokens, this reflects the richer morphology in French and Spanish compared to English. フランス語とスペイン語は、ENESとENF Rと比較してB1とB3(Beyond 2000)の値よりも多種多様です。LFPはトークンで計算されるため、英語と比較してフランス語とスペイン語の豊かな形態を反映しています。 0.67
英語(論文から抽出)日本語訳スコア
TTR, Yule’s I and MTLD For completeness, we also present three more commonly used measures of lexical diversity: type/token ratio (TTR) (Templin, 1975), Yule’s K (in practice, we use the reverse Yule’s I) (Yule, 1944), and the measure of textual lexical diversity (MTLD) (McCarthy, 2005). TTR, Yule's I and MTLD 完全性については, タイプ/トケン比 (TTR) (Templin, 1975), Yule's K (実際にはYule's I) (Yule, 1944), and the measure of textual lexical diversity (MTLD) (McCarthy, 2005) という3つの一般的な語彙多様性尺度も提示する。 0.75
TTR presents the ratio of the total number of different words (types) to the total number of words (tokens). TTRは、異なる単語(型)の総数と単語(トークン)の総数との比率を示す。 0.64
Higher TTR indicates a higher degree of lexical diversity. 高いTTRは、より高い語彙多様性を示す。 0.68
Yule’s characteristic constant (Yule’s K) (Yule, 1944) measures constancy of text as the repetitiveness of vocabulary. yule's k (yule's k) (yule, 1944) は語彙の反復性としてテキストの定数を測定する。 0.76
Yule’s K and its inverse Yule’s I are considered to be more resilient to fluctuations related to text length than TTR (Oakes and Ji, 2013). Yule の K とその逆の Yule の I は TTR (Oakes and Ji, 2013) よりもテキスト長に関連するゆらぎに耐性があると考えられている。 0.83
The third lexical diversity metric is MTLD. 第3の語彙多様性メトリックはMTLDである。 0.62
MTLD is evaluated sequentially as the mean length of sequential word strings in a text that maintains a given TTR value (McCarthy, 2005).7 We present the scores for TTR, Yule’s I and MTLD for our data and MT engines in Table 5. MTLDは、与えられたTTR値(McCarthy, 2005)を維持するテキスト中のシーケンシャルワードストリングの平均長として順次評価されます。7 表5では、TTR、Yule’s I、MTLDのデータおよびMTLDのスコアを表5に示します。
訳抜け防止モード: MTLDは、所定のTRR値を保持するテキストにおいて、シーケンシャルワード文字列の平均長として順次評価される(マッカーシー)。 2005)7 TTR, Yule の I および MTLD のデータと MT エンジンのスコアを表5に示す。
0.84
FR ENF R ES FR ENF R ES 0.85
12.31 4.02 2.95 6.23 ENES 12.31.02 2.95 6.23 ENES 0.52
TTR Yule’s I MTLD TTR Yule’s I MTLD 96.23 3.02 ORIG 92.01 PB-SMT 1.79 86.57 1.56 LSTM TRANS 2.07 95.72 TTR Yule’s I MTLD TTR Yule’s I MTLD 96.23 3.02 ORIG 92.01 PB-SMT 1.79 86.57 1.56 LSTM Trans 2.07 95.72 0.68
9.28 119.40 4.08 3.00 112.00 2.37 2.14 104.89 2.03 3.82 115.66 2.89 9.28 119.40 4.08 3.00 112.00 2.37 2.14 104.89 2.03 3.82 115.66 2.89 0.41
TTR Yule’s I MTLD TTR Yule’s I MTLD 6.61 108.46 2.89 ORIG 93.18 2.25 PB-SMT 1.74 LSTM 1.50 1.42 87.91 99.62 3.26 2.04 TRANS TTR Yule's I MTLD TTR Yule's I MTLD 6.61 108.46 2.89 ORIG 93.18.25 PB-SMT 1.74 LSTM 1.50 1.42 87.91 99.62 3.26 2.04 Trans 0.62
6.64 108.70 2.88 2.07 94.65 1.82 1.53 86.93 1.44 3.10 101.95 2.09 6.64 108.70 2.88 2.07 94.65 1.82 1.53 86.93 1.44 3.10 101.95 2.09 0.41
Table 5: TTR, Yule’s I and MTLD scores. 表5:TTR、Yule’s I、MTLDスコア。 0.56
For all metrics, higher scores indicate higher lexical richness. すべての指標において、高いスコアは語彙豊かさを示す。 0.55
For ease of readability and comparison we multiplied TTR scores by 1,000 and Yule’s I scores by 10,000. 読みやすさと比較の容易さのために、TTRスコアを1000、YuleのIスコアを10,000に乗じた。 0.58
The scores in Table 5 show that, overall, and according to all three metrics, the original training data has a higher lexical diversity than the machine translationese. 表5のスコアは、全体的な3つの指標によって、オリジナルのトレーニングデータは機械翻訳よりも語彙の多様性が高いことを示している。 0.73
The data for the morphologically richer languages (FR, ES) as well as its machine translationese variants (PB-SMT, LSTM and TRANS) have higher lexical richness than the morphologically poor(er) language (EN). 形態学的に豊かな言語 (FR, ES) と機械翻訳の変種 (PB-SMT, LSTM, Trans) のデータは, 形態学的に貧弱な言語 (EN) よりも語彙的富度が高い。 0.80
Synonym Frequency Analysis The objective of synonym frequency analysis is to understand, for words with multiple possible translations, with 同義語頻度分析 同義語頻度分析の目的は、複数の可能な翻訳を持つ単語を理解することです。 0.74
7In our experiments we used 0.72 as a TTR threshold. 7 実験では 0.72 をttr閾値とした。 0.68
FR ES PTF↓ CDU↓ SynTTR↑ PTF↓ CDU↓ SynTTR↑ 21.13 9.666 2.725 ORIG 17.4 PB-SMT 9.715 2.957 15.34 LSTM 9.748 3.154 TRANS 9.717 3.077 17.15 FR ES pb-smt 9.715 2.957 15.34 lstm 9.748 3.154 trans 9.717 3.077 17.15 0.76
9.131 4.539 9.236 4.637 9.32 4.782 9.285 4.687 9.131 4.539 9.236 4.637 9.32 4.782 9.285 4.687 0.42
15.10 11.87 10.96 12.25 15.10 11.87 10.96 12.25 0.45
Table 6: Synonym frequency metrics for our MT systems: primary translation frequency (PTF), cosine distance from uniform (CDU) and TTR modified to only consider words with multiple translation options (SynTTR). 表6: MTシステムにおける同期周波数メトリクス: 一次翻訳周波数(PTF)、均一(CDU)からのコサイン距離(CDU)、および複数の翻訳オプションを持つ単語のみを考慮したTTR(SynTTR)。 0.77
The SynTTR scores were multiplied by 100,00 for easier viewing. SynTTRのスコアは100,00に乗じて見やすくなった。 0.66
Higher SynTTR scores indicate greater diversity, while lower PTF and CDU scores indicate greater diversity. 高いSynTTRスコアはより多様性を示すが、低いPTFスコアとCDUスコアはより多様性を示す。 0.55
what frequency the various translations for a given word appear in the translated text. 翻訳文には、ある単語に対する様々な翻訳の頻度が現れる。 0.66
It is called synonym frequency in reference to the fact that when translating from one language to another, it is common for a word in the source language to have a corresponding word in the target language to which the source word is typically translated, and that primary translated word can have many synonyms that constitute acceptable alternative translation options. ある言語から別の言語へ翻訳する場合、ソース言語の単語が対象言語に対応する単語を持ち、ソース語が通常翻訳されるのが一般的であり、一次翻訳語は許容される代替翻訳オプションを構成する多くの同義語を持つことができるという事実から、同義語周波数と呼ばれる。 0.80
Note that we perform this analysis only in one direction: from English into the morphologically richer languages French and Spanish. この分析は、英語からフランス語とスペイン語の形態学的に豊かな言語への一方向のみに行われることに注意してください。 0.59
To examine synonym frequency, we first lemmatize the text using SpaCy.8 Next, we map all nouns, verbs, and adjectives in the source to their possible translation options retrieved from bilingual dictionaries.9 同義語頻度を調べるために、まずspacy.8を用いてテキストを補間し、次に、ソース内のすべての名詞、動詞、形容詞を、バイリンガル辞書から検索可能な翻訳オプションにマップする。 0.59
We then count the number of appearances of these different translation options for the ORIG as well as the MT data. 次に、ORIGとMTデータに対して、これらの異なる翻訳オプションの出現数をカウントする。 0.66
For example, for the English word “look” with translation options in Spanish {“mirar”, “esperar”, “buscar”, “parecer”, “dar”, “vistazo”, “aspecto”, “ojeada”, “mirada”}, the number of appearances in the TRANS data are as follows: {(“mirar”: 4002), (“esperar”: 3302), (“buscar”: 2814), (“parecer”: 1144), (“dar”: 977), (“vistazo”: 182), (“aspecto”: 46), (“ojeada”: 0), (“mirada”: 0)}. 例えば、スペイン語の "mirar", "esperar", "buscar", "parecer", "dar", "vistazo", "aspecto", "ojeada", "mirada"} の翻訳オプションを持つ英語の "look" では、変換データの出現数は次のようになる: {("mirar": 4002), ("esperar": 3302), ("buscar": 2814), ("parecer": 1144), ("dar": 977), ("vistazo": 182), ("aspecto": 46), ("ojeada": 0), ("mirada": 0), ("mirada": 0") である。
訳抜け防止モード: 例えば、スペイン語の翻訳オプションを持つ英語の単語「ルック」の場合、{「mirar」。 esperar」、「buscar」、「parecer」。 dar」、「vistazo」、「 aspectso」。 ojeada ”、“mirada ” }、transデータ内の外観の数は次の通りです: { ( "mirar " : 4002 )。 ( “ esperar ” : 3302 ), ( “ buscar ” : 2814 ), ( “ parecer ” : 1144 ), ( “ dar ” : 977 ), ( “ vistazo ” : 182 ), ( “ aspecto ” : 46 ), ( “ ojeada ” : 0 ), ( “ mirada ” : 0 ) } .
0.69
From this mapping of translation option to number of appearances we take a vector consisting only of the numbers of appearances for each translation option, and refer to this as a translated word distribution. この翻訳オプションのマッピングから出現数まで、各翻訳オプションの出現数のみからなるベクターを取り、これを翻訳された単語分布と呼びます。 0.68
That is, for the aforementioned example, the distribution vector is: {4002, 3302, 2014, 1144, 997, 182, 46, 0, 0}. すなわち、上記の例では、分布ベクトルは {4002, 3302, 2014 1144, 997, 182, 46, 0, 0} である。
訳抜け防止モード: つまり、上記の例では、分布ベクトルは : { 4002, である。 3302, 2014, 1144, 997, 182, 46, 0 , 0 } .
0.83
We use these counts and distributions as described below. 以下に示すように、これらのカウントと分布を用いる。 0.59
8https://spacy.io/ 9English-Spanish: https://github.com/m ananoreboton/en- 8https://spacy.io/ 9English-Spanish: https://github.com/m ananoreboton/en- 0.39
es-en-Dic, English-French: https://freedict.org /downloads es-en-Dic, English- French: https://freedict.org /downloads 0.47
英語(論文から抽出)日本語訳スコア
Our first synonym frequency metric deals directly with the primary translation frequency (PTF), where the “primary translation” is the translation for a given source word that appears in the target text most often. 私たちの最初の同義語周波数メトリックは、主要な翻訳頻度(PTF)を直接扱います。「一次翻訳」は、ターゲットテキストに最も頻繁に現れる特定のソースワードの翻訳です。 0.82
We argue that selecting secondary translation options for each source word less frequently, and selecting the primary option more frequently, indicates a decrease of lexical diversity. 本稿では,各単語の2次翻訳オプションの選択頻度を低くし,選択頻度を高くすることで,語彙の多様性の低下を示唆する。 0.73
We measure the PTF by taking the average primary translation prevalence over all source words for each MT system. MTシステム毎のすべてのソース語に対する平均一次翻訳頻度を計測することにより、PTFを測定する。 0.73
As a second metric we used the cosine distance between a uniform translated word distribution, where each translation option would be equally prevalent, and the actual translation distributions (we denote this metric as CDU). 第2のメトリックとして、各翻訳オプションが等しく普及する一様翻訳語分布と実際の翻訳分布との間のコサイン距離を使いました(このメトリックをcduと表現します)。 0.78
While the ideal distribution of translations for a given word is almost certainly non-uniform (and therefore not perfectly diverse), this metric still gives valuable information about the tendencies of different systems to favor certain translation options over others. 与えられた単語に対する翻訳の理想的な分布は、ほぼ確実に一様ではない(したがって完全ではない)が、この計量は、他の単語よりも特定の翻訳オプションを好む異なるシステムの傾向についての貴重な情報を与える。 0.66
The third metric is a modified TTR which we refer to as Synonym TTR (or SynTTR). 3番目のメトリックは、Synonym TTR(またはSynTTR)と呼ばれる修正TTRです。 0.76
Unlike with regular type/token ratio, rather than considering all tokens that appear in the text, we consider as types only translation options from the source-target mappings described above and as tokens we consider only appearances of valid types. 通常のタイプ/トークン比率とは異なり、テキストに現れるすべてのトークンを考慮するのではなく、上記のソースターゲットマッピングからの型のみの翻訳オプションと、有効なタイプの出現のみを検討します。 0.73
This metric exposes where translation systems completely drop viable translation options from their vocabulary. このメトリクスは、翻訳システムが語彙から実行可能な翻訳オプションを完全に捨てる場所を示す。 0.69
Table 6 shows the results for these 3 metrics. 表6は、これら3つのメトリクスの結果を示しています。 0.53
Interestingly, the MT systems can be ranked in the same order according to all these metrics: PB-SMT > TRANS > LSTM, where > denotes the comparison of lexical diversity (higher to lower). 興味深いことに、MTシステムは、PB-SMT > Trans > LSTMのすべてのメトリクスに従って同じ順序でランク付けすることができます。
訳抜け防止モード: 興味深いことに、MTシステムはこれらの測定値(PB - SMT > Trans > LSTM)に応じて同じ順にランク付けできる。 ここで > は語彙の多様性の比較を表します (上から下)。
0.70
However, across the 3 metrics, for both language pairs, the reference translations (ORIG) appear to be the most lexically diverse in terms of synonym frequency, with the lowest PTF and CDU and highest SynTTR. しかし、両方の言語ペアの3つの指標において、参照翻訳(ORIG)は同義語の頻度で最も典型的に多様で、PTFとCDUが最も低く、SynTTRが最も高い。
訳抜け防止モード: しかし、両方の言語ペアの3つのメトリクスにまたがります。 参照翻訳(ORIG)は、同義語の頻度で最も語彙的に多様であるようです。 最も低いPTFおよびCDUおよび最も高いSynTTRを使って。
0.75
This reinforces the idea that MT algorithms have a negative impact on the diversity of language. これにより、MTアルゴリズムが言語の多様性に悪影響を及ぼすという考えが強まる。 0.74
4.3 Grammatical Diversity 4.3 文法的多様性 0.48
Grammatical diversity manifests itself on the sentence (syntactic complexity) and word level (morphological complexity). 文法的多様性は文(構文的複雑性)と単語レベル(形態学的複雑性)に現れます。 0.68
With our experiments, we focus on the morphological complexity by averaging the inflectional diversity of all lemmas. 実験では,全ての補題の帰納的多様性を平均化することにより,形態的複雑性に着目する。 0.64
To do so, we adopted two measures, originating from Information Theory: Shannon entropy (Shannon, 1948) and Simpson’s Diversity Index (Simpson, そのために、情報理論から派生した2つの尺度、shannon entropy (shannon, 1948) と simpson's diversity index (simpson, simpson) を採用した。 0.82
1949). The former emphasizes on the richness aspect of diversity while the latter on the evenness aspect of diversity. 1949). 前者は多様性の豊かさ、後者は多様性の均等さを強調している。 0.73
We used the Spacy-udpipe lemmatizer to retrieve all lemmas.10 Shannon Entropy Shannon entropy (H) measures the level of uncertainty associated with a random variable (X). ランダム変数(X)に関連する不確実性のレベルを測定するため,Shannon Entropy Shannon Entropy Shannon Entropy (H) を全補題の回収にSpacy-udpipe lemmatizerを用いた。 0.73
It has been applied in use-cases from economy, ecology, biology, complex systems, language and many others (Page, 2007, 2011). 経済、生態学、生物学、複雑なシステム、言語、その他多くのユースケースで採用されている(Page, 2007 2011)。 0.76
In the study of language Shannon entropy has previously been used for estimating the entropy of language models (Behr et al., 2003). 言語研究において、シャノンエントロピーは言語モデルのエントロピーの推定に用いられてきた(behr et al., 2003)。 0.76
We use it to measure the entropy of wordforms given a lemma. 我々は、補題を与えられた単語のエントロピーを測定するためにそれを使用する。 0.51
In particular, the entropy of inflectional paradigm of a specific lemma could be computed by taking the base frequency of that lemma (frequency of all wordforms associated with that lemma) and the probabilities of all the wordforms within the inflectional paradigm of that particular lemma. 特に、特定の補題の帰納的パラダイムのエントロピーは、その補題の基底周波数(その補題に関連するすべての単語フォームの頻度)と、その特定の補題の帰納的パラダイムにおける全ての単語フォームの確率をとることによって計算することができる。 0.69
Using such a formulation of entropy allows us to measure the morphological variety (or the loss thereof) for the machine translationese produced by each system – higher values of H indicate higher diversity and vice-versa. このようなエントロピーの定式化を用いることで、各系によって生成される機械翻訳体の形態的多様性(またはその損失)を測定することができる。 0.58
We use Equation 1 to compute the entropy of the 方程式 1 を用いてエントロピーを計算する 0.68
inflectional paradigm of a lemma. 補題の帰納的パラダイム。 0.45
H((cid:108)) = − (cid:88) H((cid:108)) = − (cid:88) 0.88
(cid:119)(cid:102)∈(cid:108) (cid:119)(cid:102)∈(cid:108) 0.76
p((cid:119)(cid:102) |(cid:108)) log p((cid:119)(cid:102) |(cid:108))) p((cid:119)(cid:102) |(cid:108)) log p((cid:119)(cid:102) |(cid:108)) 0.85
(1) count((cid:119)(cid: 102)) (1) count(cid:119)(cid:1 02) 0.89
wf∗∈(cid:108) wf ∈(cid:108) 0.72
(cid:80) H((cid:108)) denotes the entropy of the lemma (cid:108) and, for the wordform (cid:119)(cid:102), p((cid:119)(cid:102) |(cid:108)) is computed as the fraction of the counts of the wordform, count((cid:119)(cid: 102)), to the count of all wordforms for the lemma (cid:108), i.e. (cid:80) h((cid:108)) は補題のエントロピー (cid:108) を表し、ワードフォーム (cid:119)(cid:102) に対して、p((cid:119)(cid:102) |(cid:108) は、補題のすべての語形(cid:108)のカウントの分数として計算される(cid:119)(cid:102)。 0.78
p((cid:119)(cid:102) |(cid:108)) = . p((cid:119)(cid:102) |(cid:108)) = 。 0.82
We use ∈ to indicate wordforms of a given lemma. 与えられた補題の語形を示すために ∈ を用いる。 0.66
Simpson’s Diversity Index Like Shannon Entropy, Simpson’s Diversity Index (D) is a measure used to determine variation in categorical data. Simpson's Diversity Index Like Shannon Entropy, Simpson's Diversity Index (D)は分類データの変動を決定するために使用される指標である。 0.92
Values close to 1 indicate higher homogeneity, thus lower diversity and values close to 0 indicate higher variability, thus higher diversity. 1 に近い値は高い均質性を示し、それゆえ 0 に近い値は高い多様性を示し、それゆえ高い多様性を示す。 0.69
count(wf∗) count (複数形 counts) 0.62
Following the same reasoning as with Shannon entropy, we compute Simpson’s diversity index for each lemma and the corresponding wordforms according to the formula in Equation 2. シャノンエントロピーと同様の推論に従い、方程式2の式に従って各補題と対応する語形についてシンプソンの多様性指数を計算する。 0.71
D((cid:108)) = D((cid:108)) = 0.94
(2) 1(cid:80) p((cid:119)(cid:102) |(cid:108))2 (2) 1(cid:80) p((cid:119)(cid:102) |(cid:108))2 0.84
(cid:119)(cid:102)∈(cid:108) (cid:119)(cid:102)∈(cid:108) 0.76
10https://github.com /TakeLab/ 10https://github.com /TakeLab/ 0.39
spacy-udpipe spacy‐udpipe 0.58
英語(論文から抽出)日本語訳スコア
We average the Shannon entropy and Simpson’s diversity index for all lemmas to get an indicative score for each translation system or the original text. すべての補題に対してシャノンエントロピーとシンプソンの多様性指数を平均して、各翻訳システムまたは元のテキストの指標スコアを取得します。 0.74
We denote these with H and D, accordingly. したがって、これらを H と D で表す。 0.77
To the best of our knowledge, our work is the first to use Shannon entropy and Simpson’s diversity index for the study of inflectional richness on a text level. 我々の知識を最大限に活用するために、私たちの研究は初めてシャノンエントロピーとシンプソンの多様性指数をテキストレベルでの屈折豊かさの研究に用いた。 0.71
The closest to our application of these two diversity metrics for measuring inflectional richness is the work by del Prado Mart´ın et al. これら2つの多様性指標の反射的豊かさ測定への応用に最も近いのは、del prado mart ́ınらによる研究である。 0.50
(2004). Their work on morphological processing uses Shannon entropy to compute the amount of information carried by a morphological paradigm. (2004). 彼らの形態素処理の研究はシャノンエントロピーを用いて形態素パラダイムによって運ばれる情報量を計算する。 0.72
An illustration of the Shannon entropy and Simpson’s diversity index of a lemma is given in Table 7. シャノンエントロピーとシンプソンの補題の多様性指数の例が表7に示されている。 0.62
We list the number of occurrences for every wordform (male singular, male plural, female singular and female plural) appearing in our datasets for the French lemma ‘pr´esident’ (EN: president). 私たちは、フランス語の補題「pr ́esident」(EN:プレジデント)のデータセットに現れるすべての単語形式(男性単数、男性単数、女性単数、女性複数)の出現数をリストします。 0.77
We then compute H and D by applying Equation 1 and Equation 2 accordingly. 次に、Equation 1 と Equation 2 を適用して H と D を計算します。 0.71
While both Shannon H and Simpson’s D scores usually range between 0–1, for ease of readability we multiply the scores presented in Table 7 and Table 8 by 100 to present them in the range of [0 − 100]. シャノン H とシンプソン D のスコアは通常 0–1 の範囲であるが、読みやすさの容易さのため、テーブル 7 とテーブル 8 で提示されたスコアを 100 倍乗して [0 − 100] の範囲で提示する。 0.72
lemma: pr´esident pr´esident pr´esidents pr´esidente pr´esidentes H↑ ORIG 93774 PB-SMT 99367 95272 LSTM TRANS 92946 英語: lemma: pr ́esident pr ́esidents pr ́esidente pr ́esidentes H' ORIG 93774 PB-SMT 99367 95272 LSTM trans 92946 0.65
D↓ 8 18.11 92.95 1 12.81 95.16 N/A 12.17 95.3 N/A 13.86 94.74 8 18.11 92.95 1 12.81 95.16 N/A 12.17 95.3 N/A 13.86 94.74 0.49
2029 2019 2039 1952 2029 2019 2039 1952 0.85
1490 496 291 617 1490 496 291 617 0.85
Table 7: An illustration of the Shannon entropy and the Simpson’s diversity index computed for the occurrences of the different wordforms of the French lemma for ‘president’ (pr´esident). 表7:シャノンのエントロピーとシンプソンの多様性指数の図は、「大統領」(pr ́esident)のフランス語の補題の異なる語形の発生について計算しました。 0.77
For lemmas with a single wordform Shannon entropy and Simpson’s diversity index will be H = 0.0 and D = 1.0, respectively. 単一のワード形式のシャノンエントロピーとシンプソンの多様性指数を持つ補題は、それぞれ H = 0.0 と D = 1.0 となる。 0.68
While this makes sense when measuring the diversity of one morphological paradigm, they actually impact the average scores H and D without contributing to the understanding of diversity in a comparative study such as ours. これは1つの形態的パラダイムの多様性を測定する際に意味があるが、実際には、我々のような比較研究における多様性の理解に寄与することなく、平均スコアhとdに影響を与える。
訳抜け防止モード: これは、ある形態的パラダイムの多様性を測定するときに意味がある。 平均点H と D に影響を与えます 私たちのような比較研究における多様性の理解に寄与します
0.71
In particular, lemmas with single wordforms may be either an evidence of low diversity, e.g. 特に、単一の単語形式を持つ補題は、例えば低多様性の証拠であるかもしれない。 0.64
a translation system will always generate only one form or of high diversity, e.g. 翻訳システムは、常に1つの形式または高い多様性のみを生成します。 0.74
rare words that are single wordform for a particular lemma (such as synonyms of more common words) can indicate the ability of a system to generate more diverse language (in terms of synonymy). 特定の補題(例えば、より一般的な単語の同義語)の単一語形であるまれな単語は、より多様な言語(同義語)を生成するシステムの能力を示すことができる。 0.84
That is why we computed H and D on lemmas with two だから2つの補題でHとDを計算した。 0.69
or more wordforms. あるいは 言葉の形式です 0.64
For completeness, we also present the number of single wordform lemmas. 完全性のため、単一語形補題の数も提示する。 0.57
The Shannon entropy and Simpson’s diversity index for French, Spanish and English for all datasets are presented in Table 8. shannon entropyとsimpson’s diversity index for french, spanish and english for all datasetsは、表8に示されている。 0.83
The scores are shown in the range [0 − 100] as noted above. スコアは上記のように[0 − 100]の範囲で示されます。 0.75
H↑ FR D↓ Single へー FRD シングル。 0.55
H↑ H↑ D↓ Single H↑ へー へー 独身。 へー 0.43
75.20 56.42 ORIG PB-SMT 69.00 59.64 69.28 59.48 LSTM 73.13 57.70 TRANS ENF R 75.20 56.42 ORIG PB-SMT 69.00 59.64 69.28 59.48 LSTM 73.13 57.70 TRANS ENF R 0.53
59.04 63.43 ORIG PB-SMT 55.57 65.80 53.15 67.02 LSTM TRANS 55.85 65.43 59.04 63.43 ORIG PB-SMT 55.57 65.80 53.15 67.02 LSTM Trans 55.85 65.43 0.48
79k 78.42 54.96 51k 71.79 58.56 53k 72.84 58.29 58k 77.23 56.26 ENES 79k 78.42 54.96 51k 71.79 58.56 53k 72.84 58.29 58k 77.23 56.26 ENES 0.48
78k 59.05 63.42 51k 56.31 65.29 50k 53.85 66.64 58k 56.22 65.19 78k 59.05 63.42 51k 56.31 65.29 50k 53.85 66.64 58k 56.22 65.19 0.46
ES D↓ Single 92k 54k 55k 64k D↓ Single 78k 61k 48k 68k ES D シングル92k 54k 55k 64k D シングル78k 61k 48k 68k 0.69
Table 8: Shannon entropy (H) for French, Spanish, English (ENF R and ENES) and Simpson’s diversity index (D) for original training data and the output of the PBSMT, LSTM and TRANS systems. 表8: フランス語、スペイン語、英語(ENF RとENES)のシャノンエントロピー(H)と、オリジナルのトレーニングデータとPBSMT、LSTM、Transtraシステムの出力のためのシンプソンの多様性指標(D)。 0.69
Scores are multiplied by 100 for ease of readability. スコアは読みやすさのために100に乗じる。 0.68
The H and D scores in Table 8 are an evidence of the negative impact of MT on the morphological diversity – the scores for the ORIG indicate a consistent higher diversity. 表8のhとdのスコアは形態学的多様性に対するmtの負の影響の証拠であり、オリグのスコアは一貫して高い多様性を示している。 0.63
Comparing the MT systems, it results that TRANS retains morphological diversity better than the others. MTシステムと比較して、Transferは他のシステムよりも形態学的多様性を保ちます。
訳抜け防止モード: MTシステムの比較 その結果 トランスは 他よりも 形態的多様性を保ちます。
0.69
LSTM performs better than PB-SMT for translations into the morphologically richer languages (FR and ES) but PB-SMT seems much better than LSTM for translations into English. LSTMは、形態学的にリッチな言語(FRとES)への翻訳ではPB-SMTより優れているが、英語への翻訳ではPB-SMTの方がLSTMよりずっと良いように見える。 0.60
While the loss of lexical diversity could, in some cases be a desirable side-effect of MT systems (in terms of simplification or consistency), the uncontrolled loss of morphological richness is problematic as it can prevent systems from picking the grammatically correct option. 語彙多様性の喪失は(単純化や一貫性の観点から)mtシステムの望ましい副作用である場合もあるが、文法上正しい選択肢をシステムが選択できないため、形態学的豊かさの制御不能な損失が問題となる。 0.72
5 Conclusions In this work, we explore the effects of MT algorithms on the richness and complexity of language. 結論5 本研究では,MTアルゴリズムが言語の豊かさと複雑性に及ぼす影響を検討する。 0.71
We establish that there is indeed a quantitatively measurable difference between the linguistic richness of MT systems’ training data and their output – a product of algorithmic bias. MTシステムのトレーニングデータの言語的豊かさと,その出力 – アルゴリズムバイアスの産物 – の間には,確かに定量的に測定可能な相違があることが確認できます。 0.70
These findings are in line with previous results described in Vanmassenhove et al. これらの結果はvanmassenhove et alの以前の結果と一致している。 0.65
(2019). Assessing diversity or richness in language is a multifacted task spanning over various domains. (2019). 言語の多様性や豊かさを評価することは、さまざまなドメインにまたがるマルチファクトタスクです。 0.72
As such, we approach this task from multiple angles focusing on lexical diversity and sophistication, morphological variety and このようにして我々は,語彙の多様性と洗練,形態的多様性に焦点をあてた多角からこの課題にアプローチする。 0.60
英語(論文から抽出)日本語訳スコア
a more translation specific metric focusing on synonymy. 同義語に焦点を絞った より翻訳的な計量です 0.60
To do so, we analyse the results of 9 different metrics including established, newly proposed and adapted ones. そこで本研究では, 確立, 新しく提案, 適応した9つの指標の結果を分析した。 0.74
The metrics suit we developed is unprecedented in the study of MT quality and we believe it could drive future research on MT evaluation. 私たちが開発した指標は、MT品質の研究において前例のないものであり、将来のMT評価の研究を促進する可能性があると信じています。 0.56
Based on a wide range of experiments with 3 different MT architectures, we draw the following main conclusions: (i) all 9 metrics indicate that the original training data has more lexical and morphological diversity compared to translations produced by the MT systems. 3つの異なるMTアーキテクチャによる幅広い実験に基づいて、以下の主要な結論を導いた。 (i) 元のトレーニングデータがMTシステムによって生成された翻訳と比較して、より語彙的および形態的多様性を持つことを示す9つの指標すべて。 0.70
This is the case for all language pairs and directions; (ii) Comparing the MT systems among themselves, there is a strong indication (for most metrics) that Transformer models outperform the others in terms of lexical and morphological richness. このことは全ての言語対と方向に対して当てはまる; (ii) MT系を彼ら自身で比較すると、トランスフォーマーモデルは語彙的および形態的富度で他よりも優れているという強い示唆(ほとんどの指標について)がある。 0.71
We also ought to note that, on average, the ranking of the systems in terms of diversity metrics correlates with the quality of the translations (in terms of BLEU and TER). また、平均して、多様性指標の観点からのシステムのランキングは(BLEUおよびTERの観点から)翻訳の品質と相関していることに注意する必要があります。 0.70
This is something that would need to be further explored in future work; (iii) The data for the morphologically richer languages (ES, FR) has higher lexical and (evidently) morphological diversity than the English data both in the original data and in the translations generated by all systems. iii) 形態学的にリッチな言語(es, fr)のデータは、元のデータと全てのシステムによって生成された翻訳データの両方において、英語のデータよりも語彙的かつ(明確に)形態的多様性を持っている。 0.72
However, for PB-SMT, LSTM and TRANS the difference in scores is much smaller than the ORIG, indicating that the MT systems have a stronger negative impact (in terms of diversity and richness) on the morphologically richer languages. しかし、PB-SMT、LSTM、Transの場合、スコアの差はORIGよりも遥かに小さいため、MTシステムは形態的にリッチな言語に強い負の影響(多様性と豊かさの点で)を持つことが示された。 0.62
6 Acknowledgements We would like to thank the reviewers for their insightful comments and feedback. 6 承認 洞察に富んだコメントとフィードバックに対して、レビュアーたちに感謝します。 0.70
References Roee Aharoni, Moshe Koppel, and Yoav Goldberg. Roee Aharoni、Moshe Koppel、Yoav Goldbergなどを参照。 0.70
2014. Automatic detection of machine translated text and translation quality estimation. 2014. 機械翻訳テキストの自動検出と翻訳品質の推定。 0.82
In Proceedings of the 52nd Annual Meeting of the Association for Computational Linguistics (ACL2014), Volume 2: Short Papers, pages 289–295. 第52回計算言語学会年次大会(ACL2014, Volume 2: Short Papers, page 289-295)の開催報告 0.66
Nora Aranberri. Nora Aranberri 0.58
2020. Can translationese features help users select an MT system for post-editing? 2020. 翻訳機能は、ユーザが後編集用のMTシステムを選択するのに役立つか? 0.72
Procesamiento del Lenguaje Natural, 64:93–100. Procesamiento del Lenguaje Natural, 64:93–100。 0.75
Lyle F Bachman. リール・F・バッハマン。 0.41
2004. Statistical analyses for lan- 2004. ランの統計的解析 0.82
guage assessment. ゲージ・アセスメント 0.47
Cambridge University Press. ケンブリッジ大学出版局。 0.68
Dzmitry Bahdanau, Kyunghyun Cho, and Yoshua Bengio. Dzmitry Bahdanau、Kyunghyun Cho、Yoshua Bengio。 0.61
2015. Neural machine translation by jointly 2015. 関節によるニューラルマシン翻訳 0.81
learning to align and translate. 調整と翻訳を学ぶこと。 0.74
In Proceedings of the 3rd International Conference on Learning Representations (ICLR 2015), San Diego, CA, USA. 第3回学習表現に関する国際会議(iclr 2015)は、アメリカ合衆国カリフォルニア州サンディエゴで開催された。 0.75
15pp. Mona Baker. 15pp。 モナ・ベイカー。 0.73
1999. The role of corpora in investigating the linguistic behaviour of professional transInternational journal of corpus linguistics, lators. 1999. コーパス言語学の専門国際ジャーナルの言語行動調査におけるコーポラの役割、ラエーター。 0.74
4(2):281–298. 4(2):281–298. 0.82
Marco Baroni and Silvia Bernardini. マルコ・バロンディとシルビア・ベルナルディーニ。 0.49
2006. A new approach to the study of translationese: Machinelearning the difference between original and transLiterary and Linguistic Computing, lated text. 2006. 翻訳学の研究への新しいアプローチ:オリジナルとトランス文学と言語コンピューティングの違いを機械学習し、テキストを翻訳します。 0.83
21(3):259–274. 21(3):259–274. 0.82
Frederic H. Behr, Victoria Fossum, Michael Mitzenmacher, and David Xiao. Frederic H. Behr、Victoria Fossum、Michael Mitzenmacher、David Xiao。 0.79
2003. Estimating and comparing entropies across written natural languages using PPM compression. 2003. PPM圧縮を用いた自然言語間のエントロピーの推定と比較。 0.80
In Proceedings of the 2003 Data Compression Conference (DCC 2003), page 416, Snowbird, UT, USA. 2003年、Data Compression Conference (DCC 2003) にて、416頁、Snowbird, UT, USA。 0.68
Yuri Bizzoni, Tom S Juzek, Cristina Espa˜na-Bonet, Koel Dutta Chowdhury, Josef van Genabith, and Elke Teich. Yuri Bizzoni, Tom S Juzek, Cristina Espa 'na-Bonet, Koel Dutta Chowdhury, Josef van Genabith, Elke Teich 0.84
2020. How human is machine translationese? 2020. 機械翻訳はどんな人間か? 0.83
comparing human and machine translations of text and speech. テキストと音声の人間と機械の翻訳を比較します 0.73
In Proceedings of the 17th International Conference on Spoken Language Translation (IWSLT2020), pages 280–290, Online. 第17回国際音声翻訳会議(IWSLT2020)の進行において、280-290ページ、オンライン。 0.75
Tolga Bolukbasi, Kai-Wei Chang, James Y Zou, Venkatesh Saligrama, and Adam T Kalai. Tolga Bolukbasi、Kai-Wei Chang、James Y Zou、Venkatesh Saligrama、Adam T Kalai。 0.79
2016. Man is to computer programmer as woman is to In Adhomemaker? 2016. 男性がコンピュータープログラマーに、女性がアドホームメーカーに? 0.78
debiasing word embeddings. 単語の埋め込みを嫌う 0.56
vances in neural information processing systems, pages 4349–4357. 神経情報処理システムでは、4349-4357ページ。 0.78
Denny Britz, Anna Goldie, Minh-Thang Luong, and Quoc Le. Denny Britz、Anna Goldie、Minh-Thang Luong、Quoc Le。 0.76
2017. Massive Exploration of Neural Machine Translation Architectures. 2017. ニューラルマシン翻訳アーキテクチャの大規模な探索。 0.77
In Proceedings of the Association for Computational Linguistics (ACL2017), pages 1442–1451, Vancouver, Canada. Proceedings of the Association for Computational Linguistics (ACL2017), page 1442–1451, Canada, Vancouver. 0.88
Bram Bult´e. 2013. ブラム・ブラント。 2013. 0.64
The development of complexity in second language acquisition. 第二言語習得における複雑性の発達 0.80
A dynamic systems approach (Unpublished doctoral dissertation). 動的システムアプローチ(未発表の博士論文)。 0.78
Bram Bult´e, Alex Housen, Michel Pierrard, and Siska Investigating lexical proficiency Van Daele. Bram Bult ́e, Alex Housen, Michel Pierrard, Siska Investigationigating lexical proficiency Van Daele。 0.79
2008. development over time–the case of dutch-speaking learners of french in brussels. 2008年 - ブリュッセルでオランダ語を話すフランス語学習者の事例。 0.71
Journal of French Language Studies, 18(3):277–298. Journal of French Language Studies、18(3):277–298。 0.88
Aylin Caliskan-Islam, Joanna J Bryson, and Arvind Narayanan. Aylin Caliskan-Islam、Joanna J Bryson、Arvind Narayanan。 0.80
2016. Semantics derived automatically from language corpora necessarily contain human biases. 2016. 言語コーポラから自動的に派生したセマンティクスは、必ずしも人間のバイアスを含む。 0.65
arXiv preprint arXiv:1608.07187, pages 1–14. arXiv preprint arXiv:1608.07187, page 1–14。 0.64
Jonathan H Clark, Chris Dyer, Alon Lavie, and Noah A Smith. ジョナサン・H・クラーク、クリス・ダイアー、アロン・レイビー、ノア・ア・スミス。 0.50
2011. Better Hypothesis Testing for Statistical Machine Translation: Controlling for Optimizer Instability. 2011. 統計的機械翻訳のためのより良い仮説テスト:オプティマイザ不安定性の制御 0.77
In Proceedings of the 49th Annual Meeting of the Association for Computational Linguistics (ACL2011): Human Language Technologies, Volume 2: Short Papers, pages 176–181, Portland, Oregon, USA. 第49回計算言語学会年次大会(ACL 2011): Human Language Technologies, Volume 2: Short Papers, page 176–181, Portland, Oregon, USA)の開催報告 0.73
英語(論文から抽出)日本語訳スコア
Scott A Crossley, Tom Cobb, and Danielle S McNamara. Scott A Crossley、Tom Cobb、Danielle S McNamara。 0.70
2013. Comparing count-based and bandbased indices of word frequency: Implications for active vocabulary research and pedagogical applications. 2013. 単語頻度のカウントベースとバンドベースの指標の比較:アクティブボキャブラリ研究と教育応用への示唆 0.79
System, 41(4):965–981. システム41(4):965-981。 0.86
Joke Daems, Orph´ee De Clercq, and Lieve Macken. Joke Daems, Orph ́ee De Clercq, Lieve Macken。 0.82
2017. Translationese and post-editese: How comparable is comparable quality? 2017. 翻訳と後編集: 同等の品質はどの程度か? 0.77
Linguistica Antverpiensia New Series-Themes in Translation Studies, 16:89–103. Linguistica Antverpiensia New Series-Themes in Translation Studies, 16:89–103。 0.72
Lisa Fan, Marshall White, Eva Sharma, Ruisi Su, Prafulla Kumar Choubey, Ruihong Huang, and Lu Wang. Lisa Fan, Marshall White, Eva Sharma, Ruisi Su, Prafulla Kumar Choubey, Ruihong Huang, Lu Wang 0.73
2019. In plain sight: Media bias through In Proceedings of the lens of factual reporting. 2019. in plain sight: 事実報告のレンズの手続きを通してメディアのバイアス。 0.80
the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP2019), pages 6343–6349. The 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP2019), page 6343–6349。 0.96
Nikhil Garg, Londa Schiebinger, Dan Jurafsky, and James Zou. Nikhil Garg、Londa Schiebinger、Dan Jurafsky、James Zou。 0.70
2018. Word embeddings quantify 100 years of gender and ethnic stereotypes. 2018. 単語埋め込みは100年間の性別と民族のステレオタイプを定量化する。 0.75
Proceedings of the National Academy of Sciences, 115(16):E3635–E3644. 国立科学アカデミー紀要, 115(16):e3635-e3644 0.69
Martin Gellerstam. マーティン・ゲラースタム 0.55
1986. Translationese in swedish novels translated from english. 1986. 英語から翻訳されたスウェーデンの小説の翻訳。 0.75
Translation studies in Scandinavia, 1:88–95. スカンジナビアの翻訳研究、1:88-95。 0.59
Nizar Habash, Houda Bouamor, and Christine Chung. Nizar Habash、Houda Bouamor、Christine Chung。 0.63
2019. Automatic gender identification and reinflection in arabic. 2019. アラビア語における自動性別識別とリフレクション。 0.77
In Proceedings of the First Workshop on Gender Bias in Natural Language Processing, pages 155–165. In Proceedings of the First Workshop on Gender Bias in Natural Language Processing, page 155–165。 0.88
Margherita Ippolito. Margherita Ippolito 0.58
2014. Simplification, Explicitation and Normalization: Corpus-Based Research into English to Italian Translations of Children’s Classics. 2014. Simplification, Explicitation and Normalization: Corpus-based Research into English to Italian Translations of Children's Classics。 0.87
Cambridge Scholars Publishing. ケンブリッジ大学出版局。 0.70
Diederik P. Kingma and Jimmy Ba. Diederik P. KingmaとJimmy Ba。 0.91
2014. Adam: A In ProceedMethod for Stochastic Optimization. 2014. Adam: 確率最適化のためのIn ProceedMethod。 0.82
ings of the 3rd International Conference on Learning Representations: Poster Session, Banff, Canada. 第3回International Conference on Learning Representations: Poster Session, Banff, Canadaに参加して 0.88
Beata Beigman Klebanov and Michael Flor. Beata Beigman KlebanovとMichael Flor。 0.81
2013. AsIn Proceedsociative texture is lost in translation. 2013. AsIn Proceedsociative textureは翻訳で失われる。 0.83
ings of the Workshop on Discourse in Machine Translation, pages 27–32, Sofia, Bulgaria. The Workshop on Discourse in Machine Translation, page 27–32, Sofia, Bulgaria. (英語) 0.87
Philipp Koehn. Philipp Koehn 0.60
2004. Statistical significance tests for machine translation evaluation. 2004. 機械翻訳評価における統計的意義試験 0.85
In Proceedings of the 2004 Conference on Empirical Methods in Natural Language Processing (EMNLP2004), pages 388–395, Barcelona, Spain. 2004年の自然言語処理における経験的方法に関する会議(EMNLP2004)で、388-395ページ、バルセロナ、スペイン。 0.78
Philipp Koehn. Philipp Koehn 0.60
2005. Europarl: A Parallel Corpus for Statistical Machine Translation. 2005. Europarl: 統計機械翻訳のための並列コーパス。 0.81
In Proceedings of The Tenth Machine Translation Summit (MT Summit 2005), pages 79–86, Phuket, Thailand. Proceedings of The Tenth Machine Translation Summit (MT Summit 2005) では、79-86頁、タイのプーケットに掲載されている。 0.70
Philipp Koehn, Hieu Hoang, Alexandra Birch, Chris Callison-Burch, Marcello Federico, Nicola Bertoldi, Brooke Cowan, Wade Shen, Christine Moran, Philipp Koehn, Hieu Hoang, Alexandra Birch, Chris Callison-Burch, Marcello Federico, Nicola Bertoldi, Brooke Cowan, Wade Shen, Christine Moran 0.88
Richard Zens, Chris Dyer, Ondrej Bojar, Alexandra Constantin, and Evan Herbst. Richard Zens、Chris Dyer、Ondrej Bojar、Alexandra Constantin、Evan Herbst。 0.72
2007. Moses: OpenSource Toolkit for Statistical Machine Translation. 2007. Moses: 統計機械翻訳のためのオープンソースツールキット。 0.77
In Proceedings of the 45th Annual Meeting of the Association of Computational Linguistics (ACL2007), pages 177–180, Prague, Czech Republic. 第45回計算言語協会年次総会(ACL2007)の進行において、ページ177-180、プラハ、チェコ共和国。 0.72
Moshe Koppel and Noam Ordan. Moshe KoppelとNoam Ordan。 0.78
2011. Translationese and its dialects. 2011. 翻訳語とその方言。 0.84
In Proceedings of the 49th Annual Meeting of the Association for Computational Linguistics: Human Language Technologies (ACL2011), Volume 1: Long Papers, pages 1318– 1326. 第49回計算言語学会年次大会:人間言語技術(ACL 2011, Volume 1: Long Papers, page 1318–1326)の報告 0.64
Svenja Kranich. Svenja Kranich。 0.82
2014. Translations as a locus of language contact. 2014. 言語接触の軌跡としての翻訳。 0.81
In Translation: A multidisciplinary approach, pages 96–115. In Translation: A multidisciplinary approach, page 96-115。 0.93
Springer. Kristopher Kyle. Springer Kristopher Kyle 0.55
2019. Measuring lexical richness. 2019. 語彙の豊かさを測る。 0.63
The Routledge Handbook of Vocabulary Studies, page 454. The Routledge Handbook of Vocabulary Studies, ページ454。 0.78
Samuel L¨aubli, Rico Sennrich, and Martin Volk. サミュエル・L・シャウブリ、リコ・センリッヒ、マルティン・ヴォルク。 0.43
2018. Has machine translation achieved human parity? 2018. 機械翻訳は人間のパリティを達成したか? 0.72
a case for document-level evaluation. ドキュメントレベルの評価のケース。 0.77
In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing (EMNLP2018), pages 4791–4796, Brussels, Belgium. 2018 Conference on Empirical Methods in Natural Language Processing (EMNLP2018, page 4791–4796, Brussels, Belgium (英語) 0.80
Batia Laufer. Batia Laufer 0.55
1994. The lexical profile of second language writing: Does it change over time? 1994. 第二言語記述の語彙的プロファイル:時間とともに変化するか? 0.77
RELC journal, 25(2):21–33. RELC誌、25(2):21-33。 0.69
Batia Laufer and Paul Nation. バティア・ローファーとポール・ネイション。 0.47
1995. Vocabulary size and use: Lexical richness in l2 written production. 1995. 語彙のサイズと使用: l2書式生産における語彙豊かさ。 0.79
Applied linguistics, 16(3):307–322. 応用言語学 16(3):307–322。 0.77
Philip M McCarthy. フィリップ・マッカーシー。 0.52
2005. An Assessment of the Range and Usefulness of Lexical Diversity Measures and the Potential of the Measure of Textual, Lexical Diversity (MTLD). 2005. 語彙多様性尺度の範囲と有用性の評価とテキスト, 語彙多様性 (MTLD) の測定の可能性 0.76
In PhD Thesis, Dissertation Abstracts International, Volume 66:12. PhD Thesis, Dissertation Abstracts International, Volume 66:12。 0.85
University of Memphis, Memphis, Tennessee, USA. メンフィス大学、メンフィス大学、テネシー州、米国。 0.66
Jack Merullo, Luke Yeh, Abram Handler, Alvin Grissom II, Brendan O’Connor, and Mohit Iyyer. Jack Merullo, Luke Yeh, Abram Handler, Alvin Grissom II, Brendan O'Connor, Mohit Iyyer 0.72
2019. Investigating sports commentator bias within a large corpus of American football broadcasts. 2019. アメリカンフットボール放送の大規模なコーパス内でスポーツコメンテーターのバイアスを調査する。 0.77
In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP 2019), pages 6355–6361, Hong Kong, China. 第9回国際自然言語処理会議(EMNLP-IJCNLP 2019)および第9回国際自然言語処理会議(EMNLP-IJCNLP 2019)において、6355-6361頁、香港、中国。 0.80
IS Paul Nation. ポール・ネイションです 0.50
1984. Vocabulary lists: Words, affixes, and stems. 1984. 語彙リスト:単語、接尾辞、および茎。 0.81
English Language Institute, Victoria University of Wellington. ヴィクトリア大学ウェリントン校(Victoria University of Wellington)。 0.69
Michael P Oakes and Meng (eds) Ji. Michael P Oakes and Meng (eds) Ji。 0.81
2013. Quantitative Methods in Corpus-Based Translation Studies: A Practical Guide to Descriptive Translation Research. 2013. コーパスに基づく翻訳研究における量的方法:記述的翻訳研究の実践的ガイド 0.79
In Studies in Corpus Linguistics, Volume 51, page 361. コーパス言語学の研究では、51巻、361ページ。 0.71
John Benjamins Publishing Company, Amsterdam, The Netherlands. ジョン・ベンジャミンズ・パブリッシング・カンパニー(John Benjamins Publishing Company)は、オランダのアムステルダムにある出版社。 0.56
英語(論文から抽出)日本語訳スコア
Franz Josef Och and Hermann Ney. フランツ・ヨーゼフ・オッホとヘルマン・ニー。 0.44
2003. A Systematic Comparison of Various Statistical Alignment Models. 2003. 各種統計的アライメントモデルの体系的比較 0.77
In Computational Linguistics, Volume 29:1, pages 19–51. 計算言語学では、巻29:1、19-51。 0.52
MIT Press, Cambridge, Massachusetts, USA. MIT Press, Cambridge, Massachusetts, USA。 0.82
Scott E. Page. スコット・e・ペイジ 0.57
2007. The Difference: How the Power of Diversity Creates Better Groups, Firms, Schools, and Societies. 2007. The difference: The Power of Diversity Creates Better Groups, Firms, Schools, and Societies。 0.81
Princeton University Press. プリンストン大学出版局。 0.70
Scott E. Page. スコット・e・ペイジ 0.57
2011. Diversity and Complexity. 2011. 多様性と複雑さ。 0.76
Prince- ton University Press. 王子 トン大学出版局。 0.65
Kishore Papineni, Salim Roukos, Todd Ward, and WeiJing Zhu. Kishore Papineni、Salim Roukos、Todd Ward、WeiJing Zhu。 0.60
2002. BLEU: a Method for Automatic Evaluation of Machine Translation. 2002. BLEU:機械翻訳の自動評価方法。 0.73
In Proceedings of the 40th Annual Meeting on Association for Computational Linguistics (ACL 2002), pages 311–318, Philadephia, PA, USA. 第40回計算言語協会年次総会(ACL 2002)のプロシーディングでは、ページ311-318、フィラデフィア、PA、米国。 0.73
Matt Post. 2018. マット・ポスト。 2018. 0.77
A call for clarity in reporting BLEU scores. BLEUスコアの報告における明確性の要求。 0.69
In Proceedings of the Third Conference on Machine Translation (WMT 2018): Research Papers, pages 186–191, Belgium, Brussels. In Proceedings of the Third Conference on Machine Translation (WMT 2018): Research Papers, page 186–191, Belgium, Brussels 0.84
Fermın Moscoso del Prado Martın, Aleksandar Kosti´c, and R Harald Baayen. Fermın Moscoso del Prado Martın, Aleksandar Kosti ́c, R Harald Baayen 0.76
2004. Putting the bits together: An information theoretical perspective on morphological processing. 2004. ビットをまとめる: 形態学的処理に関する情報理論的視点。 0.82
Cognition, 94(1):1–18. 認知:94(1):1–18。 0.74
Rico Sennrich, Barry Haddow, and Alexandra Birch. Rico Sennrich、Barry Haddow、Alexandra Birch。 0.64
2016. Neural machine translation of rare words with subword units. 2016. サブワード単位によるまれな単語のニューラル機械翻訳。 0.80
In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (ACL 2016), Volume 1: Long Papers, pages 1715–1725, Berlin, Germany. 第54回計算言語学会年次総会(acl 2016)の議事録第1巻:長い論文、ページ1715–1725, ドイツ、ベルリン。 0.67
Claude E Shannon. クロード・e・シャノン 0.34
1948. A mathematical theory of communication. 1948. コミュニケーションの数学的理論。 0.81
The Bell system technical journal, 27(3):379–423. The Bell System Technical Journal, 27(3):379–423 0.88
Edward H Simpson. エドワード・H・シンプソン。 0.58
1949. Measurement of diversity. 1949. 多様性の測定。 0.82
Nature, 163(4148):688–688. 163(4148):688–688。 0.64
Matthew Snover, Bonnie Dorr, Richard Schwartz, Linnea Micciulla, and John Makhoul. マシュー・スノーバー、ボニー・ドル、リチャード・シュワルツ、リンネ・ミクシウラ、ジョン・マコール。 0.57
2006. A Study of Translation Edit Rate with Targeted Human AnnoIn Proceedings of Association for Machine tation. 2006. アソシエーション・フォー・マシン・テイケーションの進行におけるターゲット・ヒューマン・アンノによる翻訳編集率の検討 0.72
Translation in the Americas (AMTA 2006) 200:6, pages 223–231, Austin, Texas, USA. 翻訳 in the Americas (AMTA 2006) 200:6, page 223–231, Austin, Texas, USA. 0.96
Gabriel Stanovsky, Noah A. Smith, and Luke Zettlemoyer. Gabriel Stanovsky、Noah A. Smith、Luke Zettlemoyer。 0.74
2019. Evaluating gender bias in machine translation. 2019. 機械翻訳におけるジェンダーバイアスの評価 0.82
In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pages 1679–1684, Florence, Italy. The 57th Annual Meeting of the Association for Computational Linguistics, page 1679–1684, イタリア・フィレンツェ。 0.75
Tony Sun, Andrew Gaut, Shirlyn Tang, Yuxin Huang, Mai ElSherief, Jieyu Zhao, Diba Mirza, Elizabeth Belding, Kai-Wei Chang, and William Yang Wang. Tony Sun, Andrew Gaut, Shirlyn Tang, Yuxin Huang, Mai ElSherief, Jieyu Zhao, Diba Mirza, Elizabeth Belding, Kai-Wei Chang, William Yang Wang 0.81
2019. Mitigating gender bias in natural language processing: Literature review. 2019. 自然言語処理におけるジェンダーバイアスの緩和:文献レビュー 0.84
In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics (ACL 2019), pages 1630–1640, Florence, Italy. The 57th Annual Meeting of the Association for Computational Linguistics (ACL 2019), page 1630–1640, イタリア・フィレンツェ。 0.73
Ilya Sutskever, Oriol Vinyals, and Quoc V. Le. Ilya Sutskever、Oriol Vinyals、Quoc V. Le。 0.68
2014. Sequence to sequence learning with neural networks. 2014. ニューラルネットワークによるシーケンス学習のシーケンス。 0.81
In Proceedings of Advances in Neural Information Processing Systems 27: Annual Conference on Neural Information Processing Systems (NIPS 2014), pages 3104–3112, Montreal, Quebec, Canada. In Proceedings of Advances in Neural Information Processing Systems 27: Annual Conference on Neural Information Processing Systems (NIPS 2014), pages 3104-3112, Montreal, Quebec, Canada. (英語) 0.92
Mildred C. Templin. Mildred C. Templin。 0.94
1975. Certain Language Skills in Children: Their Development and Interrelationships. 1975. 子供の特定の言語スキル:彼らの発達と相互関係。 0.77
Greenwood Press, Westport, Connecticut, USA. グリーンウッドプレス、ウェストポート、コネチカット、米国。 0.70
Antonio Toral. Antonio Toral 0.58
2019. Post-editese: an exacerbated translationese. 2019. 後編集:翻訳語の悪化。 0.77
In Proceedings of Machine Translation Summit XVII Volume 1: Research Track, pages 273–281, Dublin, Ireland. Proceedings of Machine Translation Summit XVII Volume 1: Research Track, Page 273–281, Dublin, Ireland (英語) 0.85
European Association for Machine Translation. ヨーロッパ機械翻訳協会会員。 0.70
Antonio Toral, Sheila Castilho, Ke Hu, and Andy Way. Antonio Toral、Sheila Castilho、Ke Hu、Andy Way。 0.68
2018. Attaining the unattainable? 2018. 我慢できない? 0.64
reassessing claims of human parity in neural machine translation. ニューラルマシン翻訳における 人間のパリティの主張の再評価 0.65
In Proceedings of the Third Conference on Machine Translation (WMT 2018): Research Papers, pages 113–123, Brussels, Belgium. In Proceedings of the Third Conference on Machine Translation (WMT 2018): Research Papers, page 113–123, Brussels, Belgium 0.83
Association for Computational Linguistics. 計算言語学協会(Association for Computational Linguistics)。 0.50
Eva Vanmassenhove. Eva Vanmassenhove 0.56
2020. On the Integration of Linguistic Features into Statistical and Neural Machine Translation. 2020. 統計的・神経機械翻訳への言語的特徴の統合について 0.80
arXiv preprint arXiv:2003.14324. arXiv preprint arXiv:2003.14324 0.72
Eva Vanmassenhove and Christian Hardmeier. Eva VanmassenhoveとChristian Hardmeier。 0.81
2018. Europarl datasets with demographic speaker information. 2018. 人口統計のスピーカー情報を持つユーロパルデータセット。 0.77
Eva Vanmassenhove, Christian Hardmeier, and Andy Way. Eva Vanmassenhove、Christian Hardmeier、Andy Way。 0.70
2018. Getting gender right in neural machine translation. 2018. ニューラルマシン翻訳で性別を正しく取得する。 0.78
In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing (EMNLP 2019), pages 3003–3008, Brussels, Belgium. 2018年の自然言語処理の実証的方法に関する会議(EMNLP 2019)の進行において、ページ3003-3008、ブリュッセル、ベルギー。 0.78
Eva Vanmassenhove, Dimitar Shterionov, and Andy Way. Eva Vanmassenhove、Dimitar Shterionov、Andy Way。 0.70
2019. Lost in translation: Loss and decay of In Prolinguistic richness in machine translation. 2019. lost in translation:lost and decay of in prolinguistic richness in machine translation (英語) 0.83
ceedings of Machine Translation Summit XVII (MT Summit 2019), Volume 1: Research Track, pages 222–232, Dublin, Ireland. ceedings of machine translation summit xvii (mt summit 2019), volume 1: research track, pages 222–232, ireland (英語) 0.71
Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Ł ukasz Kaiser, and Illia Polosukhin. Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, s ukasz Kaiser, Illia Polosukhin 0.71
2017. Attention is All In Proceedings of The Thirty-first Anyou Need. 2017. 注意はすべて、第31回anyou needの手続きにある。 0.73
nual Conference on Neural Information Processing Systems 30 (NIPS 2017), pages 5998–6008, Long Beach, CA, USA. nual Conference on Neural Information Processing Systems 30 (NIPS 2017), Page 5998–6008, Long Beach, CA, USA (英語) 0.91
G. Udnv Yule. G.Udnv Yule。 0.84
1944. The Statistical Study of Literary 1944. 文学の統計的研究 0.81
Vocabulary. Cambridge University Press. 語彙。 ケンブリッジ大学出版局。 0.68
Tiancheng Zhao, Ran Zhao, and Maxine Eskenazi. Tiancheng Zhao、Ran Zhao、Maxine Eskenazi。 0.66
2017. Learning discourse-level diversity for neural dialog models using conditional variational autoenIn Proceedings of the 55th Annual Meetcoders. 2017. 第55回ミートコーダの条件変動オートエンを用いたニューラルダイアログモデルの会話レベルの多様性の学習 0.80
ing of the Association for Computational Linguistics (ACL 2017), Volume 1: Long Papers, pages 654– 664, Vancouver, Canada. ing of the Association for Computational Linguistics (ACL 2017), Volume 1: Long Papers, page 654– 664, Vancouver, Canada. (英語) 0.92
                       ページの最初に戻る

翻訳にはFugu-Machine Translatorを利用しています。