論文の概要、ライセンス

# (参考訳) ニューラルマシン翻訳のための単言語データ合成 [全文訳有]

Synthesizing Monolingual Data for Neural Machine Translation ( http://arxiv.org/abs/2101.12462v1 )

ライセンス: CC BY 4.0
Benjamin Marie, Atsushi Fujita(参考訳) ニューラルマシン翻訳(NMT)では、ターゲット言語のモノリンガルデータは、通常「バックトランスレーション」と呼ばれる方法で、追加の訓練並列データを合成する。 合成データはより優れたNMT、特に低リソース言語ペアとドメインのトレーニングに役立つことが示されている。 それでも、ターゲットドメインや言語における大きなモノリンガルデータは、必ずしも大きな合成並列データを生成するために利用できない。 本研究では,特定の領域において,非常に小さな単言語データを利用する大規模合成並列データを生成する新しい手法を提案する。 予め訓練されたGPT-2モデルをこのような小さなドメイン内モノリンガルデータに微調整し、その結果モデルを使用して大量の合成インドメインモノリンガルデータを生成します。 次に、バックトランスレーションまたはフォワードトランスレーションを行い、合成インドメイン並列データを生成します。 3つの言語ペアと5つのドメインに関する予備実験を行い,全構成のnmtを改善するために,完全合成だが有用なドメイン内並列データを生成する手法の有効性を示した。 また,パーソナライズされたnmtに対して極端に適応する有望な結果を示す。

In neural machine translation (NMT), monolingual data in the target language are usually exploited through a method so-called "back-translation&quo t; to synthesize additional training parallel data. The synthetic data have been shown helpful to train better NMT, especially for low-resource language pairs and domains. Nonetheless, large monolingual data in the target domains or languages are not always available to generate large synthetic parallel data. In this work, we propose a new method to generate large synthetic parallel data leveraging very small monolingual data in a specific domain. We fine-tune a pre-trained GPT-2 model on such small in-domain monolingual data and use the resulting model to generate a large amount of synthetic in-domain monolingual data. Then, we perform back-translation, or forward translation, to generate synthetic in-domain parallel data. Our preliminary experiments on three language pairs and five domains show the effectiveness of our method to generate fully synthetic but useful in-domain parallel data for improving NMT in all configurations. We also show promising results in extreme adaptation for personalized NMT.
公開日: Fri, 29 Jan 2021 08:17:40 GMT

※ 翻訳結果を表に示しています。PDFがオリジナルの論文です。翻訳結果のライセンスはCC BY-SA 4.0です。詳細はトップページをご参照ください。

翻訳結果

    Page: /      
英語(論文から抽出)日本語訳スコア
Synthesizing Monolingual Data for Neural Machine Translation ニューラルマシン翻訳のための単言語データ合成 0.68
Benjamin Marie ベンジャミン・マリー 0.53
Atsushi Fujita National Institute of Information and Communications Technology 藤田篤 国立情報通信技術研究所 0.55
3-5 Hikaridai, Seika-cho, Soraku-gun, Kyoto, 619-0289, Japan 京都相楽郡精華町光台3-5,619-0289 0.55
{bmarie, atsushi.fujita}@nict.go.jp bmarie, atsushi.fujita}@nict.go.jp 0.70
1 2 0 2 n a J 1 2 0 2 n a J 0.85
9 2 ] L C . 9 2 ] L C。 0.78
s c [ 1 v 2 6 4 2 1 sc [ 1 v 2 6 4 2 1 0.68
. 1 0 1 2 : v i X r a . 1 0 1 2 : v i X r a 0.85
Abstract In neural machine translation (NMT), monolingual data in the target language are usually exploited through a method so-called “backtranslation” to synthesize additional training parallel data. 概要 ニューラルマシン翻訳(NMT)では、ターゲット言語のモノリンガルデータは、通常「バックトランスレーション(backtranslation)」と呼ばれる方法で、追加の訓練並列データを合成する。 0.58
The synthetic data have been shown helpful to train better NMT, especially for low-resource language pairs and domains. 合成データはより優れたNMT、特に低リソース言語ペアとドメインのトレーニングに役立つことが示されている。 0.72
Nonetheless, large monolingual data in the target domains or languages are not always available to generate large synthetic parallel data. それでも、ターゲットドメインや言語における大きなモノリンガルデータは、必ずしも大きな合成並列データを生成するために利用できない。 0.66
In this work, we propose a new method to generate large synthetic parallel data leveraging very small monolingual data in a specific domain. 本研究では,特定の領域において,非常に小さな単言語データを利用する大規模合成並列データを生成する新しい手法を提案する。 0.71
We fine-tune a pre-trained GPT-2 model on such small in-domain monolingual data and use the resulting model to generate a large amount of synthetic in-domain monolingual data. 予め訓練されたGPT-2モデルをこのような小さなドメイン内モノリンガルデータに微調整し、その結果モデルを使用して大量の合成インドメインモノリンガルデータを生成します。 0.67
Then, we perform back-translation, or forward translation, to generate synthetic in-domain parallel data. 次に、バックトランスレーションまたはフォワードトランスレーションを行い、合成インドメイン並列データを生成します。 0.64
Our preliminary experiments on three language pairs and five domains show the effectiveness of our method to generate fully synthetic but useful in-domain parallel data for improving NMT in all configurations. 3つの言語ペアと5つのドメインに関する予備実験を行い,全構成のnmtを改善するために,完全合成だが有用なドメイン内並列データを生成する手法の有効性を示した。 0.67
We also show promising results in extreme adaptation for personalized NMT. また,パーソナライズされたnmtに対して極端に適応する有望な結果を示す。 0.49
1 Introduction Neural machine translation (NMT) systems usually require a large quantity of parallel data for training. 1 はじめに ニューラルマシン翻訳(NMT)システムは通常、トレーニングに大量の並列データを必要とします。 0.74
For most language pairs and domains, we do not have such resources, or only in very small quantities, mainly because they are costly to produce (Germann, 2001). ほとんどの言語対や領域では、そのような資源は存在せず、生産に費用がかかるため、非常に少ない量しか持たない(ドイツ語、2001年)。
訳抜け防止モード: ほとんどの言語ペアとドメインでは、そのようなリソースはありません。 ほんのわずかな量でしかなく 主に 生産に費用がかかります ( Germann , 2001 ) .
0.77
Unlike parallel data, monolingual data are readily available in large quantity for many languages. 並列データとは異なり、モノリンガルデータは多くの言語で容易に大量に利用できます。 0.74
Previous work has proposed various strategies to integrate monolingual data into NMT systems and has confirmed their usefulness to improve NMT systems, especially in low-resource configurations. 従来の研究はモノリンガルデータをNMTシステムに統合するための様々な戦略を提案しており、特に低リソース構成においてNMTシステムを改善するための有用性を確認している。 0.63
The so-called backtranslation of monolingual data (Sennrich et al., いわゆるモノリンガルデータの逆翻訳(Sennrich et al.) 0.78
2016a) is undoubtedly the most prevalent one. 2016a)が最も多いのは間違いない。 0.79
This approach uses a target-to-source MT system to translate monolingual data in the target language into the source language. このアプローチは、ターゲットとソースのMTシステムを使用して、ターゲット言語のモノリンガルデータをソース言語に翻訳します。
訳抜け防止モード: このアプローチはターゲット-to-ソースMTシステムを使用する 対象言語のモノリンガルデータをソース言語に変換する。
0.82
The generated synthetic parallel data can be used together with the original parallel data to increase the size of the training data, and eventually to obtain better NMT systems. 生成された合成並列データは、元の並列データと一緒に使用して、トレーニングデータのサイズを拡大し、最終的により良いNMTシステムを得ることができます。 0.68
Nonetheless, generating synthetic parallel data in large quantity with this approach also requires a large quantity of monolingual data. それでも、このアプローチで大量の合成並列データを生成するには、大量の単言語データが必要である。 0.66
For most domains in most languages, however, a large quantity of monolingual data is unavailable and thus generating large synthetic parallel data through backtranslation is impracticable. しかし、ほとんどの言語のほとんどのドメインでは、大量のモノリンガルデータが利用できず、バックトランスレーションを通じて大規模な合成並列データを生成することは不可能です。 0.64
In this preliminary work, we propose a new approach that leverages small in-domain monolingual data to generate large synthetic in-domain parallel data. この予備研究では、小さなドメイン内単言語データを利用して大きな合成ドメイン内並列データを生成する新しいアプローチを提案する。 0.75
We demonstrate that synthetic in-domain monolingual data generated by a GPT-2 model (Radford et al., 2019), fine-tuned on our very small in-domain monolingual data, can be successfully translated by NMT to generate synthetic in-domain parallel data. GPT-2モデル(Radford et al., 2019)によって生成された合成ドメイン内モノリンガルデータが、非常に小さなドメイン内モノリンガルデータに基づいて微調整され、NTTによって翻訳され、合成ドメイン内並列データを生成することが実証された。 0.60
Our results on three language pairs and five domains show improvements in BLEU for all configurations when using our synthetic data to train NMT. 3つの言語対と5つのドメインに対する結果から,NMTのトレーニングに合成データを使用する場合,すべての構成においてBLEUの改善が見られた。 0.59
We also show that this approach can be used in extreme adaptation for personalized NMT. また,この手法は個人化nmtの極端な適応にも利用できることを示した。 0.65
2 Motivation This work relies on three assumptions: 2 動機 この仕事は3つの仮定に依存します。 0.53
• GPT models generates mostly correct sen- • GPT モデルはほとんど正しいSen を生成する 0.77
tences. • Sentences generated by a GPT model exhibit some of the characteristics of the in-domain data on which the model has been fine-tuned, even if the data is small. テンス • gptモデルによって生成された文は、たとえデータが小さいとしても、モデルが微調整されたドメイン内データの特徴を示す。 0.57
• NMT training is robust, to some extent, to the noise in the texts generated by GPT models. • NMT トレーニングは GPT モデルが生成するテキストのノイズに対してある程度は堅牢である。 0.79
英語(論文から抽出)日本語訳スコア
(a) Generated by GPT-2 fine-tuned on Medical data (a)GPT-2による医療データ微調整 0.85
. . . Because of methodological differences we could not obtain a comparable result for 17S viral nucleic acids or 16S viral nucleic acid using different methods. . . . 方法の違いから、17sウイルス核酸と16sウイルス核酸の異なる方法による比較結果が得られなかった。 0.82
The SARI statement: A measure of the quality of health services, including the availability of drugs, is a basic criterion for measuring the quality of health services system. the sari statement: a measure of quality of health services, including the availability of drugsは、医療サービスシステムの品質を測定するための基本的な基準である。 0.86
The 12 patients seen at the DCP + IC applied for six of these six HDCP methods (75%) successfully completed their pharmacy duties as per the guidelines.. . この6つのhdcp法(75%)のうち、dcp + icで見られた12の患者は、ガイドラインに従って薬局業務を完了した。 0.64
. (b) Generated by GPT-2 fine-tuned on IT data . (b) GPT-2によるITデータの微調整 0.82
. . .You can use the Page Colors application that you can find on Google+ The maps of Portugal are free but you can acquire maps for other countries You can use the program Ringtone Maker which you can find on Google. . . ポルトガルの地図は無料だが、他国向けの地図も購入できる。GoogleではRingtone Makerというプログラムを利用できる。
訳抜け防止モード: . . .Page Colorsアプリを利用することができます。 ポルトガルの地図はGoogle+で確認できます。 無料で、他の国の地図を取得できます。 あなたは、あなたがGoogleで見つけることができるプログラムRingtoneメーカーを使用することができます。
0.79
. . (c) Generated by GPT-2 fine-tuned on tweets (natural disaster domain) . . (c)GPT-2によるツイートの微調整(自然災害ドメイン) 0.83
. . .A volcanic eruption in 1815 set off a massive effluence that sowed #wildfire on the west coast!Thanks NSW #NSWgovernors for treating these #shills 4.4 earthquake occurred near Negros Region, Chile at 22: 10 UTC! . . 1815年の火山噴火は、西海岸で#wildfireを吹き飛ばした大規模な噴火を引き起こしました!これらの#shills 4.4地震の治療のためのNSW #NSWgovernorsは、22:10 UTCでチリのネグロス地方の近くで発生しました! 0.79
#earthquake #NegrosRegion Day: Malta - Black cloud surrounded by rain. #earthquake #NegrosRegion Day: Malta - 雨に囲まれた黒い雲。 0.90
16: 35 JST 14 / 16 / 19 - 21: 45 JST 15 / 16 / 19 - 17: 00 JST. 16: 35 JST 14 / 16 / 19 - 21: 45 JST 15 / 16 / 19 - 17: 00 JST. 0.85
. . (d) Generated by GPT-2 not fine-tuned . . (d) 微調整されていないGPT-2によって生成される 0.72
. . .On Thursday, fossil fuels minister Emmanuel Ponting said the year 2000 was the year that the entire human genome was analyzed and ”explored for new genes.” Consider the mercenary work that Columbia University puts in. . . 木曜日、化石燃料大臣のエマニュエル・ポンティング(Emmanuel Ponting)氏は、2000年はヒトゲノム全体を分析して「新しい遺伝子を探索」した年だと述べた。 0.78
Such coins have been suggested by Buzzfeed tech reporter Alex Seitz, who wrote a very thorough investigation into the issue.. . buzzfeed techの記者alex seitz(アレックス・セイッツ)氏は、この問題について非常に詳細な調査を書いている。
訳抜け防止モード: こうした硬貨はBuzzfeedの技術記者Alex Seitzによって提案されている。 この問題を徹底的に調査した人物です
0.68
. Figure 1: Examples of three raw consecutive lines inside one sequence generated by different GPT-2 models. . 図1:異なるGPT-2モデルによって生成された1つのシーケンス内の3つの生行の例。 0.74
We manually added “. と手動で付け加えた。 0.51
. .” to show the reader that they are extracts from a sequence. . 配列から抽出したものであることを読者に示す。 0.71
GPT-2 models, fine-tuning data, and hyper-parameters used to obtain these examples are presented in Section 4. GPT-2モデル、微調整データ、これらの例を得るために使用されるハイパーパラメータを第4節で示す。 0.62
For our two first assumptions, we can obtain some hints on their validity by manually checking sentences generated by fine-tuned GPT-2 models. 最初の2つの仮定では、微調整GPT-2モデルで生成された文を手動でチェックすることで、それらの妥当性に関するヒントを得ることができる。 0.47
Examples of such sentences are presented in Figure 1. そのような文の例を図1に示す。 0.75
We can see with these examples that GPT-2 models successfully generate sentences that are mostly correct and present characteristics of the domain on which they have been fine-tuned. これらの例では、GPT-2モデルは、ほとんど正しい文を生成し、それらが微調整された領域の特徴を提示する。 0.69
For our third assumption, we rely on previous work that shows that back-translations in which artificial noise has been injected can improve translation quality when used for training NMT (Edunov et al., 2018). 3つ目の仮定では、人工ノイズが注入された逆翻訳がNMT(Edunov et al., 2018)のトレーニングに使用される翻訳品質を向上させることができることを示す以前の研究に依存しています。 0.69
3 Synthesizing Large Parallel Data 3 大規模並列データの合成 0.78
Leveraging Small Monolingual Data 小さな単言語データを活用する 0.60
3.1 Requirements Our method has few requirements in terms of data that make it applicable in most MT scenarios. 3.1 要件 このメソッドには,ほとんどの mt シナリオに適用可能なデータに関する要件がほとんどありません。 0.67
Precisely, we need the following three types of data: 正確には、以下の3種類のデータが必要です。 0.78
• a GPT model or large (general-domain) monolingual data: in this preliminary work, we only exploit the smallest GPT-2 model released by OpenAI. • gptモデルまたは大きな(一般ドメイン)単言語データ:この予備作業では、openaiによってリリースされた最小のgpt-2モデルのみを利用する。 0.68
For the future, we plan to experiment 今後は実験を予定しています。 0.63
with in-house GPT models, trained on large general-domain monolingual data. 大規模な汎用ドメインモノリンガルデータに基づいてトレーニングされた社内GPTモデル。 0.62
• small in-domain monolingual data: most of our experiments use 50k sentences for each target domain, but experiments in extreme adaptation for personalized NMT shows that our method is useful even when only hundreds of sentences are available. 【小領域内単言語データ】実験のほとんどが対象領域ごとに50k文を使用しているが、個別化nmtに対する極端な適応実験は、数百文しか利用できない場合にも有用であることを示している。
訳抜け防止モード: • small in - domain monolingual data : 実験のほとんどは 対象領域ごとに 50kの文を使っています パーソナライズされたNMTの極端適応実験は 私たちの方法は 何百もの文しか 使えないのに役立ちます
0.83
• some parallel data: all our experiments use at 並列データ:すべての実験で使用されます。 0.77
least 156k sentence pairs. 3.2 Synthetic Monolingual Data We use GPT-2 (Radford et al., 2019)1 to generate synthetic monolingual data. 文対は156k。 3.2 合成モノリンガルデータ GPT-2(Radford et al., 2019)1を使用して合成モノリンガルデータを生成します。
訳抜け防止モード: 文対は156k。 3.2 合成単言語データ GPT-2 (Radford et al ., 2019)1 合成モノリンガルデータを生成します
0.73
GPT models are auto-regressive Transformer (Vaswani et al., 2017) decoders. GPTモデルは、自動回帰トランス(Vaswani et al., 2017)デコーダです。 0.80
Given some context, or no context at all if this is the first token of the sequence, the model predicts the next token. もしこれがシーケンスの最初のトークンであるなら、あるコンテキスト、あるいは全くコンテキストが与えられると、モデルは次のトークンを予測する。 0.67
To generate texts in a particular domain, we finetuned a given GPT-2 model on a small amount of texts in the target domain and language. 特定のドメインのテキストを生成するために、特定のGPT-2モデルをターゲットドメインと言語の少量のテキストに微調整しました。 0.72
Since GPT2 is efficient for text generation, we can generate millions of in-domain monolingual sentences. GPT2はテキスト生成に効率的であるため、数百万のドメイン内モノリンガル文を生成することができる。 0.59
1https://github.com/ openai/gpt-2 1https://github.com/ openai/gpt-2 0.31
英語(論文から抽出)日本語訳スコア
3.3 Synthetic Parallel Data Once the synthetic monolingual data are generated, it can be used in NMT as any other monolingual data. 3.3 合成並列データ 合成モノリンガルデータが生成されると、他のモノリンガルデータとしてNTTで使用することができる。 0.76
In this work, we demonstrate its usefulness through back-translation (Sennrich et al., 2016a) and forward translation to generate in-domain synthetic parallel data. 本研究では,バックトランスレーション(Sennrich et al., 2016a)とフォワード翻訳を用いて,ドメイン内合成並列データを生成することで,その有用性を実証する。 0.67
For back-translation, we adopted the tagged approach (Caswell et al., 2019) that has been shown to provide better results, especially for translating texts that are not translationese (Marie et al., 2020). 後方翻訳では,特に翻訳でないテキストの翻訳(Marie et al., 2020)において,より良い結果をもたらすことが示されているタグ付きアプローチ(Caswell et al., 2019)を採用した。 0.81
In this configuration, the target side of the synthetic parallel data was generated by GPT-2, in English, and the source side by NMT. この構成では、合成並列データのターゲット側をGPT-2で、英語で、ソース側をNMTで生成しました。 0.67
For forward translation, we did not use tags. 前方翻訳にはタグを使用しませんでした。 0.71
In this configuration the source side was generated by GPT-2, in English, while the target side was obtained through NMT. この構成では、ソース側は英語のGPT-2で生成され、ターゲット側はNTTで得られた。 0.65
Forward translation is known to underperform back-translation (Bogoychev and Sennrich, 2019). フォワード翻訳はバックトランスレーション(bogoychev and sennrich, 2019)を過小評価することが知られている。 0.58
Nonetheless, since we do not have GPT-2 models in other languages than English, we could only exploit synthetic monolingual data for translation directions with English on the source side through forward translation. しかし,英語以外の言語では GPT-2 モデルが存在しないため,前進翻訳による英語の翻訳方向の合成モノリンガルデータのみを利用することができた。 0.82
4 Experiments 4.1 Data 4.1.1 Training We trained NMT systems for English–German (En-De), English–French (En-Fr), and Japanese– English (Ja-En) on the following parallel data (numbers of sentence pairs are given after pre-processing described in Section 4.2): 4 実験 4.1 データ 4.1.1 トレーニング 英語-ドイツ語 (En-De)、英語-フランス語 (En-Fr)、日本語-英語 (Ja-En) の NMT システムを次の並列データで訓練しました。 0.78
• En-De: WMT172 parallel data (5.1M sen- エンデ:WMT172並列データ(5.1M sen-) 0.71
tence pairs) tence (複数形 tences) 0.44
• En-Fr: WMT143 (32.7M sentence pairs) •En-Fr:WMT143(32.7M文対) 0.66
• En-Ja: Training parallel data provided in the MTNT dataset (Michel and Neubig, 2018b)4 which is a concatenation of three different datasets (TED talks5, The Kyoto Free Translation Task (KFTT)6, and JESC7) (3.9M sentence pairs) • En-Ja:3つの異なるデータセット(TED Talk5, The Kyoto Free Translation Task (KFTT)6, JESC7)の結合であるMTNTデータセット(Michel and Neubig, 2018b)4で提供される並列データを訓練する(3.9M文対)。 0.84
2http://statmt.org/w mt17/ 2http://statmt.org/w mt17/ 0.36
translation-task.htm l translation-task.htm l 0.39
3http://statmt.org/w mt14/ 3http://statmt.org/w mt14/ 0.36
translation-task.htm l translation-task.htm l 0.39
4http://www.cs.cmu.e du/˜pmichel1/mtnt/ 5https://wit3.fbk.eu / 6http://www.phontron .com/kftt/ 7https://nlp.stanfor d.edu/projects/ 4http://www.phontron .com/kftt/7https://n lp.stanford.edu/proj ects/ 0.48
jesc/ 4.1.2 Validation We used one validation dataset, for each language pair, to select the best model after training NMT (see Section 4.2): Jesc/ 4.1.2 検証 NMT のトレーニング後に最適なモデルを選択するために、各言語ペア毎に、検証データセットを1つ使用しました(セクション42)。 0.70
• En-De: WMT16 newstest8 (2,999 sentence WMT16 newstest8 (2,999文) 0.66
pairs) • En-Fr: WMT13 newstest9 (3,000 sentence ペア) WMT13 newstest9(3,000文) 0.69
pairs) • En-Ja: Validation data provided in the MTNT dataset10 that is a concatenation of data from TED Talks, KFTT, and JESC corpora (4,451 sentence pairs) ペア) •En-Ja:TED Talks,KFTT,JESC corpora(4,451文対)からのデータの結合であるMTNTデータセット10に提供される検証データ。 0.76
4.1.3 Test We used several datasets from different domains for evaluating the translation quality of our NMT systems for each language pair: 4.1.3 テスト NMTシステムの翻訳品質を評価するために、異なるドメインからのいくつかのデータセットを使用しました。 0.69
• En-De: – News domain: WMT17 news translation ・En-De -ニュースドメイン:WMT17ニュース翻訳 0.65
task11 (3,004 sentence pairs) タスク11(3,004文ペア) 0.66
– Medical domain: WMT14 medical translation task, khresmoi summary12 (1,000 sentence pairs) –医療領域:WMT14医療翻訳タスク、khresmoi要約12(1,000文ペア) 0.82
– IT domain: WMT16 IT translation task, -ITドメイン:WMT16 IT翻訳タスク。 0.77
batch 313 (1,000 sentence pairs) バッチ313(1000の文対) 0.68
• En-Fr: – News domain: WMT14 news translation •En-Fr: -ニュースドメイン:WMT14ニュース翻訳 0.81
task14 (3,003 sentence pairs) Task14 (3,003 文対) 0.72
– Medical domain: WMT14 medical translation task, khresmoi summary15 (1,000 sentence pairs) –医療領域:WMT14医療翻訳タスク、khresmoi要約15(1,000文ペア) 0.83
8http://data.statmt. org/wmt20/ 8http://data.statmt. org/wmt20/ 0.31
translation-task/dev .tgz translation-task/dev .tgz 0.29
9http://data.statmt. org/wmt20/ 9http://data.statmt. org/wmt20/ 0.31
translation-task/dev .tgz translation-task/dev .tgz 0.29
10http://www.cs.cmu. edu/˜pmichel1/mtnt/ 11http://data.statmt .org/wmt20/ pmichel1/mtnt/11http ://data.statmt.org/w mt20/ 0.30
translation-task/dev .tgz translation-task/dev .tgz 0.29
12http://www.statmt. org/wmt14/ 12http://www.statmt. org/wmt14/ 0.31
medical-task/khresmo i-summary-test-set. medical-task/khresmo i-summary-test-set 0.27
tgz 13http://data.statmt .org/ wmt16/it-translation -task/ wmt16-it-task-refere nces.tgz tgz 13http://data.statmt .org/ wmt16/it-translation -task/ wmt16-it-task-refere nces.tgz 0.54
14http://data.statmt .org/wmt20/ 14http://data.statmt .org/wmt20/ 0.31
translation-task/dev .tgz translation-task/dev .tgz 0.29
15http://www.statmt. org/wmt14/ 15http://www.statmt. org/wmt14/ 0.31
medical-task/khresmo i-summary-test-set. medical-task/khresmo i-summary-test-set 0.27
tgz tgz 0.85
英語(論文から抽出)日本語訳スコア
– Reddit domain: MTNT test sets,16 one for each translation direction (for En→Fr: for Fr→En: 1,022 sentence pairs) reddit domain: mtnt test sets, 16 for each translation direction (en→fr: for fr→en: 1,022 sentence pairs) 0.81
1,020 sentence pairs, • En-Ja: 1,020の文対 ※エンジャ: 0.59
– News domain: ALT test set17 (1,018 sen- ニュースドメイン:ALT test set17 (1,018 sen- 0.78
tence pairs) tence (複数形 tences) 0.44
– Reddit domain: MTNT test sets,18 one for each translation direction (for En→Ja: for Ja→En: 1,001 sentence pairs) reddit domain: mtnt test sets,18 for each translation direction (en→ja: for ja→en: 1,001 sentence pairs) 0.83
1,002 sentence pairs, – Twitter natural disaster domain: Tweets test set compiled and translated by ourselves (not publicly available) (1,400 sentence pairs) 1,002 文対 - Twitter自然災害ドメイン:(公開されていない)自作のツイートテストセット(1400通の文対) 0.75
4.1.4 English Monolingual Data English monolingual data are used as a source for back/forward translation and for fine-tuning GPT-2. 4.1.4 英語モノリンガルデータ 英語モノリンガルデータは、バック/フォワード翻訳や微調整用 GPT-2 のソースとして使用される。 0.65
There is one dataset for each domain: 各ドメインに1つのデータセットがあります。 0.64
• News domain: News Crawl 201919 (1M lines for backward/forward translation, 50k lines for GPT-2 fine-tuning) ※ニュースドメイン:NewsCrawl 201919(後方・前方翻訳100万行、GPT-2微調整50万行) 0.73
• IT domain: English side of the training parallel data provided for the WMT16 IT translation task, batch 1 and batch 220, (2k lines for backward/forward translation and GPT-2 fine-tuning) •IT領域:WMT16IT翻訳タスク、バッチ1およびバッチ220(後方・前方翻訳用2K行、GPT-2微調整用)に提供される訓練並列データの英語側 0.86
• Medical domain: English side of the En-Fr EMEA parallel data21 provided for the WMT14 medical translation task (100k lines for backward/forward translation, 50k lines for GPT-2 fine-tuning) ・医療領域:WMT14医療翻訳タスク用に提供されるEn-Fr EMEA並列データ21の英語側(後方・前方翻訳用100k線、GPT-2微調整用50k線) 0.74
• Reddit domain: English data crawled with the Reddit API (1M lines for backward/forward translation, 50k lines for GPT-2 fine-tuning) Redditドメイン: Reddit APIでクロールされた英語データ(1M行の後方/前方翻訳、50k行のGPT-2微調整)。 0.67
• Twitter natural disaster domain: English tweets crawled with the Twitter API with the same keywords used to crawled the English Twitter自然災害ドメイン:Twitter APIで英語ツイートをクロールし、同じキーワードで英語をクロールしました。 0.76
16http://www.cs.cmu. edu/˜pmichel1/mtnt/ 17https://www2.nict. go.jp/astrec-att/ 16http://www.cs.cmu. edu/ .pmichel1/mtnt/ 17https://www2.nict. go.jp/astrec-att/ 0.22
member/mutiyama/ALT/ member/mutiyama/ALT/ 0.34
18http://www.cs.cmu. edu/˜pmichel1/mtnt/ 19http://data.statmt .org/news-crawl/en/ 18http://www.cs.cmu. edu/ .pmichel1/mtnt/ 19http://data.statmt .org/news-crawl/en/ 0.22
news.2019.en.shuffle d.deduped.gz news.2019.en.shuffle d.deduped.gz 0.20
tweets of the test set (not publicly released) (148k lines for backward/forward translation, 50k lines for GPT-2 fine-tuning) テストセットのつぶやき(公開されていない)(148k行の後方/前方翻訳、50k行のGPT-2微調整) 0.67
4.2 Framework and Settings We exploited GPT-2 through the gpt-2-simple framework.22 We did not perform any preprocessing on the monolingual data used for finetuning GPT-2. 4.2 フレームワークと設定 gpt-2-simple framework.22 我々は、GPT-2の微調整に使用するモノリンガルデータに対して、事前処理を行わなかった。 0.62
For NMT, we tokenized and truecased all the data in English, French, and German, with the Moses toolkit (Koehn et al., 2007).23 The truecaser has been trained on 1M lines randomly sampled from the News Crawl corpora in each language. nmtでは、すべてのデータを英語、フランス語、ドイツ語でトークン化して、moses toolkit (koehn et al., 2007).23 truecaserは、各言語のnews crawl corporaからランダムにサンプリングされた1m行でトレーニングされています。 0.71
For NMT, training data, validation data, and source side test set are all segmented into subword units. NMTでは、トレーニングデータ、検証データ、およびソース側テストセットはすべてサブワード単位に分割されます。 0.73
We used byte-pair encoding (BPE) (Sennrich et al., 2016b)24 for English, German, and French, separately trained on 10M lines from the News Crawl 2019 corpora25 for each language to learn 32k BPE operations. 我々は、英語、ドイツ語、フランス語でBPE(Sennrich et al., 2016b)24を使用し、News Crawl 2019 corpora25の1000万行を個別にトレーニングし、各言語で32kのBPE操作を学習した。 0.76
For Japanese, we used SentencePiece (Kudo and Richardson, 2018)26 to learn 16k sentence pieces also from the News Crawl 2019 corpus. 日本語では,SentencePiece (Kudo and Richardson, 2018)26を用いて,News Crawl 2019コーパスから16kの文片を学習した。 0.73
We used Marian (Junczys-Dowmunt et al., 2018)27 for NMT with standard hyper-parameters for training (see Table 1). Marian (Junczys-Dowmunt et al., 2018)27を標準ハイパーパラメータを備えたNMTに使用しました(表1参照)。 0.81
We performed decoding with a beam size of 12 ビームサイズ12の復号処理を行った。 0.69
and a length normalization at 1.0. 長さの正規化は1.0です 0.61
For evaluation, we used SacreBLEU (Post, 2018)28 and report on BLEU scores (Papineni et al., 2002) for English, French, and German, and chrF scores (Popovi´c, 2015) for Japanese. 評価にはSacreBLEU (Post, 2018)28を用いて,英語,フランス語,ドイツ語のBLEUスコア (Papineni et al., 2002) と日本語のchrFスコア (Popovi ́c, 2015) について報告する。 0.80
Before evaluation, we post-processed the NMT output by undoing BPE and SentencePiece subword segmentations. 評価の前にBPEとSentencePieceのサブワードセグメンテーションを解除してNMT出力を後処理した。 0.65
Then, except for Japanese, we detokenized and detruecased the output with Moses. そして,日本語以外では,モーゼによるアウトプットのデトケントとデデコールを行った。 0.51
4.3 Results with Back-translation The performance of our NMT systems trained on several different sets of back-translations is shown in Table 2. 4.3 バックトランスレーションによる結果 さまざまなバックトランスレーションセットでトレーニングされたNMTシステムのパフォーマンスを表2に示します。 0.77
22https://github.com /minimaxir/ 22https://github.com /minimaxir/ 0.39
gpt-2-simple gpt-2-simple 0.39
23https://github.com /moses-smt/ 23https://github.com /moses-smt/ 0.34
mosesdecoder mosesdecoder 0.85
24https://github.com /rsennrich/ 24https://github.com /rsennrich/ 0.39
subword-nmt subword-nmt 0.59
25http://data.statmt .org/news-crawl/ 26https://github.com /google/ 25http://data.statmt .org/news-crawl/ 26https://github.com /google/ 0.31
27https://marian-nmt .github.io/, 27https://marian-nmt .github.io/ 0.41
v1.7.6 1d4ba73 2019-05-11 17:16:31 +0100 v1.7.6 1d4ba73 2019-05-11 17:16:31 +0100 0.29
28https://github.com /mjpost/sacrebleu 28https://github.com /mjpost/sacrebleu 0.36
version 20http://ufallab.ms. mff.cuni.cz/˜popel/ バージョン 20http://ufallab.ms. mff.cuni.cz/ 0.52
sentencepiece batch1and2.zip 文 batch1and2.zip 0.41
21http://opus.lingfi l.uu.se/download. 21http://opus.lingfi l.uu.se/download 0.38
php?f=EMEA/en-fr.txt.zip php?f=EMEA/en-fr.txt.zip 0.34
英語(論文から抽出)日本語訳スコア
--type transformer --max-length 120 --mini-batch-fit --valid-freq 5000 --save-freq 5000 --workspace 10000 --disp-freq 500 --beam-size 12 --normalize=1 --valid-mini-batch 16 --overwrite --early-stopping 5 --cost-type=ce-mean-words --valid-metrics ce-mean-words bleu --keep-best --enc-depth 6 --dec-depth 6 --transformer-dropou t 0.1 --learn-rate 0.0003 --lr-warmup 16000 --lr-decay-inv-sqrt 16000 --lr-report --label-smoothing 0.1 --devices 0 1 2 3 4 5 6 7 --optimizer-params 0.9 0.98 1e-09 --clip-norm 5 --sync-sgd --exponential-smooth ing --type transformer --max-length 120 --mini-batch-fit --valid-freq 5000 --save-freq 5000 --workspace 10000 --disp-freq 500 --beam-size 12 --normalize=1 --valid-mini-batch 16 --overwrite --early-stopping 5 --cost-type=ce-mean-words --valid-metrics ce-mean-words bleu --keep-best --enc-depth 6 --dec-depth 6 --transformer-dropou t 0.1 --learn-rate 0.0003 --lr-warmup 16000 --lr-decay-inv-sqrt 16000 --lr-report --label-smoothing 0.1 --devices 0 1 2 3 4 5 6 7 --optimizer-params 0.9 0.98 1e-09 --clip-norm 5 --sync-sgd --exponential-smooth ing 0.62
Table 1: Hyper-parameters of Marian used for training our NMT systems. 表1:NMTシステムのトレーニングに使用されるマリアンのハイパーパラメータ。 0.83
First, we assessed to what extent the humanmade in-domain monolingual data used for finetuning GPT-2 are useful for back-translation. まず,GPT-2の微調整に用いるヒトのドメイン内モノリンガルデータが,どの程度のバックトランスレーションに有用かを評価した。 0.64
As we can see, despite the small size of the data, it improves BLEU compared to the baseline systems for all configurations. ご覧のように、データの小さなサイズにもかかわらず、すべての構成のベースラインシステムと比較してBLEUを改善します。 0.70
When using all the humanmade in-domain monolingual data, or up to 1M sentences, BLEU improvements are even larger for almost all configurations (except for Ja→En, Reddit). 人為的なインドメインモノリンガルデータ、または最大1M文を使用する場合、BLEUの改善はほぼすべての構成(Ja→En、Redditを除く)でさらに大きくなります。 0.65
This result confirms the usefulness of exploiting more in-domain monolingual data through back-translation when available. この結果は、利用可能な場合のバックトランスレーションを通じて、より多くのドメイン内モノリンガルデータを利用する有用性を確認する。
訳抜け防止モード: この結果は in - domain monolingual data through back - translation when available(英語)
0.56
Using 1M sentences generated by a GPT-2 model that is not fine-tuned leads to lower BLEU scores than using all the human-made in-domain monolingual data (except for Ja→En, Reddit). 微調整されていないGPT-2モデルによって生成された1M文を使用すると、人造のインドメインモノリンガルデータ(Ja→En、Redditを除く)を使用するよりもBLEUスコアが低くなります。 0.57
The two last rows give the results of our approach: they use human-made in-domain monolingual data only up to 50k sentences for fine-tuning the GPT-2 model, but millions of synthetic monolingual data. 最後の2行は、GPT-2モデルの微調整に最大50kの文のみを人工単言語データとして使用するが、数百万の合成単言語データを使用する。 0.67
They show that the back-translations of the monolingual data generated by the fine-tuned GPT-2 model are useful. 細調整GPT-2モデルにより生成されたモノリンガルデータのバックトランスレーションが有用であることを示す。 0.61
We obtained better, or comparable, BLEU scores when using the backtranslations of our synthetic monolingual data to train NMT systems than when using the backtranslations of human-made monolingual data. 人工モノリンガルデータのバックトランスレーションを用いてNMTシステムのトレーニングを行う場合、人造モノリンガルデータのバックトランスレーションを使用する場合よりも、より良い、あるいは同等のBLEUスコアを得た。 0.65
Using more synthetic monolingual data (last row) also tends to lead to better BLEU scores (except for Ja→En, Reddit and Twitter). より合成的なモノリンガルデータ(ラスト行)を使用することで、BLEUスコアが向上する傾向がある(Ja→En、Reddit、Twitterを除く)。
訳抜け防止モード: より合成的なモノリンガルデータ(最後の行)を使用する BLEUスコアも向上する傾向にある(Ja→En、Reddit、Twitterを除く)。
0.74
4.4 Results with Forward Translation We performed similar experiments as in Section 4.3 but with forward translation instead of backtranslation. 4.4 前向き翻訳の結果 第4.3節と同様の実験を行ったが, 後向き翻訳の代わりに前向き翻訳を行った。 0.70
Our results are shown in Table 3. 結果が表3に示されています。 0.70
We did not observe consistent improvements of BLEU and chrF scores when exploiting humanmade monolingual data (H-FT configurations). 人為的モノリンガルデータ(H-FT構成)を利用する場合,BLEUとchrFのスコアが一貫した改善は見られなかった。
訳抜け防止モード: BLEUとchrFスコアの連続的な改善は観察されなかった。 人造モノリンガルデータ(H - FT 設定)を利用する。
0.62
Increasing the amount of monolingual data can also decrease or increase BLEU and chrF scores. モノリンガルデータの量の増加はBLEUとchrFのスコアを減少または増加させる。 0.63
Our approach (GPT-FT) leads to better, or similar, scores than the H-FT configurations that use all the human-made monolingual data. 我々のアプローチ(GPT-FT)は、人為的なモノリンガルデータを使用するH-FT構成よりも、より良い、あるいは類似したスコアをもたらす。 0.60
We conclude that forward translations perform reasonably well, but not consistently, in these configurations and that GPT-2 models in other languages than English would be necessary to properly evaluate to which extent our approach can improve BLEU and chrF scores when English is not the target language. 我々は,英語が対象言語ではない場合,我々のアプローチがBLEUやchrFのスコアをどの程度改善できるかを適切に評価するためには,英語以外の言語でのGPT-2モデルを適切に評価する必要があると結論付けた。 0.85
5 Extreme Adaptation for Personalized パーソナライゼーションのための5エクストリームアダプテーション 0.68
NMT The objective of extreme adaptation for personalized NMT is to adapt a given NMT system so that it can better translate texts written or spoken by a specific person. NMT パーソナライズされたNMTのための極端な適応の目的は、特定の人物によって書かれたテキストや音声をよりよく翻訳できるように、与えられたNMTシステムを適用することである。
訳抜け防止モード: NMT パーソナライズされたNMTシステムに対する極端な適応の目的は、与えられたNMTシステムに適応することである。 特定の人によって書かれたり 話されたり
0.77
Ideally, for such a task, we would require an amount as large as possible of parallel data in which one side are texts written or spoken by the target person in order to personalize our NMT system. 理想的には、そのようなタスクには、NMTシステムをパーソナライズするために、片側が対象者によって書かれたテキストまたは話されている並列データのできるだけ大きい量が必要です。 0.74
Obviously, such a large data does not exist and would be too costly to create. このような大規模なデータは存在せず、作成にコストがかかりすぎることは明らかです。 0.72
Thus, we propose to synthesize such a data with our approach. そこで本研究では,このようなデータを合成する手法を提案する。 0.66
The main difference with the domain adaptation scenarios presented in Section 4 is that we cannot even expect to obtain thousands of sentences of texts written by the target person to fine-tune GPT-2. 第4節で示したドメイン適応シナリオとの主な違いは、ターゲットの人がGPT-2を微調整するために書いた何千もの文を得ることさえ期待できないことです。 0.73
For our extremely personalized NMT experiments, we used the Speaker Annotated TED Talks (SATED) corpus (Michel and Neubig, 2018a)29 available for: 非常にパーソナライズされたNMT実験のために、私たちはSated TED Talks(Sated)コーパス(Michel and Neubig, 2018a)29を使用しました。 0.66
• English–German (En-De): 156k sentence •英語-ドイツ語(En-De):156k文 0.61
pairs, 1,670 speakers 1,670人のスピーカーが 0.57
• English–Spanish (En-Es): 183k sentence •英語-スペイン語(En-Es):183k文 0.62
pairs, 1,922 speakers ペア 話者1,922人 0.61
• English–French (En-Fr): 178k sentence pairs, •英語-フランス語(En-Fr):178kの文対 0.63
1,887 speakers Each sentence pair is provided with a tag that identifies the speaker. 1,887人の話者 各文ペアには、話者を識別するタグが設けられている。 0.55
Note that this corpus is already pre-processed: tokenized and lower-cased. このコーパスはすでにプリプロセスされていることに注意してください:トークン化とローケース化です。 0.37
Validation data and test data contain two sentence 検証データとテストデータは2文を含む 0.80
29http://www.cs.cmu. edu/˜pmichel1/ 29http://www.cs.cmu. edu/ 0.27
sated/ sated/ 0.78
英語(論文から抽出)日本語訳スコア
System Back-translated Data none システム 逆翻訳 データなし 0.70
Baseline + H-TBT + H-TBT + GPT notft-TBT 1M sentences 1M sentences + GPT-TBT + GPT-TBT 10M sentences Baseline + H-TBT + H-TBT + GPT notft-TBT 1M sentences 1M sentences + GPT-TBT + GPT-TBT 10M sentences 0.70
fine-tuning fine‐tuning 0.55
all De→En News Medical 32.9 34.2 35.8 34.6 35.5 35.5 全部 De→En News Medical 32.9 34.2 35.8 34.6 35.5 35.5 0.60
36.4 40.2 40.7 37.3 42.6 42.9 36.4 40.2 40.7 37.3 42.6 42.9 0.43
IT 42.0 42.7 43.4 41.9 42.6 44.6 IT 42.0 42.7 43.4 41.9 42.6 44.6 0.47
Fr→En Ja→En News Medical Reddit News Reddit 36.6 37.1 37.4 37.1 37.4 37.8 Fr→En Ja→En News Medical Reddit News Reddit 36.6 37.1 37.4 37.1 37.4 37.8 0.58
48.4 48.9 49.6 48.5 49.3 50.3 48.4 48.9 49.6 48.5 49.3 50.3 0.43
34.5 34.7 35.9 34.7 35.7 36.9 34.5 34.7 35.9 34.7 35.7 36.9 0.43
14.5 17.2 22.1 20.0 20.9 22.3 14.5 17.2 22.1 20.0 20.9 22.3 0.43
7.8 8.3 8.0 8.6 9.3 8.7 7.8 8.3 8.0 8.6 9.3 8.7 0.43
Twitter 5.5 16.6 17.1 9.8 17.7 15.9 Twitter 5.5 16.6 17.1 9.8 17.7 15.9 0.64
Table 2: BLEU scores of our NMT systems translating into English, for each domain. 表2:各ドメインについて、nmtシステムのbleuスコアを英語に翻訳します。 0.63
“H-TBT” denotes systems trained on the back-translated human-made monolingual data (the data used for fine-tuning GPT or all the monolingual data described in Section 4.1.4). h-tbt」とは、逆変換されたヒトの単言語データ(gptの微調整に用いられるデータまたは4.1.4に記載された全単言語データ)で訓練されたシステムを指す。 0.53
“GPT-TBT” denotes systems trained on the back-translation of either 1M or 10M monolingual sentences generated by a GPT-2 model fine-tuned on the in-domain monolingual data. GPT-TBT」は、GPT-2モデルによって生成された1Mまたは10Mのモノリンガル文のバックトランスレーションで訓練されたシステムを表しています。 0.54
“GPT notft-TBT” denotes a configuration in which GPT-2 has not been fine-tuned. GPT notft-TBT」は、GPT-2が微調整されていない構成を指す。 0.67
System Translated Data none システム 翻訳 データなし 0.75
Baseline + H-FT + H-FT + GPT notft-FT 1M sentences 1M sentences + GPT-FT + GPT-FT 10M sentences Baseline + H-FT + H-FT + GPT notft-FT 1M sentences 1M sentences + GPT-FT + GPT-FT 10M sentences 0.70
fine-tuning fine‐tuning 0.55
all En→De (BLEU) 全部 En→De(BLEU) 0.77
News Medical 27.3 27.9 27.9 27.4 27.9 28.0 News Medical 27.3 27.9 27.9 27.4 27.9 28.0 0.50
28.8 29.6 29.7 28.7 29.6 30.1 28.8 29.6 29.7 28.7 29.6 30.1 0.43
IT 37.4 38.6 38.6 36.7 39.1 38.9 IT 37.4 38.6 38.6 36.7 39.1 38.9 0.47
En→Fr (BLEU) En→Fr(BLEU) 0.84
News Medical Reddit 25.5 36.3 36.5 23.3 23.4 36.2 22.5 36.0 23.1 36.2 36.3 23.3 News Medical Reddit 25.5 36.3 36.5 23.3 23.4 36.2 22.5 36.0 23.1 36.2 36.3 23.3 0.47
40.9 40.9 41.6 40.5 42.0 42.3 40.9 40.9 41.6 40.5 42.0 42.3 0.43
En→Ja (chrF) en→Ja(chrF) 0.81
News 0.2436 0.2643 0.2847 0.2479 0.2513 0.2749 News 0.2436 0.2643 0.2847 0.2479 0.2513 0.2749 0.47
Reddit 0.1419 0.1400 0.1348 0.1301 0.1324 0.1321 Reddit 0.1419 0.1400 0.1348 0.1301 0.1324 0.1321 0.47
Twitter 0.0987 0.0839 0.0845 0.0799 0.0832 0.0810 Twitter 0.0987 0.0839 0.0845 0.0799 0.0832 0.0810 0.47
Table 3: BLEU and chrF scores of our NMT systems translating from English, for each domain. 表3:各ドメインの英語から翻訳される当社のNMTシステムのBLEUおよびchrFスコア。 0.75
“H-FT” denotes systems trained on forward-translated human-made monolingual data (the data used for fine-tuning GPT or all the monolingual data described in Section 4.1.4). h-ftは、前方変換されたヒトの単言語データ(gptの微調整に用いられるデータまたは4.1.4に記載された全単言語データ)で訓練されたシステムを指す。 0.51
“GPT-FT” denotes systems trained on the forward-translation of either 1M or 10M monolingual sentences generated by a GPT-2 model fine-tuned on the in-domain monolingual data. GPT-FTとは、ドメイン内のモノリンガルデータに基づいて微調整されたGPT-2モデルによって生成される1Mまたは10Mのモノリンガル文の前方翻訳に基づいて訓練されたシステムを指す。 0.49
“GPT notft-FT” denotes a configuration in which GPT-2 has not been fine-tuned. GPT notft-FT」は、GPT-2が微調整されていない構成を指す。 0.67
pairs per speaker. スピーカー1人あたりのペア 0.60
In order to generate synthetic monolingual data for each specific speaker, we exploit the speaker tag by concatenating it to the English side of the parallel data and then use the resulting data to fine-tune the GPT-2 model. それぞれの話者に対して合成単言語データを生成するために、パラレルデータの英語側と結合して話者タグを利用し、その結果のデータを用いてGPT-2モデルを微調整する。 0.81
Through fine-tuning, we assume that GPT-2 learns the characteristics of each individual speaker by relying on the speaker tag. 微調整により,GPT-2は各話者の特徴を話者タグに頼って学習すると仮定する。 0.76
At decoding time, we then expect GPT-2 to generate texts for a particular speaker when prompting it with its speaker tag. デコード時に、GPT-2はスピーカタグでプロンプトすると、特定のスピーカ用のテキストを生成することを期待しています。
訳抜け防止モード: デコード時に期待します。 GPT-2は、特定のスピーカーのテキストを生成し、そのスピーカータグでプロンプトします。
0.71
The results of our experiments are presented in Table 4. 実験の結果は表4に示されています。 0.82
In addition to the a vanilla baseline NMT system, we used one of the adaptation approach (second row) that uses the parallel data with the speaker tag concatenated to the source sentence to train NMT systems (Michel and Neubig, 2018a). 我々は,バニラベースラインNMTシステムに加えて,原文に連結した話者タグと並列データを用いてNMTシステムの訓練を行う適応手法(第2行)の1つを使用した(Michel and Neubig, 2018a)。 0.84
BLEU scores with this approach are close to the scores of the baseline system. このアプローチによるbleuスコアは、ベースラインシステムのスコアに近い。 0.55
Then, we tried our approach similarly to our experiments in Section 4.3 (third row). そして、4.3節(3列目)の実験と同様のアプローチを試みました。 0.72
We fine-tuned GPT-2 on the English side of the SATED parallel data and generated 500k sentences with the fine-tuned model. SATED並列データの英語側でGPT-2を微調整し、微調整したモデルで500k文を生成しました。 0.58
Then, we back-translated the generated data with En→ ∗ baseline systems to obtain synthetic parallel data そして、生成したデータをEn→∗ベースラインシステムで逆変換し、合成並列データを得る。 0.73
for the three language pairs and concatenated it to the speaker tagged SATED parallel data exploited in our experiments of the second row. 3つの言語ペアを結合し、第2行の実験で悪用されたスピーカータグ付きSATED並列データに接続します。 0.69
The NMT systems trained on the resulting data improve the BLEU scores by several BLEU points for all the translation directions. 得られたデータに基づいてトレーニングされたNMTシステムは、すべての翻訳方向に対してBLEUスコアを複数のBLEUポイントで改善する。 0.54
In the last row, we finally report on the results exploiting the speaker tags also when fine-tuning the GPT-2 model. 最後に、GPT-2モデルを微調整する際にも、話者タグを利用した結果について報告する。 0.60
We generated 500k sentences, randomly prompting GPT-2 with one of the speaker tags, and exploited the resulting speaker-tagged monolingual data as for the other models. 我々は500kの文を生成し,GPT-2を1つの話者タグでランダムに促し,他のモデルと同様に話者タグ付き単言語データを利用した。 0.60
BLEU scores are further improved, implying that GPT-2 successfully exploits the speaker tag to generate better synthetic data for each speaker. BLEUスコアはさらに改善され、GPT-2は話者タグをうまく利用し、各話者に対してより良い合成データを生成する。 0.65
6 Conclusion and Future Work 6 結論と今後の課題 0.78
In this preliminary work, we showed that our approach can leverage small in-domain monolingual data produced by human to generate a large synthetic in-domain parallel data. 本研究では,人間が生成した小さなドメイン内モノリンガルデータを利用して,大規模な合成インドメイン並列データを生成する手法を提案する。 0.75
Even though the synthetic parallel data are entirely synthetic, as opposed to a standard backward/forward translation, we obtained improvements in BLEU scores in all our configurations when using the generated data to 合成並列データは完全に合成されているが、標準の後方/前方翻訳とは対照的に、生成したデータを使用する場合のすべての構成におけるBLEUスコアの改善が得られた。 0.63
英語(論文から抽出)日本語訳スコア
System Baseline Speaker Tags Speaker Tags + GPT-TBT Speaker Tags + GPT speaker-TBT システムベースラインスピーカータグ スピーカータグ + GPT-TBTスピーカータグ + GPTスピーカータグ。 0.75
De→En 24.6 24.7 27.6 28.5 De→En 24.6 24.7 27.6 28.5 0.44
Es→En 32.2 32.2 34.6 35.6 Es→En 32.2 32.2 34.6 35.6 0.44
Fr→En 29.5 29.9 32.2 32.4 Fr→En 29.5 29.9 32.2 32.4 0.44
Table 4: BLEU scores of our NMT systems for the SATED translation task. 表4:BLEUは、Sated翻訳タスクのためのNMTシステムのスコアです。 0.74
“Speaker Tags” denotes the use of the speaker tags to tag each sentence pair in the given parallel data and each source sentence in the test data. Speaker Tags」は、与えられた並列データ内の各文ペアとテストデータ内の各ソース文をタグ付けするためのスピーカタグの使用を示します。 0.83
“GPTTBT” denotes systems trained on back-translation of 500k sentences generated by a GPT-2 model fine-tuned on the English side of the SATED parallel data. GPTTBT」は、GPT-2モデルによって生成された500k文を英語側で微調整した並列データのバックトランスレーションで訓練されたシステムを指します。 0.63
‘GPT speaker-TBT” is similar to ‘GPT-TBT,” except (1) that the data used for fine-tuning the GPT-2 model are also tagged with the speaker tag and (2) that each sentence generated by the fine-tuned GPT-2 model is tagged with a speaker tag. gpt speaker-tbt」は「gpt-tbt」に似ているが、(1)gpt-2モデルの微調整に用いるデータも話者タグでタグ付けされ、(2)微調整gpt-2モデルで生成された各文が話者タグでタグ付けされる。 0.65
train NMT systems. NMTシステムを訓練する。 0.69
We also reported on successful experiments in extreme adaptation for personalized NMT. パーソナライズされたNMTの極端適応実験についても報告した。 0.62
In our future work, we would like to perform an in-depth analysis to better understand our results. 今後の作業では、結果をより深く理解するために詳細な分析を行いたいと考えています。 0.63
We will also conduct more experiments exploiting in-house GPT models for other languages. また、他の言語に対する社内GPTモデルを利用したさらなる実験も行います。 0.66
References Nikolay Bogoychev and Rico Sennrich. Nikolay Bogoychev と Rico Sennrich を参照。 0.86
2019. Dotranslationese and noise in synthetic data arXiv preprint 2019. 合成データarxivプレプリントにおけるドトランスレーションとノイズ 0.73
main, for neural machine translation. メイン、ニューラルマシン翻訳用。 0.61
arXiv:1911.03362. arXiv:1911.03362。 0.49
Isaac Caswell, Ciprian Chelba, and David Grangier. Isaac Caswell、Ciprian Chelba、David Grangier。 0.63
In Proceedings of 2019. Tagged back-translation. 2019年現在。 タグ付き翻訳。 0.57
the Fourth Conference on Machine Translation (Volume 1: Research Papers), pages 53–63, Florence, Italy. 第4回機械翻訳会議(Volume 1: Research Papers)、53-63頁、イタリアのフィレンツェ。 0.70
Association for Computational Linguistics. 計算言語学協会(Association for Computational Linguistics)。 0.50
Sergey Edunov, Myle Ott, Michael Auli, and David Grangier. Sergey Edunov、Myle Ott、Michael Auli、David Grangier。 0.71
2018. Understanding back-translation at In Proceedings of the 2018 Conference on scale. 2018. In Proceedings of the 2018 Conference on scaleでのバックトランスレーションの理解。 0.82
Empirical Methods in Natural Language Processing, pages 489–500, Brussels, Belgium. Empirical Methods in Natural Language Processing, page 489–500, Brussels, Belgium 0.84
Association for Computational Linguistics. 計算言語学協会(Association for Computational Linguistics)。 0.50
Ulrich Germann. ウルリッヒ・ゲルマン。 0.57
2001. Building a statistical machine translation system from scratch: How much bang for the buck can we expect? 2001. 統計機械翻訳システムをスクラッチから構築する:我々はどのくらいの金額を期待できるだろうか? 0.83
In Proceedings of the ACL Workshop on Data-Driven Methods in Machine Translation. 機械翻訳におけるデータ駆動手法に関するACLワークショップの開催報告 0.77
Marcin Junczys-Dowmunt, Roman Grundkiewicz, Tomasz Dwojak, Hieu Hoang, Kenneth Heafield, Tom Neckermann, Frank Seide, Ulrich Germann, Alham Fikri Aji, Nikolay Bogoychev, Andr´e F. T. Martins, and Alexandra Birch. Marcin Junczys-Dowmunt, Roman Grundkiewicz, Tomasz Dwojak, Hieu Hoang, Kenneth Heafield, Tom Neckermann, Frank Seide, Ulrich Germann, Alham Fikri Aji, Nikolay Bogoychev, Andr ́e F. T. Martins, and Alexandra Birch 0.92
2018. Marian: Fast neural machine translation in C++. 2018. Marian: C++での高速ニューラルネットワーク翻訳。 0.79
In Proceedings of ACL 2018, System Demonstrations, pages 116– 121, Melbourne, Australia. Proceedings of ACL 2018, System Demonstrations, page 116– 121, Melbourne, Australia 0.75
Association for Computational Linguistics. 計算言語学協会(Association for Computational Linguistics)。 0.50
Richard Zens, Chris Dyer, Ondˇrej Bojar, Alexandra Constantin, and Evan Herbst. リチャード・ゼンズ、クリス・ダイアー、オンダレー・ボジャル、アレクサンドラ・コンスタンティン、エヴァン・ハーブスト。 0.62
2007. Moses: Open source toolkit for statistical machine translation. 2007. Moses: 統計機械翻訳のためのオープンソースツールキット。 0.82
In Proceedings of the 45th Annual Meeting of the Association for Computational Linguistics Companion Volume Proceedings of the Demo and Poster Sessions, pages 177–180, Prague, Czech Republic. 第45回計算言語学会年次大会「デモ・ポスト・セッションの成果」において、チェコ共和国プラハの177-180頁。 0.49
Association for Computational Linguistics. 計算言語学協会(Association for Computational Linguistics)。 0.50
Taku Kudo and John Richardson. タク・工藤とジョン・リチャードソン。 0.57
2018. SentencePiece: A simple and language independent subword tokenizer and detokenizer for neural text processing. 2018. SentencePiece: ニューラルテキスト処理のためのシンプルで言語に依存しないサブワードのトークン化とデトケナイザー。 0.74
In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pages 66–71, Brussels, Belgium. 自然言語処理における実証的方法に関する2018会議の進行:システム実証、66-71ページ、ブリュッセル、ベルギー。 0.79
Association for Computational Linguistics. 計算言語学協会(Association for Computational Linguistics)。 0.50
Benjamin Marie, Raphael Rubino, and Atsushi Fujita. ベンジャミン・マリー、ラファエル・ルビノ、藤田篤。 0.49
2020. Tagged back-translation revisited: Why does it really work? 2020. タグ付きバックトランスレーション:なぜ本当に機能するのか? 0.74
In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pages 5990–5997, Online. 第58回計算言語学会年次総会の進行において、5990-5997ページ、オンライン。 0.68
Association for Computational Linguistics. 計算言語学協会(Association for Computational Linguistics)。 0.50
Paul Michel and Graham Neubig. ポール・ミシェルとグラハム・ニュービック 0.54
2018a. Extreme adaptation for personalized neural machine translation. 2018年。 パーソナライズされたニューラルマシン翻訳のための極端適応 0.61
In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers), pages 312–318, Melbourne, Australia. 第56回計算言語学会年次総会(Volume 2: Short Papers)において、312-318ページ、メルボルン、オーストラリア。 0.61
Association for Computational Linguistics. 計算言語学協会(Association for Computational Linguistics)。 0.50
Paul Michel and Graham Neubig. ポール・ミシェルとグラハム・ニュービック 0.54
2018b. MTNT: A testbed for machine translation of noisy text. 2018年。 MTNT: 騒々しいテキストの機械翻訳のためのテストベッド。 0.69
In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, pages 543– 553, Brussels, Belgium. 2018年の自然言語処理の実証的方法に関する会議の進行において、ページ593 - 553、ブリュッセル、ベルギー。 0.76
Association for Computational Linguistics. 計算言語学協会(Association for Computational Linguistics)。 0.50
Kishore Papineni, Salim Roukos, Todd Ward, and WeiJing Zhu. Kishore Papineni、Salim Roukos、Todd Ward、WeiJing Zhu。 0.60
2002. Bleu: a method for automatic evalIn Proceedings of uation of machine translation. 2002. Bleu: 機械翻訳の用法のevalIn自動証明方法。 0.73
the 40th Annual Meeting of the Association for Computational Linguistics, pages 311–318, Philadelphia, USA. The 40th Annual Meeting of the Association for Computational Linguistics, pages 311–318, Philadelphia, USA. 0.98
Association for Computational Linguistics. 計算言語学協会(Association for Computational Linguistics)。 0.50
Philipp Koehn, Hieu Hoang, Alexandra Birch, Chris Callison-Burch, Marcello Federico, Nicola Bertoldi, Brooke Cowan, Wade Shen, Christine Moran, Philipp Koehn, Hieu Hoang, Alexandra Birch, Chris Callison-Burch, Marcello Federico, Nicola Bertoldi, Brooke Cowan, Wade Shen, Christine Moran 0.88
Maja Popovi´c. マジャ・ポポヴィ(Maja Popovi)。 0.36
2015. chrF: character n-gram f-score for automatic MT evaluation. 2015 ChrF:自動MT評価のための文字nグラムfスコア。 0.69
In Proceedings of the Tenth Workshop on Statistical Machine Translation, 第10回統計機械翻訳ワークショップに参加して 0.51
英語(論文から抽出)日本語訳スコア
pages 392–395, Lisbon, Portugal. ページ 392-395、リスボン、ポルトガル。 0.65
Association for Computational Linguistics. 計算言語学協会(Association for Computational Linguistics)。 0.50
Matt Post. 2018. マット・ポスト。 2018. 0.77
A call for clarity in reporting BLEU scores. BLEUスコアの報告における明確性の要求。 0.69
In Proceedings of the Third Conference on Machine Translation: Research Papers, pages 186– 191, Brussels, Belgium. In Proceedings of the Third Conference on Machine Translation: Research Papers, page 186–191, Brussels, Belgium 0.80
Association for Computational Linguistics. 計算言語学協会(Association for Computational Linguistics)。 0.50
A. Radford, Jeffrey Wu, R. Child, David Luan, Dario Amodei, and Ilya Sutskever. A. Radford、Jeffrey Wu、R. Child、David Luan、Dario Amodei、Ilya Sutskever。 0.78
2019. Language models are unsupervised multitask learners. 2019. 言語モデルは教師なしマルチタスク学習者である。 0.72
Rico Sennrich, Barry Haddow, and Alexandra Birch. Rico Sennrich、Barry Haddow、Alexandra Birch。 0.64
2016a. Improving neural machine translation modIn Proceedings of the els with monolingual data. 2016年。 単言語データを用いたelsのニューラルマシン翻訳法の改良 0.75
54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pages 86–96, Berlin, Germany. 第54回計算言語学会年次総会(Volume 1: Long Papers)、86-96ページ、ベルリン、ドイツ。 0.68
Association for Computational Linguistics. 計算言語学協会(Association for Computational Linguistics)。 0.50
Rico Sennrich, Barry Haddow, and Alexandra Birch. Rico Sennrich、Barry Haddow、Alexandra Birch。 0.64
2016b. Neural machine translation of rare words with subword units. 2016年。 サブワード単位によるまれな単語のニューラル機械翻訳。 0.73
In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pages 1715– 1725, Berlin, Germany. 第54回計算言語学会年次大会(Volume 1: Long Papers, page 1715–1725, Berlin, Germany)に参加して 0.69
Association for Computational Linguistics. 計算言語学協会(Association for Computational Linguistics)。 0.50
Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Ł ukasz Kaiser, and Illia Polosukhin. Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, s ukasz Kaiser, Illia Polosukhin 0.71
2017. Attention is all you need. 2017. 注意はあなたが必要とするすべてです。 0.74
In I. Guyon, U. V. Luxburg, S. Bengio, H. Wallach, R. Fergus, S. Vishwanathan, and R. Garnett, editors, Advances in Neural Information Processing Systems 30, pages 5998–6008. I. Guyon, U.V. Luxburg, S. Bengio, H. Wallach, R. Fergus, S. Vishwanathan, R. Garnett, editors, Advances in Neural Information Processing Systems 30 page 5998–6008。 0.96
Curran Associates, Inc. Curran Associates, Inc. 0.85
                 ページの最初に戻る

翻訳にはFugu-Machine Translatorを利用しています。