Fugu-MT 論文翻訳(概要): Training Multilingual Pre-trained Language Model with Byte-level Subwords

論文の概要: Training Multilingual Pre-trained Language Model with Byte-level Subwords

arxiv url: http://arxiv.org/abs/2101.09469v1
Date: Sat, 23 Jan 2021 10:01:28 GMT
ステータス: 処理完了
システム内更新日: 2021-03-19 10:47:50.821259
Title: Training Multilingual Pre-trained Language Model with Byte-level Subwords
Title（参考訳）: バイトレベルサブワードを用いた多言語事前学習言語モデルの訓練
Authors: Junqiu Wei, Qun Liu, Yinpeng Guo, Xin Jiang
Abstract要約: BBPE(Byte-Level BPE)を用いた多言語事前学習言語モデルの訓練実践について述べる。この実験では、NEZHAのアーキテクチャを基礎となるプリトレーニング言語モデルとして採用し、NEZHAがバイトレベルのサブワードを一貫して訓練していることを示した。我々は,バイトレベルの語彙構築ツールと多言語事前学習言語モデルのソースコードをリリースする。
参考スコア（独自算出の注目度）: 41.52056437015399
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: The pre-trained language models have achieved great successes in various natural language understanding (NLU) tasks due to its capacity to capture the deep contextualized information in text by pre-training on large-scale corpora. One of the fundamental components in pre-trained language models is the vocabulary, especially for training multilingual models on many different languages. In the technical report, we present our practices on training multilingual pre-trained language models with BBPE: Byte-Level BPE (i.e., Byte Pair Encoding). In the experiment, we adopted the architecture of NEZHA as the underlying pre-trained language model and the results show that NEZHA trained with byte-level subwords consistently outperforms Google multilingual BERT and vanilla NEZHA by a notable margin in several multilingual NLU tasks. We release the source code of our byte-level vocabulary building tools and the multilingual pre-trained language models.
Abstract（参考訳）: 事前学習された言語モデルは、大規模コーパスで事前学習することで、テキスト中の深い文脈情報を取得する能力により、様々な自然言語理解(NLU)タスクで大きな成功を収めている。事前訓練された言語モデルの基本的な構成要素の1つは語彙であり、特に多くの異なる言語で多言語モデルを訓練するためのものである。本稿では,BBPE(Byte-Level BPE,Byte Pair Encoding)を用いた多言語事前学習言語モデルの訓練実践について述べる。実験では、NEZHAのアーキテクチャを基礎となる事前学習言語モデルとして採用し、バイトレベルのサブワードで訓練したNEZHAが、Googleの多言語BERTとバニラNEZHAを、複数の多言語NLUタスクにおいて顕著な差で、一貫して上回っていることを示す。我々は,バイトレベルの語彙構築ツールと多言語事前学習言語モデルのソースコードをリリースする。