論文の概要: Incorporating BERT into Neural Machine Translation

• arxiv url: http://arxiv.org/abs/2002.06823v1
• Date: Mon, 17 Feb 2020 08:13:36 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-31 12:55:36.486964
• Title: Incorporating BERT into Neural Machine Translation
• Title（参考訳）: ニューラルネットワーク翻訳へのBERTの導入
• Authors: Jinhua Zhu, Yingce Xia, Lijun Wu, Di He, Tao Qin, Wengang Zhou, Houqiang Li and Tie-Yan Liu
• Abstract要約: 本稿では,入力シーケンスの表現抽出にBERTを用いたBERT融合モデルを提案する。 我々は、教師付き(文レベルと文書レベルの翻訳を含む)、半教師なしおよび教師なしの機械翻訳の実験を行い、7つのベンチマークデータセットで最先端の結果を得る。
• 参考スコア（独自算出の注目度）: 251.54280200353674
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: The recently proposed BERT has shown great power on a variety of natural language understanding tasks, such as text classification, reading comprehension, etc. However, how to effectively apply BERT to neural machine translation (NMT) lacks enough exploration. While BERT is more commonly used as fine-tuning instead of contextual embedding for downstream language understanding tasks, in NMT, our preliminary exploration of using BERT as contextual embedding is better than using for fine-tuning. This motivates us to think how to better leverage BERT for NMT along this direction. We propose a new algorithm named BERT-fused model, in which we first use BERT to extract representations for an input sequence, and then the representations are fused with each layer of the encoder and decoder of the NMT model through attention mechanisms. We conduct experiments on supervised (including sentence-level and document-level translations), semi-supervised and unsupervised machine translation, and achieve state-of-the-art results on seven benchmark datasets. Our code is available at \url{https://github.com/bert-nmt/bert-nmt}.
• Abstract（参考訳）: 最近提案されたbertは、テキスト分類や読み理解など、さまざまな自然言語理解タスクにおいて大きな力を発揮しています。 しかし、BERTをニューラルネットワーク翻訳(NMT)に効果的に適用するには十分な探索が不十分である。 BERTは、下流言語理解タスクの文脈埋め込みではなく、より一般的にファインチューニングとして使用されるが、NMTでは、コンテキスト埋め込みとしてBERTを使用するという予備的な調査は、ファインチューニングよりも優れている。 この方向性に沿って、NMTにBERTをうまく活用する方法を考える動機になります。 BERT融合モデルという新しいアルゴリズムを提案し、まずBERTを用いて入力シーケンスの表現を抽出し、次にその表現をNMTモデルのエンコーダとデコーダの各レイヤに注意機構を通して融合させる。 我々は、教師付き(文レベルおよび文書レベルの翻訳を含む)、半教師付きおよび未教師付き機械翻訳の実験を行い、7つのベンチマークデータセットで最先端の結果を得る。 我々のコードは \url{https://github.com/bert-nmt/bert-nmt} で入手できる。

関連論文リスト

• PERT: Pre-training BERT with Permuted Language Model [24.92527883997854]
  PERT は Permuted Language Model (PerLM) で訓練された BERT のような自動エンコーディングモデルである 入力テキストのパーセンテージをパーミュレートし、トレーニングの目的は、元のトークンの位置を予測することである。 我々は中国語と英語のNLUベンチマークについて広範な実験を行った。
  論文  参考訳（メタデータ） (2022-03-14T07:58:34Z)
• BERT-DRE: BERT with Deep Recursive Encoder for Natural Language Sentence Matching [4.002351785644765]
  本稿では,BERTに深層再帰エンコーダを追加することにより,自然言語文マッチング(NLSM)のためのディープラーニングアーキテクチャを提案する。 モデル動作の解析は,BERTが依然としてテキストの完全複雑性を捉えていないことを示している。 宗教データセット上のBERTアルゴリズムは89.70%の精度を達成し、BERT-DREアーキテクチャは90.29%まで改善された。
  論文  参考訳（メタデータ） (2021-11-03T12:56:13Z)
• Phrase-level Active Learning for Neural Machine Translation [107.28450614074002]
  ドメイン内データの翻訳に所定の予算を費やすことのできる,アクティブな学習環境を提案する。 我々は、人間の翻訳者へのルーティングのために、新しいドメインの未ラベルデータから全文と個々の句を選択する。 ドイツ語と英語の翻訳タスクでは,不確実性に基づく文選択法に対して,能動的学習手法が一貫した改善を実現している。
  論文  参考訳（メタデータ） (2021-06-21T19:20:42Z)
• Better Neural Machine Translation by Extracting Linguistic Information from BERT [4.353029347463806]
  ニューラルマシン翻訳(NMT)に言語情報を追加することは、主に事前訓練されたモデルからの点推定の使用に焦点を当てている。 我々は点推定の代わりにBERTから細調整ベクターベース言語情報を抽出することによりNMTを増強する。
  論文  参考訳（メタデータ） (2021-04-07T00:03:51Z)
• BERT-JAM: Boosting BERT-Enhanced Neural Machine Translation with Joint Attention [9.366359346271567]
  本稿では、BERT-JAMと呼ばれる新しいBERT強化ニューラルマシン翻訳モデルを提案する。 BERT-JAMは、エンコーダ/デコーダ層が異なる表現間の注意を動的に割り当てるように、ジョイントアテンションモジュールを使用する。 実験の結果,BERT-JAM は複数の翻訳タスクにおいて SOTA BLEU スコアを達成できた。
  論文  参考訳（メタデータ） (2020-11-09T09:30:37Z)
• Deep Clustering of Text Representations for Supervision-free Probing of Syntax [51.904014754864875]
  本研究では,音声誘導 (POSI) と選挙区ラベリング (CoLab) の一部を考察する。 また,Multilingual BERT (mBERT) には,驚くほど多くの英語の構文知識が含まれていることがわかった。 本稿では,45 タグの英語 POSI の競争性能,12 タグの英語 POSI の10言語間における最先端性能,CoLab の競争結果について報告する。
  論文  参考訳（メタデータ） (2020-10-24T05:06:29Z)
• Unsupervised Bitext Mining and Translation via Self-trained Contextual Embeddings [51.47607125262885]
  不整合テキストから機械翻訳(MT)のための擬似並列コーパスを作成するための教師なし手法について述べる。 我々は多言語BERTを用いて、最寄りの検索のためのソースとターゲット文の埋め込みを作成し、自己学習によりモデルを適応する。 BUCC 2017 bitextマイニングタスクで並列文ペアを抽出し,F1スコアの最大24.5ポイント増加(絶対)を従来の教師なし手法と比較して観察することで,本手法の有効性を検証した。
  論文  参考訳（メタデータ） (2020-10-15T14:04:03Z)
• Incorporating BERT into Parallel Sequence Decoding with Adapters [82.65608966202396]
  本稿では,2種類のBERTモデルをエンコーダとデコーダとして取り出し,シンプルで軽量なアダプタモジュールを導入し,それらを微調整する。 我々は、ソース側およびターゲット側BERTモデルに含まれる情報を協調的に活用できるフレキシブルで効率的なモデルを得る。 我々のフレームワークは、BERTの双方向および条件独立性を考慮した、Mask-Predictという並列シーケンス復号アルゴリズムに基づいている。
  論文  参考訳（メタデータ） (2020-10-13T03:25:15Z)
• CERT: Contrastive Self-supervised Learning for Language Understanding [20.17416958052909]
  本稿では,トランスフォーマーからのコントラスト型自己教師型表現(CERT)を提案する。 CERTは、文レベルでのコントラッシブな自己教師型学習を用いて、言語表現モデルを事前訓練する。 そこでは,CERT が BERT を 7 タスクで上回り,BERT が 2 タスクで上回り,BERT が 2 タスクで上回り,BERT が 2 タスクで上回る性能である GLUE ベンチマークを用いて,CERT を 11 個の自然言語理解タスクで評価した。
  論文  参考訳（メタデータ） (2020-05-16T16:20:38Z)
• Cross-lingual Supervision Improves Unsupervised Neural Machine Translation [97.84871088440102]
  我々は,高リソース言語対からゼロリソース翻訳方向への弱教師付き信号を活用するために,多言語非教師付きNMTフレームワークを導入する。 6つのベンチマークの教師なし翻訳方向において,BLEUスコアが3以上あることにより,翻訳品質が大幅に向上する。
  論文  参考訳（メタデータ） (2020-04-07T05:46:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。