論文の概要: On the Complementarity between Pre-Training and Back-Translation for Neural Machine Translation

• arxiv url: http://arxiv.org/abs/2110.01811v1
• Date: Tue, 5 Oct 2021 04:01:36 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-06 23:46:29.750818
• Title: On the Complementarity between Pre-Training and Back-Translation for Neural Machine Translation
• Title（参考訳）: ニューラルマシン翻訳における事前学習とバックトランスレーションの相補性について
• Authors: Xuebo Liu, Longyue Wang, Derek F. Wong, Liang Ding, Lidia S. Chao, Shuming Shi, Zhaopeng Tu
• Abstract要約: 事前学習(PT)と後方翻訳(BT)は単言語データを利用するためのシンプルで強力な方法である。 本稿では,PTとBTの相補性について検討する。 我々は、WMT16英語-ルーマニア語と英語-ロシア語ベンチマークで最先端のパフォーマンスを確立する。
• 参考スコア（独自算出の注目度）: 63.914940899327966
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Pre-training (PT) and back-translation (BT) are two simple and powerful methods to utilize monolingual data for improving the model performance of neural machine translation (NMT). This paper takes the first step to investigate the complementarity between PT and BT. We introduce two probing tasks for PT and BT respectively and find that PT mainly contributes to the encoder module while BT brings more benefits to the decoder. Experimental results show that PT and BT are nicely complementary to each other, establishing state-of-the-art performances on the WMT16 English-Romanian and English-Russian benchmarks. Through extensive analyses on sentence originality and word frequency, we also demonstrate that combining Tagged BT with PT is more helpful to their complementarity, leading to better translation quality. Source code is freely available at https://github.com/SunbowLiu/PTvsBT.
• Abstract（参考訳）: プレトレーニング(PT)とバックトランスレーション(BT)は、単言語データを利用してニューラルマシン翻訳(NMT)のモデル性能を改善するための2つの単純かつ強力な方法である。 本稿は,ptとbtの相補性を検討するための第一歩である。 我々はPTとBTの2つの探索タスクを導入し、PTが主にエンコーダモジュールに寄与し、BTはデコーダにより多くの利点をもたらすことを発見した。 実験の結果,PTとBTは相互に相補的であり,WMT16の英語・ルーマニア語・英語・ロシア語のベンチマークで最先端の性能を確立した。 文の独創性と単語の頻度に関する広範囲な分析を通じて,タグ付きbtとptを組み合わせることで,その相補性が向上し,翻訳品質が向上することを示す。 ソースコードはhttps://github.com/SunbowLiu/PTvsBTで無料で入手できる。

関連論文リスト

• Text Style Transfer Back-Translation [14.608570096595177]
  Back Translationは、同様のスタイルを共有する入力の翻訳を改善する。 自然な入力では、BTはわずかに改善され、時には悪影響を及ぼすだけである。 本稿では,BTデータのソース側を変更するためにスタイル転送モデルを用いたテキストスタイル転送逆変換を提案する。
  論文  参考訳（メタデータ） (2023-06-02T07:33:47Z)
• Revamping Multilingual Agreement Bidirectionally via Switched Back-translation for Multilingual Neural Machine Translation [107.83158521848372]
  マルチリンガル・コンセンサス(MA)は、マルチリンガル・ニューラル・マシン翻訳(MNMT)の重要性を示した textbfBidirectional textbfMultilingual textbfAgreement via textbfSwitched textbfBack-textbftranslation (textbfBMA-SBT) これは、訓練済みのMNMTモデルを微調整するための、新規で普遍的な多言語合意フレームワークである。
  論文  参考訳（メタデータ） (2022-09-28T09:14:58Z)
• On the Complementarity between Pre-Training and Random-Initialization for Resource-Rich Machine Translation [80.16548523140025]
  テキスト表現の事前学習(PT)が低リソースニューラルネットワーク翻訳(NMT)に成功している 本稿では,それらの相補性と,PTとRIを協調させる最適輸送を用いたモデル融合アルゴリズムを提案する。 WMT'17 English- Chinese (20M) と WMT'19 English-German (36M) の2つのリソース豊富な翻訳ベンチマークの実験は、PT と RI が相互に相補的であることを示した。
  論文  参考訳（メタデータ） (2022-09-07T17:23:08Z)
• Enhanced Direct Speech-to-Speech Translation Using Self-supervised Pre-training and Data Augmentation [76.13334392868208]
  直接音声音声変換(S2ST)モデルは、データ不足の問題に悩まされる。 本研究では,この課題に対処するために,ラベルのない音声データとデータ拡張を用いた自己教師付き事前学習について検討する。
  論文  参考訳（メタデータ） (2022-04-06T17:59:22Z)
• Unsupervised Bitext Mining and Translation via Self-trained Contextual Embeddings [51.47607125262885]
  不整合テキストから機械翻訳(MT)のための擬似並列コーパスを作成するための教師なし手法について述べる。 我々は多言語BERTを用いて、最寄りの検索のためのソースとターゲット文の埋め込みを作成し、自己学習によりモデルを適応する。 BUCC 2017 bitextマイニングタスクで並列文ペアを抽出し,F1スコアの最大24.5ポイント増加(絶対)を従来の教師なし手法と比較して観察することで,本手法の有効性を検証した。
  論文  参考訳（メタデータ） (2020-10-15T14:04:03Z)
• SJTU-NICT's Supervised and Unsupervised Neural Machine Translation Systems for the WMT20 News Translation Task [111.91077204077817]
  我々は英語・中国語・英語・ポーランド語・ドイツ語・アッパー・ソルビアンという3つの言語対の4つの翻訳指導に参加した。 言語ペアの異なる条件に基づいて、我々は多様なニューラルネットワーク翻訳(NMT)技術の実験を行った。 私たちの提出書では、主要なシステムは英語、中国語、ポーランド語、英語、ドイツ語から上セルビア語への翻訳の道順で第一位を獲得しました。
  論文  参考訳（メタデータ） (2020-10-11T00:40:05Z)
• Evaluating Low-Resource Machine Translation between Chinese and Vietnamese with Back-Translation [32.25731930652532]
  後方翻訳(BT)は広く使われ、ニューラルネットワーク翻訳(NMT)におけるデータ拡張の標準手法の1つとなっている。 ベトナム語、ベトナム語、中国語のNMTモデルと統計的機械翻訳(SMT)モデルの両方に対して、文字ベースおよび単語ベースの設定で合成データの異なるサイズの影響を評価し、比較する。
  論文  参考訳（メタデータ） (2020-03-04T17:10:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。