論文の概要: Unsupervised Neural Machine Translation with Generative Language Models Only

• arxiv url: http://arxiv.org/abs/2110.05448v1
• Date: Mon, 11 Oct 2021 17:35:34 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-12 15:15:46.231097
• Title: Unsupervised Neural Machine Translation with Generative Language Models Only
• Title（参考訳）: 生成言語モデルのみを用いた教師なしニューラルマシン翻訳
• Authors: Jesse Michael Han, Igor Babuschkin, Harrison Edwards, Arvind Neelakantan, Tao Xu, Stanislas Polu, Alex Ray, Pranav Shyam, Aditya Ramesh, Alec Radford, Ilya Sutskever
• Abstract要約: 生成事前学習言語モデルから、最先端の教師なしニューラルネットワーク翻訳システムを導出する方法を示す。 本手法は, 数発増幅, 蒸留, 逆翻訳の3段階からなる。
• 参考スコア（独自算出の注目度）: 19.74865387759671
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We show how to derive state-of-the-art unsupervised neural machine translation systems from generatively pre-trained language models. Our method consists of three steps: few-shot amplification, distillation, and backtranslation. We first use the zero-shot translation ability of large pre-trained language models to generate translations for a small set of unlabeled sentences. We then amplify these zero-shot translations by using them as few-shot demonstrations for sampling a larger synthetic dataset. This dataset is distilled by discarding the few-shot demonstrations and then fine-tuning. During backtranslation, we repeatedly generate translations for a set of inputs and then fine-tune a single language model on both directions of the translation task at once, ensuring cycle-consistency by swapping the roles of gold monotext and generated translations when fine-tuning. By using our method to leverage GPT-3's zero-shot translation capability, we achieve a new state-of-the-art in unsupervised translation on the WMT14 English-French benchmark, attaining a BLEU score of 42.1.
• Abstract（参考訳）: 生成事前学習言語モデルから、最先端の教師なしニューラルネットワーク翻訳システムを導出する方法を示す。 本手法は, 数発増幅, 蒸留, 逆翻訳の3段階からなる。 まず,事前学習された大規模言語モデルのゼロショット翻訳機能を用いて,ラベルなし文の少ない翻訳文を生成する。 そして、これらのゼロショット翻訳を、より大きな合成データセットをサンプリングするためのわずかなデモとして使用することで増幅します。 このデータセットは、少数のデモを破棄して微調整することで蒸留される。 逆翻訳中は、一連の入力に対する翻訳を繰り返し生成し、同時に翻訳タスクの両方向の単一言語モデルを微調整し、ゴールドモノテキストの役割を交換してサイクル整合性を確保するとともに、微調整時に翻訳を生成する。 我々は,GPT-3のゼロショット翻訳能力を活用するために,WMT14の英語-フランス語ベンチマークにおいて,BLEUスコア42.1に到達した。

関連論文リスト

• Crossing the Threshold: Idiomatic Machine Translation through Retrieval Augmentation and Loss Weighting [66.02718577386426]
  慣用的な翻訳と関連する問題を簡易に評価する。 我々は,変圧器をベースとした機械翻訳モデルが慣用的な翻訳に対して正しくデフォルトとなる点を明らかにするための合成実験を行った。 自然慣用句の翻訳を改善するために, 単純かつ効果的な2つの手法を導入する。
  論文  参考訳（メタデータ） (2023-10-10T23:47:25Z)
• Decomposed Prompting for Machine Translation Between Related Languages using Large Language Models [55.35106713257871]
  DecoMTは、単語チャンク翻訳のシーケンスに翻訳プロセスを分解する、数発のプロンプトの新しいアプローチである。 DecoMTはBLOOMモデルよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-05-22T14:52:47Z)
• MALM: Mixing Augmented Language Modeling for Zero-Shot Machine Translation [0.0]
  大規模な事前訓練された言語モデルは、NLPに顕著な進歩をもたらした。 ゼロショット多言語機械翻訳における自己教師付き事前学習とデータ拡張の有効性を実証的に実証した。
  論文  参考訳（メタデータ） (2022-10-01T17:01:30Z)
• DEEP: DEnoising Entity Pre-training for Neural Machine Translation [123.6686940355937]
  機械翻訳モデルは通常、トレーニングコーパスで稀な名前付きエンティティの翻訳を貧弱に生成することが示されている。 文中の名前付きエンティティ翻訳精度を向上させるために,大量のモノリンガルデータと知識ベースを利用するDenoising Entity Pre-training法であるDEEPを提案する。
  論文  参考訳（メタデータ） (2021-11-14T17:28:09Z)
• Improving Multilingual Translation by Representation and Gradient Regularization [82.42760103045083]
  表現レベルと勾配レベルの両方でNMTモデルを正規化するための共同手法を提案する。 提案手法は,オフターゲット翻訳の発生率の低減とゼロショット翻訳性能の向上に有効であることを示す。
  論文  参考訳（メタデータ） (2021-09-10T10:52:21Z)
• Modelling Latent Translations for Cross-Lingual Transfer [47.61502999819699]
  従来のパイプラインの2つのステップ(翻訳と分類)を1つのモデルに統合する新しい手法を提案する。 我々は,多言語NLUタスクにおける新しい潜時翻訳モデルの評価を行った。 ゼロショットと数ショットの学習設定の両方で、平均2.7の精度ポイントのゲインを報告します。
  論文  参考訳（メタデータ） (2021-07-23T17:11:27Z)
• Exemplar-Controllable Paraphrasing and Translation using Bitext [57.92051459102902]
  私たちは、バイリンガルテキスト(bitext)からのみ学ぶことができるように、以前の作業からモデルを適用する。 提案した1つのモデルでは、両言語で制御されたパラフレーズ生成と、両言語で制御された機械翻訳の4つのタスクを実行することができる。
  論文  参考訳（メタデータ） (2020-10-12T17:02:50Z)
• Incorporating Bilingual Dictionaries for Low Resource Semi-Supervised Neural Machine Translation [5.958653653305609]
  我々は、単語・バイ・ワードの翻訳によって合成文を生成する、広く利用可能なバイリンガル辞書を組み込んだ。 これにより、高品質なコンテンツを維持しながら、モデルの語彙を自動的に拡張する。
  論文  参考訳（メタデータ） (2020-04-05T02:14:14Z)
• Multilingual Denoising Pre-training for Neural Machine Translation [132.66750663226287]
  mBART(mBART)は、大規模モノリンガルコーパスで事前訓練されたシーケンスからシーケンスまでの自動エンコーダである。 mBARTは、完全なシーケンス・ツー・シーケンスモデルを事前訓練する最初の方法の1つである。
  論文  参考訳（メタデータ） (2020-01-22T18:59:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。