論文の概要: Quick Back-Translation for Unsupervised Machine Translation

• arxiv url: http://arxiv.org/abs/2312.00912v1
• Date: Fri, 1 Dec 2023 20:27:42 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-05 20:17:07.690955
• Title: Quick Back-Translation for Unsupervised Machine Translation
• Title（参考訳）: 教師なし機械翻訳のためのクイックバックトランスレーション
• Authors: Benjamin Brimacombe, Jiawei Zhou
• Abstract要約: 我々は Transformer back-translation: Quick Back-translation (QBT) に対する2対1の改善を提案する。 QBTは、エンコーダを生成モデルとして再使用し、エンコーダ生成シーケンスを使用してデコーダを訓練する。 様々なWMTベンチマーク実験により、QBTはトレーニング効率の点で標準逆翻訳法よりも劇的に優れていることが示された。
• 参考スコア（独自算出の注目度）: 9.51657235413336
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The field of unsupervised machine translation has seen significant advancement from the marriage of the Transformer and the back-translation algorithm. The Transformer is a powerful generative model, and back-translation leverages Transformer's high-quality translations for iterative self-improvement. However, the Transformer is encumbered by the run-time of autoregressive inference during back-translation, and back-translation is limited by a lack of synthetic data efficiency. We propose a two-for-one improvement to Transformer back-translation: Quick Back-Translation (QBT). QBT re-purposes the encoder as a generative model, and uses encoder-generated sequences to train the decoder in conjunction with the original autoregressive back-translation step, improving data throughput and utilization. Experiments on various WMT benchmarks demonstrate that a relatively small number of refining steps of QBT improve current unsupervised machine translation models, and that QBT dramatically outperforms standard back-translation only method in terms of training efficiency for comparable translation qualities.
• Abstract（参考訳）: 教師なし機械翻訳の分野は、トランスフォーマーとバックトランスレーションアルゴリズムの結合から大きく進歩した。 Transformerは強力な生成モデルであり、バックトランスレーションはTransformerの高品質な翻訳を活用して反復的な自己改善を行う。 しかし、トランスフォーマーは、バックトランスレーション中の自己回帰推論の実行時間に悩まされ、バックトランスレーションは合成データ効率の欠如によって制限される。 本稿では,Transformer Back-Translation: Quick Back-Translation (QBT) の改良を提案する。 qbtはエンコーダを生成モデルとして再活用し、エンコーダ生成シーケンスを使用して、元の自己回帰バックトランスレーションステップと組み合わせてデコーダをトレーニングし、データのスループットと利用性を改善する。 様々なWMTベンチマークの実験では、QBTの比較的少数の精細化ステップが現在の教師なし機械翻訳モデルを改善し、QBTは同等の翻訳品質のトレーニング効率で標準的なバック翻訳のみの手法を劇的に上回っている。

関連論文リスト

• Enhanced Transformer Architecture for Natural Language Processing [2.6071653283020915]
  Transformerは自然言語処理(NLP)分野における最先端モデルである 本稿では,トランスフォーマーの新たな構造を提案し,全層正規化,重み付け残差接続,強化学習を利用した位置符号化,マスク付き自己注意が特徴である。 The proposed Transformer model, called Enhanced Transformer, is confirmeded by the bilingual evaluation understudy (BLEU) score obtained with the Multi30k translation dataset。
  論文  参考訳（メタデータ） (2023-10-17T01:59:07Z)
• Optimizing Non-Autoregressive Transformers with Contrastive Learning [74.46714706658517]
  非自己回帰変換器(NAT)は、逐次順序ではなく全ての単語を同時に予測することにより、自動回帰変換器(AT)の推論遅延を低減する。 本稿では,データ分布ではなく,モデル分布からのサンプリングによるモダリティ学習の容易化を提案する。
  論文  参考訳（メタデータ） (2023-05-23T04:20:13Z)
• Viterbi Decoding of Directed Acyclic Transformer for Non-Autoregressive Machine Translation [13.474844448367367]
  非自己回帰モデルは、ニューラルネットワーク翻訳において大幅なデコードスピードアップを実現するが、シーケンシャルな依存関係をキャプチャする能力は欠如している。 本稿では, DA-Transformer のためのビタビ復号化フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-10-11T06:53:34Z)
• GTrans: Grouping and Fusing Transformer Layers for Neural Machine Translation [107.2752114891855]
  トランスフォーマー構造は、エンコーダとデコーダのネットワーク層によって積み重ねられ、ニューラルマシン翻訳において大きな発展を遂げる。 本稿では,エンコーダとデコーダの多層表現を異なるグループに柔軟に分割し,これらの特徴を融合して目的語を生成するグループトランスフォーマーモデルを提案する。
  論文  参考訳（メタデータ） (2022-07-29T04:10:36Z)
• Directed Acyclic Transformer for Non-Autoregressive Machine Translation [93.31114105366461]
  Directed Acyclic Transfomer (DA-Transformer) は、DAG (Directed Acyclic Graph) の隠れ状態を表す。 DA-Transformerは、平均して約3 BLEUで以前のNATよりも大幅に優れていた。
  論文  参考訳（メタデータ） (2022-05-16T06:02:29Z)
• Optimizing Transformer for Low-Resource Neural Machine Translation [4.802292434636455]
  低リソース言語としても知られる、限られた並列データを持つ言語ペアは、ニューラルマシン翻訳の課題である。 IWSLT14トレーニングデータの異なるサブセットに対する実験により,低リソース条件下でのTransformerの有効性がハイパーパラメータ設定に大きく依存していることが判明した。 低リソース条件に最適化されたTransformerを使用することで、Transformerのデフォルト設定に比べて、変換品質は7.3 BLEUポイントまで向上する。
  論文  参考訳（メタデータ） (2020-11-04T13:12:29Z)
• Glancing Transformer for Non-Autoregressive Neural Machine Translation [58.87258329683682]
  単一パス並列生成モデルにおける単語相互依存の学習法を提案する。 単一パスの並列デコードだけで、GLATは8～15倍のスピードアップで高品質な翻訳を生成することができる。
  論文  参考訳（メタデータ） (2020-08-18T13:04:03Z)
• Applying the Transformer to Character-level Transduction [68.91664610425114]
  この変換器は、様々な単語レベルのNLPタスクにおいて、繰り返しニューラルネットワークに基づくシーケンス・ツー・シーケンスモデルより優れていることが示されている。 十分なバッチサイズで、トランスフォーマーは文字レベルタスクの繰り返しモデルよりも優れていることを示す。
  論文  参考訳（メタデータ） (2020-05-20T17:25:43Z)
• Explicit Reordering for Neural Machine Translation [50.70683739103066]
  Transformer-based neural machine translation (NMT)では、位置符号化機構は、自己アテンションネットワークが順序依存でソース表現を学習するのに役立つ。 本研究では,トランスフォーマーベースのNMTに対して,このリオーダ情報を明示的にモデル化する新しいリオーダ手法を提案する。 WMT14, WAT ASPEC日本語訳, WMT17中国語訳の実証結果から, 提案手法の有効性が示唆された。
  論文  参考訳（メタデータ） (2020-04-08T05:28:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。