論文の概要: Multilingual Neural Machine Translation with Deep Encoder and Multiple Shallow Decoders

• arxiv url: http://arxiv.org/abs/2206.02079v1
• Date: Sun, 5 Jun 2022 01:15:04 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-07 16:33:48.306203
• Title: Multilingual Neural Machine Translation with Deep Encoder and Multiple Shallow Decoders
• Title（参考訳）: ディープエンコーダと多重浅層デコーダを用いた多言語ニューラルマシン翻訳
• Authors: Xiang Kong, Adithya Renduchintala, James Cross, Yuqing Tang, Jiatao Gu, Xian Li
• Abstract要約: 本稿では,複数の浅層デコーダ(DEMSD)を持つディープエンコーダを提案する。 2層デコーダを用いたDEMDモデルは、翻訳品質の低下のない標準トランスモデルと比較して平均1.8倍の高速化が得られる。
• 参考スコア（独自算出の注目度）: 77.2101943305862
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent work in multilingual translation advances translation quality surpassing bilingual baselines using deep transformer models with increased capacity. However, the extra latency and memory costs introduced by this approach may make it unacceptable for efficiency-constrained applications. It has recently been shown for bilingual translation that using a deep encoder and shallow decoder (DESD) can reduce inference latency while maintaining translation quality, so we study similar speed-accuracy trade-offs for multilingual translation. We find that for many-to-one translation we can indeed increase decoder speed without sacrificing quality using this approach, but for one-to-many translation, shallow decoders cause a clear quality drop. To ameliorate this drop, we propose a deep encoder with multiple shallow decoders (DEMSD) where each shallow decoder is responsible for a disjoint subset of target languages. Specifically, the DEMSD model with 2-layer decoders is able to obtain a 1.8x speedup on average compared to a standard transformer model with no drop in translation quality.
• Abstract（参考訳）: 近年の多言語翻訳の研究は、高容量の深層トランスフォーマモデルを用いた多言語ベースラインよりも翻訳品質が向上している。 しかし、このアプローチによって導入された追加のレイテンシとメモリコストは、効率に制約のあるアプリケーションでは受け入れられないかもしれない。 近年,深部エンコーダと浅部デコーダ(DESD)を用いて翻訳品質を維持しながら推論遅延を低減できることがバイリンガル翻訳において示されている。 複数対1の翻訳では、このアプローチを使って品質を犠牲にすることなくデコーダの速度を向上できるが、一対多の翻訳では浅いデコーダが明らかな品質低下を引き起こす。 そこで本研究では,複数の浅層デコーダ(DEMSD)を持つディープエンコーダを提案する。 具体的には、2層デコーダを用いたDEMDモデルは、翻訳品質の低下のない標準トランスモデルと比較して平均1.8倍の高速化が得られる。

関連論文リスト

• Learning Language-Specific Layers for Multilingual Machine Translation [1.997704019887898]
  言語特化トランスフォーマー層(LSL)を紹介する。 LSLは、計算量と前方通過定数のパラメータ数を保ちながら、モデルのキャパシティを向上させることができる。 我々は、ニューラルネットワーク探索にインスパイアされたアプローチを用いて、これらの層を配置する最善の方法を研究し、分離されたデコーダアーキテクチャではLSLを使用しない 1.3 chrF (1.5 spBLEU) 点、共有デコーダでは 1.9 chrF (2.2 spBLEU) 点の改善を実現した。
  論文  参考訳（メタデータ） (2023-05-04T09:18:05Z)
• Fast-MD: Fast Multi-Decoder End-to-End Speech Translation with Non-Autoregressive Hidden Intermediates [59.678108707409606]
  我々は、接続性時間分類(CTC)出力に基づいて非自己回帰デコードによりHIを生成する高速MDモデルであるFast-MDを提案し、続いてASRデコーダを提案する。 高速MDは、GPUとCPUの「単純なMDモデル」よりも2倍、4倍高速なデコード速度を実現した。
  論文  参考訳（メタデータ） (2021-09-27T05:21:30Z)
• Efficient Inference for Multilingual Neural Machine Translation [60.10996883354372]
  我々は、その品質を劣化させることなく、多言語NMTを推論で高速にする方法をいくつか検討する。 実験により,浅いデコーダと語彙フィルタを組み合わせることで,翻訳品質を損なうことなく2倍以上の高速な推論が可能であることが確認された。
  論文  参考訳（メタデータ） (2021-09-14T13:28:13Z)
• DeltaLM: Encoder-Decoder Pre-training for Language Generation and Translation by Augmenting Pretrained Multilingual Encoders [92.90543340071007]
  本稿では,事前訓練された多言語エンコーダデコーダモデルDeltaLMを紹介する。 具体的には,事前学習した多言語エンコーダをデコーダで拡張し,自己指導型で事前学習する。 実験により、DeltaLMは自然言語生成と翻訳の両方のタスクにおいて、様々な強力なベースラインを上回ります。
  論文  参考訳（メタデータ） (2021-06-25T16:12:10Z)
• Probing Word Translations in the Transformer and Trading Decoder for Encoder Layers [69.40942736249397]
  トランスフォーマー層における単語の翻訳方法はまだ研究されていない。 翻訳はすでにエンコーダ層や入力埋め込みでも徐々に行われています。 実験の結果,翻訳品質が低い2.3までの速度向上が可能であり,さらに18-4のディープエンコーダ構成では翻訳品質が1.42BLEU(En-De)の速度アップで+1.42BLEU(En-De)向上することがわかった。
  論文  参考訳（メタデータ） (2020-03-21T06:12:14Z)
• Bi-Decoder Augmented Network for Neural Machine Translation [108.3931242633331]
  本稿では,ニューラルマシン翻訳タスクのためのBi-Decoder Augmented Network (BiDAN)を提案する。 各デコーダは入力されたテキストの表現を対応する言語に変換するため、2つの目的語と共同でトレーニングすることで、共有エンコーダは言語に依存しない意味空間を生成することができる。
  論文  参考訳（メタデータ） (2020-01-14T02:05:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。