論文の概要: Deep Encoder, Shallow Decoder: Reevaluating Non-autoregressive Machine Translation

• arxiv url: http://arxiv.org/abs/2006.10369v4
• Date: Thu, 24 Jun 2021 21:46:03 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-19 13:50:56.990890
• Title: Deep Encoder, Shallow Decoder: Reevaluating Non-autoregressive Machine Translation
• Title（参考訳）: Deep Encoder, Shallow Decoder:非自己回帰型機械翻訳の再評価
• Authors: Jungo Kasai, Nikolaos Pappas, Hao Peng, James Cross, Noah A. Smith
• Abstract要約: 単層自己回帰デコーダは、推論速度に匹敵する強い非自己回帰モデルよりも大幅に優れていることを示す。 本研究は,高速かつ高精度な機械翻訳研究のための新しいプロトコルを構築した。
• 参考スコア（独自算出の注目度）: 78.51887060865273
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Much recent effort has been invested in non-autoregressive neural machine translation, which appears to be an efficient alternative to state-of-the-art autoregressive machine translation on modern GPUs. In contrast to the latter, where generation is sequential, the former allows generation to be parallelized across target token positions. Some of the latest non-autoregressive models have achieved impressive translation quality-speed tradeoffs compared to autoregressive baselines. In this work, we reexamine this tradeoff and argue that autoregressive baselines can be substantially sped up without loss in accuracy. Specifically, we study autoregressive models with encoders and decoders of varied depths. Our extensive experiments show that given a sufficiently deep encoder, a single-layer autoregressive decoder can substantially outperform strong non-autoregressive models with comparable inference speed. We show that the speed disadvantage for autoregressive baselines compared to non-autoregressive methods has been overestimated in three aspects: suboptimal layer allocation, insufficient speed measurement, and lack of knowledge distillation. Our results establish a new protocol for future research toward fast, accurate machine translation. Our code is available at https://github.com/jungokasai/deep-shallow.
• Abstract（参考訳）: 最近では、最新のGPU上での最先端の自己回帰型機械翻訳に代わる、非自己回帰型ニューラルマシン翻訳に投資されている。 生成がシーケンシャルな後者とは対照的に、前者はターゲットトークン位置間で生成を並列化することができる。 最新のノンリグレッシブモデルのいくつかは、オートレグレッシブベースラインと比較して、翻訳品質と速度の素晴らしいトレードオフを達成している。 本研究では, このトレードオフを再検討し, 精度を損なうことなく, 自己回帰ベースラインを実質的に向上させることができることを論じる。 具体的には,様々な深さのエンコーダとデコーダを用いた自己回帰モデルについて検討する。 我々の広範な実験により、十分に深いエンコーダが与えられた場合、単層自己回帰デコーダは、推論速度に匹敵する強い非自己回帰モデルよりも大幅に優れることが示された。 非自己回帰法と比較して, 自己回帰的ベースラインの速度不利は, 最適層配置, 速度測定の不十分, 知識蒸留の欠如の3点で過大評価されている。 本研究は,高速かつ高精度な機械翻訳研究のための新しいプロトコルを構築した。 私たちのコードはhttps://github.com/jungokasai/deep-shallowで利用可能です。

関連論文リスト

• Promises and Pitfalls of Generative Masked Language Modeling: Theoretical Framework and Practical Guidelines [74.42485647685272]
  GMLM(Generative Masked Language Models)に焦点を当てる。 我々は,マルコフ連鎖の入力として使用されるマスキングにより,データ分布の条件付き確率に適合するモデルを訓練し,モデルからサンプルを抽出する。 我々は,T5モデルを並列デコーディングに適応させ,最小品質の犠牲を伴って機械翻訳における2～3倍の高速化を実現した。
  論文  参考訳（メタデータ） (2024-07-22T18:00:00Z)
• Lossless Acceleration for Seq2seq Generation with Aggressive Decoding [74.12096349944497]
  アグレッシブデコーディング(Aggressive Decoding)は、セq2seq生成のための新しいデコーディングアルゴリズムである。 提案手法は, 自己回帰復号法と比較し, 同一(あるいは良好な)生成を実現することを目的としている。 複数のSeq2seqタスクにおいて、GPU上で最も人気のある6層トランスフォーマーモデル上で、攻撃的デコーディングをテストする。
  論文  参考訳（メタデータ） (2022-05-20T17:59:00Z)
• Non-Autoregressive Translation with Layer-Wise Prediction and Deep Supervision [33.04082398101807]
  Transformerのような既存のニューラルネットワーク翻訳モデルは高い性能を達成するが、単語を1つずつデコードする。 最近の非自己回帰翻訳モデルは推論を高速化するが、その品質は依然として劣っている。 機械翻訳のための高効率かつ高性能なモデルDSLPを提案する。
  論文  参考訳（メタデータ） (2021-10-14T16:36:12Z)
• PIMNet: A Parallel, Iterative and Mimicking Network for Scene Text Recognition [16.976881696357275]
  そこで我々はPIMNet(Parallel, Iterative and Mimicking Network)を提案する。 PIMNetでは、テキストを高速に予測するための並列アテンション機構と、予測をより正確にするための反復生成機構を採用している。
  論文  参考訳（メタデータ） (2021-09-09T10:11:07Z)
• Non-Autoregressive Translation by Learning Target Categorical Codes [59.840510037250944]
  本論文では,非回帰型復号法に潜在変数として暗黙的に分類符号を学習するCNATを提案する。 実験の結果,本モデルは機械翻訳タスクにおいて同等あるいは優れた性能が得られることがわかった。
  論文  参考訳（メタデータ） (2021-03-21T14:12:34Z)
• Enriching Non-Autoregressive Transformer with Syntactic and SemanticStructures for Neural Machine Translation [54.864148836486166]
  本稿では,言語の明示的な構文構造と意味構造を非自己回帰トランスフォーマーに組み込むことを提案する。 我々のモデルは、最先端の非自己回帰モデルと比較して翻訳品質を保ちながら、はるかに高速な速度を実現している。
  論文  参考訳（メタデータ） (2021-01-22T04:12:17Z)
• Cascaded Text Generation with Markov Transformers [122.76100449018061]
  ニューラルテキスト生成における2つの主要なアプローチは、シリアルビームサーチデコーディングを使用した完全自己回帰モデルと、出力依存のない並列デコーディングを使用した非自己回帰モデルである。 本稿では,境界付きコンテキストを持つ条件付きランダムフィールドを並列にデコードできることに言及し,高品質な出力を生成するための効率的なカスケードデコード手法を提案する。 このアプローチでは,5つの機械翻訳データセットの既存の手法と比較して,競争力のある精度と速度のトレードオフを示す一方で,標準的な自己回帰トレーニングからのわずかな変更しか必要としない。
  論文  参考訳（メタデータ） (2020-06-01T17:52:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。