論文の概要: Glancing Transformer for Non-Autoregressive Neural Machine Translation

• arxiv url: http://arxiv.org/abs/2008.07905v3
• Date: Thu, 13 May 2021 14:41:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2022-10-27 21:31:29.288079
• Title: Glancing Transformer for Non-Autoregressive Neural Machine Translation
• Title（参考訳）: 非自己回帰型ニューラルマシン変換のためのグリランシングトランスフォーマー
• Authors: Lihua Qian, Hao Zhou, Yu Bao, Mingxuan Wang, Lin Qiu, Weinan Zhang, Yong Yu, Lei Li
• Abstract要約: 単一パス並列生成モデルにおける単語相互依存の学習法を提案する。 単一パスの並列デコードだけで、GLATは8～15倍のスピードアップで高品質な翻訳を生成することができる。
• 参考スコア（独自算出の注目度）: 58.87258329683682
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent work on non-autoregressive neural machine translation (NAT) aims at improving the efficiency by parallel decoding without sacrificing the quality. However, existing NAT methods are either inferior to Transformer or require multiple decoding passes, leading to reduced speedup. We propose the Glancing Language Model (GLM), a method to learn word interdependency for single-pass parallel generation models. With GLM, we develop Glancing Transformer (GLAT) for machine translation. With only single-pass parallel decoding, GLAT is able to generate high-quality translation with 8-15 times speedup. Experiments on multiple WMT language directions show that GLAT outperforms all previous single pass non-autoregressive methods, and is nearly comparable to Transformer, reducing the gap to 0.25-0.9 BLEU points.
• Abstract（参考訳）: 非自己回帰型ニューラルネットワーク翻訳(NAT)の最近の研究は、品質を犠牲にすることなく並列デコーディングによる効率の向上を目指している。 しかし、既存のNATメソッドはTransformerより劣っているか、複数のデコードパスを必要とするため、スピードアップが低下する。 Glancing Language Model (GLM) は,単一パス並列生成モデルに対する単語相互依存性を学習する手法である。 GLM を用いて機械翻訳のための Glancing Transformer (GLAT) を開発した。 シングルパスの並列復号だけで、glatは8～15倍のスピードアップで高品質の翻訳を生成できる。 複数のWMT言語方向の実験では、GLATは以前のシングルパス非自己回帰メソッドよりも優れており、Transformerとほぼ同等であり、ギャップを 0.25-0.9 BLEU ポイントに短縮している。

関連論文リスト

• Quick Back-Translation for Unsupervised Machine Translation [9.51657235413336]
  我々は Transformer back-translation: Quick Back-translation (QBT) に対する2対1の改善を提案する。 QBTは、エンコーダを生成モデルとして再使用し、エンコーダ生成シーケンスを使用してデコーダを訓練する。 様々なWMTベンチマーク実験により、QBTはトレーニング効率の点で標準逆翻訳法よりも劇的に優れていることが示された。
  論文  参考訳（メタデータ） (2023-12-01T20:27:42Z)
• TranSFormer: Slow-Fast Transformer for Machine Translation [52.12212173775029]
  本稿では,TrantextbfSFormerと呼ばれる2ストリーム学習モデルを提案する。 我々のTranSFormerは、複数の機械翻訳ベンチマークにおいて、BLEUの一貫性のある改善(BLEU点よりも大きい)を示す。
  論文  参考訳（メタデータ） (2023-05-26T14:37:38Z)
• Optimizing Non-Autoregressive Transformers with Contrastive Learning [74.46714706658517]
  非自己回帰変換器(NAT)は、逐次順序ではなく全ての単語を同時に予測することにより、自動回帰変換器(AT)の推論遅延を低減する。 本稿では,データ分布ではなく,モデル分布からのサンプリングによるモダリティ学習の容易化を提案する。
  論文  参考訳（メタデータ） (2023-05-23T04:20:13Z)
• Accelerating Transformer Inference for Translation via Parallel Decoding [2.89306442817912]
  自動回帰復号化は機械翻訳(MT)における変圧器の効率を制限する 並列デコーディングアルゴリズムを3つ提示し、異なる言語やモデルでテストする。
  論文  参考訳（メタデータ） (2023-05-17T17:57:34Z)
• Directed Acyclic Transformer for Non-Autoregressive Machine Translation [93.31114105366461]
  Directed Acyclic Transfomer (DA-Transformer) は、DAG (Directed Acyclic Graph) の隠れ状態を表す。 DA-Transformerは、平均して約3 BLEUで以前のNATよりも大幅に優れていた。
  論文  参考訳（メタデータ） (2022-05-16T06:02:29Z)
• Instantaneous Grammatical Error Correction with Shallow Aggressive Decoding [57.08875260900373]
  即時文法的誤り訂正(GEC)のためのトランスフォーマーのオンライン推論効率を改善するために,Shallow Aggressive Decoding (SAD)を提案する。 SADは、計算並列性を改善するために、各ステップで1つのトークンだけを復号するのではなく、可能な限り多くのトークンを並列に復号する。 英語と中国語のGECベンチマークでの実験では、アグレッシブな復号化がオンライン推論の大幅なスピードアップをもたらす可能性がある。
  論文  参考訳（メタデータ） (2021-06-09T10:30:59Z)
• Incorporating a Local Translation Mechanism into Non-autoregressive Translation [28.678752678905244]
  非自己回帰翻訳(NAT)モデルに新しい局所自己回帰翻訳機構を導入する。 各目標復号位置について、1つのトークンの代わりに、自己回帰的な方法で短いトークン列を予測する。 我々は、出力部品を1つの最終的な出力シーケンスに整列し、マージする効率的なマージアルゴリズムを設計する。
  論文  参考訳（メタデータ） (2020-11-12T00:32:51Z)
• Cascaded Text Generation with Markov Transformers [122.76100449018061]
  ニューラルテキスト生成における2つの主要なアプローチは、シリアルビームサーチデコーディングを使用した完全自己回帰モデルと、出力依存のない並列デコーディングを使用した非自己回帰モデルである。 本稿では,境界付きコンテキストを持つ条件付きランダムフィールドを並列にデコードできることに言及し,高品質な出力を生成するための効率的なカスケードデコード手法を提案する。 このアプローチでは,5つの機械翻訳データセットの既存の手法と比較して,競争力のある精度と速度のトレードオフを示す一方で,標準的な自己回帰トレーニングからのわずかな変更しか必要としない。
  論文  参考訳（メタデータ） (2020-06-01T17:52:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。