論文の概要: Fully Non-autoregressive Neural Machine Translation: Tricks of the Trade

• arxiv url: http://arxiv.org/abs/2012.15833v1
• Date: Thu, 31 Dec 2020 18:52:59 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-17 17:10:49.009265
• Title: Fully Non-autoregressive Neural Machine Translation: Tricks of the Trade
• Title（参考訳）: 完全非自己回帰型ニューラルマシン翻訳:取引のトリック
• Authors: Jiatao Gu, Xiang Kong
• Abstract要約: NAT(Fullly non-autoregressive neural Machine Translation)は、ニューラルネットワークのシングルフォワードでトークンを同時に予測する手法である。 この作業では、レイテンシのアドバンテージを維持しながら、パフォーマンスのギャップを縮めることを目標としています。
• 参考スコア（独自算出の注目度）: 47.97977478431973
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Fully non-autoregressive neural machine translation (NAT) is proposed to simultaneously predict tokens with single forward of neural networks, which significantly reduces the inference latency at the expense of quality drop compared to the Transformer baseline. In this work, we target on closing the performance gap while maintaining the latency advantage. We first inspect the fundamental issues of fully NAT models, and adopt dependency reduction in the learning space of output tokens as the basic guidance. Then, we revisit methods in four different aspects that have been proven effective for improving NAT models, and carefully combine these techniques with necessary modifications. Our extensive experiments on three translation benchmarks show that the proposed system achieves the new state-of-the-art results for fully NAT models, and obtains comparable performance with the autoregressive and iterative NAT systems. For instance, one of the proposed models achieves 27.49 BLEU points on WMT14 En-De with approximately 16.5X speed up at inference time.
• Abstract（参考訳）: 完全な非自己回帰型ニューラルネットワーク翻訳(NAT)は、単一前方のニューラルネットワークでトークンを同時に予測するために提案され、Transformerベースラインと比較して、品質低下を犠牲にして推論遅延を著しく低減する。 この作業では、レイテンシのアドバンテージを維持しながら、パフォーマンスのギャップを縮めることを目標としています。 まず,完全natモデルの基本課題を検証し,出力トークンの学習空間における依存性の低減を基本指導として採用する。 そこで我々は,NATモデルの改善に有効な4つの側面で手法を再検討し,これらの手法と必要な修正を慎重に組み合わせた。 3つの翻訳ベンチマーク実験により,提案システムはNATモデルに対する新しい最先端結果を実現し,自己回帰的かつ反復的NATシステムと同等の性能が得られることを示した。 例えば、提案されたモデルの1つは WMT14 En-De 上で 27.49 BLEU 点を達成する。

関連論文リスト

• Revisiting Non-Autoregressive Transformers for Efficient Image Synthesis [82.72941975704374]
  非自己回帰変換器(NAT)は、その急速な世代で認識されている。 トレーニング戦略と推論戦略の設計を再考することにより、NATの潜在能力を再評価する。 自動フレームワークで最適な戦略を直接解き、既存の手法を超えることを提案する。
  論文  参考訳（メタデータ） (2024-06-08T13:52:20Z)
• Revisiting Non-Autoregressive Translation at Scale [76.93869248715664]
  スケーリングが非自己回帰翻訳(NAT)行動に与える影響を系統的に研究する。 我々は、NATモデルの一般的な弱さを緩和し、結果として翻訳性能が向上することを示した。 我々は、スケールされたデータセット上でスケールされたNATモデルを検証することで、新しいベンチマークを確立する。
  論文  参考訳（メタデータ） (2023-05-25T15:22:47Z)
• Optimizing Non-Autoregressive Transformers with Contrastive Learning [74.46714706658517]
  非自己回帰変換器(NAT)は、逐次順序ではなく全ての単語を同時に予測することにより、自動回帰変換器(AT)の推論遅延を低減する。 本稿では,データ分布ではなく,モデル分布からのサンプリングによるモダリティ学習の容易化を提案する。
  論文  参考訳（メタデータ） (2023-05-23T04:20:13Z)
• RenewNAT: Renewing Potential Translation for Non-Autoregressive Transformer [15.616188012177538]
  非自己回帰型ニューラルネットワーク翻訳(NAT)モデルは、比較的高い性能を維持しつつ、推論プロセスを加速するために提案される。 既存のNATモデルは、望ましい効率品質のトレードオフを達成するのは難しい。 高い効率と効率性を持つフレキシブルなフレームワークであるRenewNATを提案する。
  論文  参考訳（メタデータ） (2023-03-14T07:10:03Z)
• On the Learning of Non-Autoregressive Transformers [91.34196047466904]
  非自己回帰変換器(Non-autoregressive Transformer、NAT)は、テキスト生成モデルのファミリーである。 NAT学習の課題を明らかにするため,理論的および経験的分析を行った。
  論文  参考訳（メタデータ） (2022-06-13T08:42:09Z)
• Sequence-Level Training for Non-Autoregressive Neural Machine Translation [33.17341980163439]
  非自己回帰ニューラルネットワーク変換(NAT)は自己回帰機構を取り除き、大幅なデコード高速化を実現する。 本研究では,NATの出力を全体として評価し,実際の翻訳品質とよく相関するNATモデルをトレーニングするためのシーケンスレベルのトレーニング目標を提案する。
  論文  参考訳（メタデータ） (2021-06-15T13:30:09Z)
• Modeling Coverage for Non-Autoregressive Neural Machine Translation [9.173385214565451]
  本稿では,トークンレベルのカバレッジ反復改良機構と文レベルのカバレッジ契約により,カバレッジ情報を直接モデル化するための新しいカバレッジNATを提案する。 WMT14 En-De および WMT16 En-Ro 翻訳タスクの実験結果から,本手法はこれらの誤りを軽減し,ベースラインシステムに対して強い改善が達成できることが示された。
  論文  参考訳（メタデータ） (2021-04-24T07:33:23Z)
• Task-Level Curriculum Learning for Non-Autoregressive Neural Machine Translation [188.3605563567253]
  非自己回帰翻訳(NAT)は高速な推論速度を実現するが、自己回帰翻訳(AT)と比較して精度が悪くなる 本稿では、中間タスクとして半自己回帰翻訳(SAT)を導入し、ATとNATを特殊なケースとして扱う。 我々は、k を 1 から N に段階的にシフトさせるカリキュラムスケジュールを設計する。 IWSLT14 De-En, IWSLT16 En-De, WMT14 En-De, De-Enデータセットの実験により、TCL-NATは以前のNATベースラインよりも大幅に精度が向上したことが示された。
  論文  参考訳（メタデータ） (2020-07-17T06:06:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。