論文の概要: The RoyalFlush System for the WMT 2022 Efficiency Task

• arxiv url: http://arxiv.org/abs/2212.01543v1
• Date: Sat, 3 Dec 2022 05:36:10 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-06 16:31:39.059704
• Title: The RoyalFlush System for the WMT 2022 Efficiency Task
• Title（参考訳）: WMT2022効率タスクのためのRoyalFlushシステム
• Authors: Bo Qin, Aixin Jia, Qiang Wang, Jianning Lu, Shuqin Pan, Haibo Wang, Ming Chen
• Abstract要約: 本稿では、WMT 2022翻訳効率タスクに対するRoyal Neural Machine Translation Systemの提出について述べる。 一般的に使われている自己回帰翻訳システムとは異なり、我々はハイブリッド回帰翻訳と呼ばれる2段階の翻訳パラダイムを採用した。 われわれの最速のシステムはGPUレイテンシ設定で6k+ワード/秒に達し、昨年の勝者より約3.1倍速いと見積もられている。
• 参考スコア（独自算出の注目度）: 11.00644143928471
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper describes the submission of the RoyalFlush neural machine translation system for the WMT 2022 translation efficiency task. Unlike the commonly used autoregressive translation system, we adopted a two-stage translation paradigm called Hybrid Regression Translation (HRT) to combine the advantages of autoregressive and non-autoregressive translation. Specifically, HRT first autoregressively generates a discontinuous sequence (e.g., make a prediction every $k$ tokens, $k>1$) and then fills in all previously skipped tokens at once in a non-autoregressive manner. Thus, we can easily trade off the translation quality and speed by adjusting $k$. In addition, by integrating other modeling techniques (e.g., sequence-level knowledge distillation and deep-encoder-shallow-decoder layer allocation strategy) and a mass of engineering efforts, HRT improves 80\% inference speed and achieves equivalent translation performance with the same-capacity AT counterpart. Our fastest system reaches 6k+ words/second on the GPU latency setting, estimated to be about 3.1x faster than the last year's winner.
• Abstract（参考訳）: 本稿では、WMT 2022翻訳効率タスクのためのRoyalFlushニューラルマシン翻訳システムの提出について述べる。 一般的な自己回帰翻訳システムとは異なり, 自己回帰翻訳の利点と非自己回帰翻訳の利点を組み合わせるため, ハイブリッド回帰翻訳(hrt)と呼ばれる二段階翻訳パラダイムを採用した。 具体的には、HRTは最初、不連続なシーケンス(例えば、$k$トークン毎、$k>1$)を自動回帰的に生成し、その後、非自己回帰的な方法で一度にスキップされたトークンをすべて埋める。 したがって、$k$を調整することで、翻訳の質とスピードを簡単に交換できる。 さらに、他のモデリング技術(例えば、シーケンシャルレベルの知識蒸留とディープエンコーダ・シャロー・デコーダ層割り当て戦略)と多くのエンジニアリングの取り組みを統合することで、HRTは80%の推論速度を改善し、同じ容量のATと同等の翻訳性能を達成する。 われわれの最速のシステムはGPUレイテンシ設定で6k+ワード/秒に達し、昨年の勝者より約3.1倍速いと見積もられている。

関連論文リスト

• Hybrid-Regressive Neural Machine Translation [11.634586560239404]
  自己回帰的・非自己回帰的翻訳パラダイムの長所をうまく組み合わせる方法について検討する。 ハイブリッド回帰翻訳(HRT)と呼ばれる新しい2段階翻訳プロトタイプを提案する。 HRTは、WMT En-Deタスクで最先端のBLEUスコア28.49を達成し、バッチサイズやデバイスに関わらず、ATよりも少なくとも1.5倍高速である。
  論文  参考訳（メタデータ） (2022-10-19T09:26:15Z)
• Non-Autoregressive Translation with Layer-Wise Prediction and Deep Supervision [33.04082398101807]
  Transformerのような既存のニューラルネットワーク翻訳モデルは高い性能を達成するが、単語を1つずつデコードする。 最近の非自己回帰翻訳モデルは推論を高速化するが、その品質は依然として劣っている。 機械翻訳のための高効率かつ高性能なモデルDSLPを提案する。
  論文  参考訳（メタデータ） (2021-10-14T16:36:12Z)
• The Volctrans GLAT System: Non-autoregressive Translation Meets WMT21 [25.41660831320743]
  我々はGlancing Transformerを用いて並列(非自己回帰)翻訳システムを構築する。 本システムでは,ドイツ語から英語への翻訳作業において,BLEUスコア(35.0)を最高のスコアで達成し,高い自己回帰能力に優れる。
  論文  参考訳（メタデータ） (2021-09-23T09:41:44Z)
• The USYD-JD Speech Translation System for IWSLT 2021 [85.64797317290349]
  本稿では,シドニー大学とJDが共同でIWSLT 2021低リソース音声翻訳タスクを提出したことを述べる。 私たちは、公式に提供されたASRとMTデータセットでモデルをトレーニングしました。 翻訳性能の向上を目的として, バック翻訳, 知識蒸留, 多機能再構成, トランスダクティブファインタニングなど, 最新の効果的な手法について検討した。
  論文  参考訳（メタデータ） (2021-07-24T09:53:34Z)
• Source and Target Bidirectional Knowledge Distillation for End-to-end Speech Translation [88.78138830698173]
  外部テキストベースNMTモデルからのシーケンスレベルの知識蒸留(SeqKD)に注目した。 E2E-STモデルを訓練し、パラフレーズ転写を1つのデコーダで補助タスクとして予測する。
  論文  参考訳（メタデータ） (2021-04-13T19:00:51Z)
• Future-Guided Incremental Transformer for Simultaneous Translation [6.8452940299620435]
  同時翻訳(st)は、ソース文を読みながら同期的に開始され、多くのオンラインシナリオで使用される。 wait-kポリシーは、隠れた状態の再計算によるトレーニング速度の低下と、トレーニングを導くための将来のソース情報の欠如という2つの弱点に直面しています。 平均埋め込み層(AEL)を有するインクリメンタルトランスフォーマを提案し,隠れ状態の計算速度を高速化する。
  論文  参考訳（メタデータ） (2020-12-23T03:04:49Z)
• Incorporating a Local Translation Mechanism into Non-autoregressive Translation [28.678752678905244]
  非自己回帰翻訳(NAT)モデルに新しい局所自己回帰翻訳機構を導入する。 各目標復号位置について、1つのトークンの代わりに、自己回帰的な方法で短いトークン列を予測する。 我々は、出力部品を1つの最終的な出力シーケンスに整列し、マージする効率的なマージアルゴリズムを設計する。
  論文  参考訳（メタデータ） (2020-11-12T00:32:51Z)
• Iterative Refinement in the Continuous Space for Non-Autoregressive Neural Machine Translation [68.25872110275542]
  非自己回帰型機械翻訳のための効率的な推論手法を提案する。 反復的に連続空間で純粋に翻訳を洗練させる。 We evaluate our approach on WMT'14 En-De, WMT'16 Ro-En and IWSLT'16 De-En。
  論文  参考訳（メタデータ） (2020-09-15T15:30:14Z)
• Glancing Transformer for Non-Autoregressive Neural Machine Translation [58.87258329683682]
  単一パス並列生成モデルにおける単語相互依存の学習法を提案する。 単一パスの並列デコードだけで、GLATは8～15倍のスピードアップで高品質な翻訳を生成することができる。
  論文  参考訳（メタデータ） (2020-08-18T13:04:03Z)
• Deep Encoder, Shallow Decoder: Reevaluating Non-autoregressive Machine Translation [78.51887060865273]
  単層自己回帰デコーダは、推論速度に匹敵する強い非自己回帰モデルよりも大幅に優れていることを示す。 本研究は,高速かつ高精度な機械翻訳研究のための新しいプロトコルを構築した。
  論文  参考訳（メタデータ） (2020-06-18T09:06:49Z)
• Non-Autoregressive Machine Translation with Disentangled Context Transformer [70.95181466892795]
  最先端のニューラルネットワーク翻訳モデルは、左から右への翻訳を生成し、各ステップは以前に生成されたトークンに条件付けされる。 本研究では,異なるコンテキストのトークンを同時に生成するDisentangled Context (DisCo) 変換器を提案する。 本モデルでは,非自己回帰型機械翻訳技術と比較して性能が向上する一方,デコーディング時間の平均は大幅に減少する。
  論文  参考訳（メタデータ） (2020-01-15T05:32:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。