論文の概要: The NiuTrans System for WNGT 2020 Efficiency Task

• arxiv url: http://arxiv.org/abs/2109.08008v1
• Date: Thu, 16 Sep 2021 14:32:01 GMT
• ステータス: 処理完了
• システム内更新日: 2021-09-17 18:32:33.266555
• Title: The NiuTrans System for WNGT 2020 Efficiency Task
• Title（参考訳）: WNGT 2020効率タスクのためのニウトランスシステム
• Authors: Chi Hu, Bei Li, Ye Lin, Yinqiao Li, Yanyang Li, Chenglong Wang, Tong Xiao, Jingbo Zhu
• Abstract要約: 本稿では,NuTrans チームの WNGT 2020 効率共有タスクへの提出について述べる。 我々は,NLPタスクの柔軟なツールキットであるNiuTensorを用いて,ディープトランスフォーマーモデルの効率的な実装に着目する。
• 参考スコア（独自算出の注目度）: 32.88733142090084
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper describes the submissions of the NiuTrans Team to the WNGT 2020 Efficiency Shared Task. We focus on the efficient implementation of deep Transformer models \cite{wang-etal-2019-learning, li-etal-2019-niutrans} using NiuTensor (https://github.com/NiuTrans/NiuTensor), a flexible toolkit for NLP tasks. We explored the combination of deep encoder and shallow decoder in Transformer models via model compression and knowledge distillation. The neural machine translation decoding also benefits from FP16 inference, attention caching, dynamic batching, and batch pruning. Our systems achieve promising results in both translation quality and efficiency, e.g., our fastest system can translate more than 40,000 tokens per second with an RTX 2080 Ti while maintaining 42.9 BLEU on \textit{newstest2018}. The code, models, and docker images are available at NiuTrans.NMT (https://github.com/NiuTrans/NiuTrans.NMT).
• Abstract（参考訳）: 本稿では,NuTrans チームの WNGT 2020 効率共有タスクへの提出について述べる。 我々は,NLPタスクの柔軟なツールキットであるNiuTensor(https://github.com/NiuTrans/NiuTensor)を用いて,Deep Transformerモデルの効率的な実装に焦点を当てた。 モデル圧縮と知識蒸留によるトランスフォーマーモデルにおける深部エンコーダと浅部デコーダの組み合わせについて検討した。 ニューラルマシン翻訳復号は、FP16推論、アテンションキャッシュ、動的バッチ、バッチプルーニングの恩恵を受ける。 我々のシステムは、翻訳品質と効率の両面で有望な結果を達成する。例えば、我々の最速のシステムは、1秒間に40,000以上のトークンをRTX 2080 Tiで翻訳できる。 NiuTrans.NMT (https://github.com/NiuTrans/NiuTrans.NMT) ではコード、モデル、ドッカーイメージが公開されている。

関連論文リスト

• Shallow Cross-Encoders for Low-Latency Retrieval [69.06104373460597]
  BERTやT5のような大きなトランスフォーマーモデルに基づくクロスエンコーダは計算コストが高く、非常に小さな遅延ウィンドウ内で少数の文書しかスコアできない。 より弱い浅層変圧器モデル(すなわち、層数が限られている変圧器)は、これらの実用的な低レイテンシ設定に制約された場合、実際にフルスケールモデルよりも優れた性能を示すことを示す。
  論文  参考訳（メタデータ） (2024-03-29T15:07:21Z)
• GTrans: Grouping and Fusing Transformer Layers for Neural Machine Translation [107.2752114891855]
  トランスフォーマー構造は、エンコーダとデコーダのネットワーク層によって積み重ねられ、ニューラルマシン翻訳において大きな発展を遂げる。 本稿では,エンコーダとデコーダの多層表現を異なるグループに柔軟に分割し,これらの特徴を融合して目的語を生成するグループトランスフォーマーモデルを提案する。
  論文  参考訳（メタデータ） (2022-07-29T04:10:36Z)
• The YiTrans End-to-End Speech Translation System for IWSLT 2022 Offline Shared Task [92.5087402621697]
  本稿では,IWSLT 2022オフラインタスクに対するエンドツーエンドYiTrans音声翻訳システムの提案について述べる。 YiTransシステムは、大規模な訓練済みエンコーダデコーダモデル上に構築されている。 最終提出は自動評価基準でまず英語・ドイツ語・英語・中国語のエンド・ツー・エンド・システムにランク付けする。
  論文  参考訳（メタデータ） (2022-06-12T16:13:01Z)
• The NiuTrans Machine Translation Systems for WMT21 [23.121382706331403]
  本稿では,WMT 2021ニュース翻訳タスクのNiuTransニューラルマシン翻訳システムについて述べる。 英語$leftarrow$$$ Chinese, Japanese, Russian, Icelandic$$$および英語$rightarrow$Hausaタスクを含む9つの言語指示書を提出した。
  論文  参考訳（メタデータ） (2021-09-22T02:00:24Z)
• The NiuTrans System for the WMT21 Efficiency Task [26.065244284992147]
  本稿では,WMT21翻訳効率タスクのためのNiuTransシステムについて述べる。 私たちのシステムはNVIDIA A100で毎秒247,000ワードを変換することができ、昨年のシステムよりも3$times$高速です。
  論文  参考訳（メタデータ） (2021-09-16T14:21:52Z)
• The NiuTrans End-to-End Speech Translation System for IWSLT 2021 Offline Task [23.008938777422767]
  本稿では,IWSLT 2021オフラインタスクに対して,NuTransのエンドツーエンド音声翻訳システムを提案する。 我々はTransformerベースのモデルアーキテクチャを使用し、Conformer、相対位置符号化、スタックされた音響およびテキスト符号化により拡張する。 我々は MuST-C En-De テストセット上で 33.84 BLEU 点を達成する。
  論文  参考訳（メタデータ） (2021-07-06T07:45:23Z)
• TransFuse: Fusing Transformers and CNNs for Medical Image Segmentation [9.266588373318688]
  低レベルディテールのローカリゼーション能力を失うことなく、グローバルコンテキストのモデリングにおける効率性を改善する問題を検討する。 TransFuse、並列スタイルでトランスフォーマーとCNNを組み合わせた新しい2ブランチアーキテクチャが提案されています。 TransFuseでは、グローバル依存性と低レベルの空間詳細の両方を、はるかに浅い方法で効率的にキャプチャできます。
  論文  参考訳（メタデータ） (2021-02-16T08:09:45Z)
• Glancing Transformer for Non-Autoregressive Neural Machine Translation [58.87258329683682]
  単一パス並列生成モデルにおける単語相互依存の学習法を提案する。 単一パスの並列デコードだけで、GLATは8～15倍のスピードアップで高品質な翻訳を生成することができる。
  論文  参考訳（メタデータ） (2020-08-18T13:04:03Z)
• Very Deep Transformers for Neural Machine Translation [100.51465892354234]
  最大60のエンコーダ層と12のデコーダ層を持つ標準のTransformerベースのモデルを構築することが可能であることを示す。 これらのディープモデルは、ベースラインの6層モデルよりも2.5BLEUを上回っている。
  論文  参考訳（メタデータ） (2020-08-18T07:14:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。