Fugu-MT 論文翻訳(概要): The NiuTrans System for the WMT21 Efficiency Task

論文の概要: The NiuTrans System for the WMT21 Efficiency Task

arxiv url: http://arxiv.org/abs/2109.08003v1
Date: Thu, 16 Sep 2021 14:21:52 GMT
ステータス: 処理完了
システム内更新日: 2021-09-17 18:42:32.126317
Title: The NiuTrans System for the WMT21 Efficiency Task
Title（参考訳）: wmt21効率タスクのためのniuトランスシステム
Authors: Chenglong Wang, Chi Hu, Yongyu Mu, Zhongxiang Yan, Siming Wu, Minyi Hu, Hang Cao, Bei Li, Ye Lin, Tong Xiao, Jingbo Zhu
Abstract要約: 本稿では,WMT21翻訳効率タスクのためのNiuTransシステムについて述べる。私たちのシステムはNVIDIA A100で毎秒247,000ワードを変換することができ、昨年のシステムよりも3$times$高速です。
参考スコア（独自算出の注目度）: 26.065244284992147
License: http://creativecommons.org/licenses/by/4.0/
Abstract: This paper describes the NiuTrans system for the WMT21 translation efficiency task (http://statmt.org/wmt21/efficiency-task.html). Following last year's work, we explore various techniques to improve efficiency while maintaining translation quality. We investigate the combinations of lightweight Transformer architectures and knowledge distillation strategies. Also, we improve the translation efficiency with graph optimization, low precision, dynamic batching, and parallel pre/post-processing. Our system can translate 247,000 words per second on an NVIDIA A100, being 3$\times$ faster than last year's system. Our system is the fastest and has the lowest memory consumption on the GPU-throughput track. The code, model, and pipeline will be available at NiuTrans.NMT (https://github.com/NiuTrans/NiuTrans.NMT).
Abstract（参考訳）: 本稿では,WMT21翻訳効率タスク(http://statmt.org/wmt21/efficiency-task.html)のためのNiuTransシステムについて述べる。昨年の作業に続いて、翻訳品質を維持しながら効率を向上させるための様々な手法を探求する。軽量変圧器アーキテクチャと知識蒸留戦略の組み合わせについて検討する。また,グラフ最適化,低精度,動的バッチ処理,並列前/後処理により翻訳効率を向上させる。私たちのシステムはNVIDIA A100で毎秒247,000ワードを変換することができ、昨年のシステムよりも3$\times$高速です。我々のシステムは最速で、GPUのスループットトラック上では最小のメモリ消費を持つ。コード、モデル、パイプラインはNiuTrans.NMT(https://github.com/NiuTrans/NiuTrans.NMT)で入手できる。

関連論文リスト

HW-TSC's Submission to the CCMT 2024 Machine Translation Tasks [12.841065384808733]
我々はバイリンガル機械翻訳タスクとマルチドメイン機械翻訳タスクに参加する。これら2つの翻訳タスクでは,正規化ドロップアウト,双方向トレーニング,データ多様化,前方翻訳,後方翻訳,交互学習,カリキュラム学習,トランスダクティブアンサンブル学習などの学習戦略を用いる。
論文参考訳（メタデータ） (2024-09-23T09:20:19Z)
Only 5\% Attention Is All You Need: Efficient Long-range Document-level Neural Machine Translation [70.87670058323239]
文書レベルの文脈情報を導入することにより,談話現象を扱う上で,文書レベルのニューラルネットワーク翻訳(DocNMT)が重要であることが証明されている。最も重要な方向の1つは、ドキュメント全体を標準のTransformerモデルに直接入力することである。本研究は,少量のトークンを選択する軽量注意に基づく追加の選択層を導入することにより,翻訳性能を20%向上させながら維持する。
論文参考訳（メタデータ） (2023-09-25T14:33:47Z)
On the Pareto Front of Multilingual Neural Machine Translation [123.94355117635293]
我々は、ニューラルネットワーク翻訳(MNMT)におけるサンプリング比によって、与えられた方向の性能がどう変化するかを検討する。我々は,MNMTにおけるユニークなパフォーマンストレードオフフロントを予測するために,ダブルパワー法を提案する。本実験では, トレーニング予算の1/5から1/2に過ぎず, 温度探索法や勾配操作法よりも優れた性能が得られた。
論文参考訳（メタデータ） (2023-04-06T16:49:19Z)
The YiTrans End-to-End Speech Translation System for IWSLT 2022 Offline Shared Task [92.5087402621697]
本稿では,IWSLT 2022オフラインタスクに対するエンドツーエンドYiTrans音声翻訳システムの提案について述べる。 YiTransシステムは、大規模な訓練済みエンコーダデコーダモデル上に構築されている。最終提出は自動評価基準でまず英語・ドイツ語・英語・中国語のエンド・ツー・エンド・システムにランク付けする。
論文参考訳（メタデータ） (2022-06-12T16:13:01Z)
The NiuTrans Machine Translation Systems for WMT21 [23.121382706331403]
本稿では,WMT 2021ニュース翻訳タスクのNiuTransニューラルマシン翻訳システムについて述べる。英語$leftarrow$$$ Chinese, Japanese, Russian, Icelandic$$$および英語$rightarrow$Hausaタスクを含む9つの言語指示書を提出した。
論文参考訳（メタデータ） (2021-09-22T02:00:24Z)
The NiuTrans System for WNGT 2020 Efficiency Task [32.88733142090084]
本稿では,NuTrans チームの WNGT 2020 効率共有タスクへの提出について述べる。我々は,NLPタスクの柔軟なツールキットであるNiuTensorを用いて,ディープトランスフォーマーモデルの効率的な実装に着目する。
論文参考訳（メタデータ） (2021-09-16T14:32:01Z)
The USYD-JD Speech Translation System for IWSLT 2021 [85.64797317290349]
本稿では,シドニー大学とJDが共同でIWSLT 2021低リソース音声翻訳タスクを提出したことを述べる。私たちは、公式に提供されたASRとMTデータセットでモデルをトレーニングしました。翻訳性能の向上を目的として, バック翻訳, 知識蒸留, 多機能再構成, トランスダクティブファインタニングなど, 最新の効果的な手法について検討した。
論文参考訳（メタデータ） (2021-07-24T09:53:34Z)
The USTC-NELSLIP Systems for Simultaneous Speech Translation Task at IWSLT 2021 [36.95800637790494]
本稿では,USTC-NELSLIP による IWSLT 2021 同時音声翻訳タスクの提出について述べる。我々は,従来のRNN-Tをシーケンス間タスクに拡張した新しい同時翻訳モデルであるCross Attention Augmented Transducer (CAAT)を提案する。テキスト・トゥ・テキスト(S2T)とテキスト・トゥ・テキスト(T2T)の同時翻訳タスクの実験は、CAATがより良い品質とレイテンシのトレードオフを達成することを示す。
論文参考訳（メタデータ） (2021-07-01T08:09:00Z)
Dynamic Multi-Branch Layers for On-Device Neural Machine Translation [53.637479651600586]
動的マルチブランチ層を用いたオンデバイスニューラルマシン翻訳(NMT)システムの性能向上を提案する。具体的には、トレーニングと推論中に1つの分岐のみを活性化した層方向動的マルチブランチネットワークを設計する。ほぼ同じ計算コストで、WMT14英語-ドイツ語翻訳タスクでは最大1.7 BLEUポイント、WMT20中国語-英語翻訳タスクでは1.8 BLEUポイントの改善を実現します。
論文参考訳（メタデータ） (2021-05-14T07:32:53Z)
Explicit Reordering for Neural Machine Translation [50.70683739103066]
Transformer-based neural machine translation (NMT)では、位置符号化機構は、自己アテンションネットワークが順序依存でソース表現を学習するのに役立つ。本研究では,トランスフォーマーベースのNMTに対して,このリオーダ情報を明示的にモデル化する新しいリオーダ手法を提案する。 WMT14, WAT ASPEC日本語訳, WMT17中国語訳の実証結果から, 提案手法の有効性が示唆された。
論文参考訳（メタデータ） (2020-04-08T05:28:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。