Fugu-MT 論文翻訳(概要): Improving Non-autoregressive Neural Machine Translation with Monolingual Data

論文の概要: Improving Non-autoregressive Neural Machine Translation with Monolingual Data

arxiv url: http://arxiv.org/abs/2005.00932v3
Date: Sun, 29 Nov 2020 21:48:51 GMT
ステータス: 処理完了
システム内更新日: 2022-12-07 11:48:15.782873
Title: Improving Non-autoregressive Neural Machine Translation with Monolingual Data
Title（参考訳）: モノリンガルデータによる非自己回帰型ニューラルマシン翻訳の改善
Authors: Jiawei Zhou, Phillip Keung
Abstract要約: 非自己回帰(NAR)ニューラルマシン翻訳は通常、自己回帰(AR)モデルからの知識蒸留によって行われる。大規模単言語コーパスを用いてNARモデルの性能を向上する。
参考スコア（独自算出の注目度）: 13.43438045177293
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Non-autoregressive (NAR) neural machine translation is usually done via knowledge distillation from an autoregressive (AR) model. Under this framework, we leverage large monolingual corpora to improve the NAR model's performance, with the goal of transferring the AR model's generalization ability while preventing overfitting. On top of a strong NAR baseline, our experimental results on the WMT14 En-De and WMT16 En-Ro news translation tasks confirm that monolingual data augmentation consistently improves the performance of the NAR model to approach the teacher AR model's performance, yields comparable or better results than the best non-iterative NAR methods in the literature and helps reduce overfitting in the training process.
Abstract（参考訳）: 非自己回帰(NAR)ニューラルマシン翻訳は通常、自己回帰(AR)モデルからの知識蒸留によって行われる。この枠組みでは,arモデルの一般化能力の伝達と過剰適合の防止を目標として,大規模単言語コーパスを用いてnarモデルの性能を向上させる。 WMT14 En-De と WMT16 En-Ro のニュース翻訳タスクの実験結果から、単言語データの拡張は、教師ARモデルの性能にアプローチするために、NARモデルの性能を一貫して改善し、文献における最高の非イテレーティブな NAR 手法と同等または良い結果をもたらし、トレーニングプロセスにおける過度な適合を抑えるのに役立ちます。

関連論文リスト

Reinforcement Learning for Edit-Based Non-Autoregressive Neural Machine Translation [15.632419297059993]
非自己回帰(NAR)言語モデルは、ニューラルネットワーク翻訳(NMT)の低レイテンシで知られている。 NARと自己回帰モデルの間には大きな復号化空間があり、目的語間の不整合を正確に捉えるのが困難である。本稿では,編集ベースNARモデルであるLevenshtein Transformerに強化学習(RL)を適用し,自己生成データを用いたRLが編集ベースNARモデルの性能を向上させることを示す。
論文参考訳（メタデータ） (2024-05-02T13:39:28Z)
Leveraging Diverse Modeling Contexts with Collaborating Learning for Neural Machine Translation [26.823126615724888]
自己回帰(AR)モデルと非自己回帰(NAR)モデル(NAR)モデルはニューラルマシン翻訳(NMT)のための2種類の生成モデルである本稿では,教師や学生の代わりにARモデルとNARモデルを協調者として扱う,新しい総合的協調学習手法であるDCMCLを提案する。
論文参考訳（メタデータ） (2024-02-28T15:55:02Z)
Helping the Weak Makes You Strong: Simple Multi-Task Learning Improves Non-Autoregressive Translators [35.939982651768666]
NARモデルの確率フレームワークは、ターゲットシーケンスに対する条件付き独立性仮定を必要とする。本稿では,より情報的な学習信号を提供するための,シンプルでモデルに依存しないマルチタスク学習フレームワークを提案する。我々の手法は、追加のデコードオーバーヘッドを追加することなく、複数のNARベースラインの精度を一貫して改善することができる。
論文参考訳（メタデータ） (2022-11-11T09:10:14Z)
Non-Autoregressive Machine Translation: It's Not as Fast as it Seems [84.47091735503979]
NARモデルに関する文献にみられる評価手法の欠陥を指摘する。我々はNARモデルと他の広く使われている効率向上手法を比較した。我々は,今後の作業において,より現実的で広範なNARモデルの評価を求める。
論文参考訳（メタデータ） (2022-05-04T09:30:17Z)
A Survey on Non-Autoregressive Generation for Neural Machine Translation and Beyond [145.43029264191543]
非自己回帰(NAR)生成は推論を高速化するために機械翻訳(NMT)で最初に提案される。 NAR生成は機械翻訳を著しく加速させるが、自己回帰(AR)生成の推論は翻訳精度を犠牲にする。 NAR生成とAR生成の精度ギャップを埋めるために、多くの新しいモデルとアルゴリズムが設計/提案されている。
論文参考訳（メタデータ） (2022-04-20T07:25:22Z)
Improving Neural Machine Translation by Denoising Training [95.96569884410137]
本稿では,ニューラルネットワーク翻訳のためのトレーニングDoTの簡易かつ効果的な事前学習戦略を提案する。モデルパラメータを、初期段階のソースおよびターゲットサイドのDenoisingタスクで更新し、正常にモデルをチューニングします。実験によると、DoTは12のバイリンガルと16の多言語方向にわたるニューラルマシン翻訳性能を一貫して改善している。
論文参考訳（メタデータ） (2022-01-19T00:11:38Z)
Can Multilinguality benefit Non-autoregressive Machine Translation? [11.671379480940407]
非自己回帰(NAR)機械翻訳は、最近大幅に改善され、いくつかのベンチマークで自己回帰(AR)モデルを上回っている。本研究は多言語NARの総合的研究である。容量制約下で、関連する言語間の正の転送と負の転送に関して、その能力をテストする。
論文参考訳（メタデータ） (2021-12-16T02:20:59Z)
A Comparative Study on Non-Autoregressive Modelings for Speech-to-Text Generation [59.64193903397301]
非自己回帰モデル (NAR) はシーケンス内の複数の出力を同時に生成し、自動回帰ベースラインと比較して精度低下のコストで推論速度を著しく低減する。エンドツーエンド自動音声認識(ASR)のための様々なNARモデリング手法の比較研究を行う。各種課題の成果は, 精度・速度トレードオフや長文発話に対する頑健性など, NAR ASR の理解を深める上で興味深い結果をもたらす。
論文参考訳（メタデータ） (2021-10-11T13:05:06Z)
Non-Parametric Online Learning from Human Feedback for Neural Machine Translation [54.96594148572804]
本稿では,人間のフィードバックによるオンライン学習の課題について検討する。従来手法では、高品質な性能を達成するために、オンラインモデル更新や翻訳メモリネットワークの追加が必要であった。モデル構造を変更することなく、新しい非パラメトリックオンライン学習手法を提案する。
論文参考訳（メタデータ） (2021-09-23T04:26:15Z)
Understanding and Improving Lexical Choice in Non-Autoregressive Translation [98.11249019844281]
低周波ワードの有用な情報を復元するために、生データをNATモデルに公開することを提案する。提案手法は,WMT14英語-ドイツ語とWMT16ルーマニア英語-英語データセットのSOTA NAT性能を27.8BLEU点,33.8BLEU点まで向上させる。
論文参考訳（メタデータ） (2020-12-29T03:18:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。