論文の概要: Non-Autoregressive Machine Translation: It's Not as Fast as it Seems

• arxiv url: http://arxiv.org/abs/2205.01966v1
• Date: Wed, 4 May 2022 09:30:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2022-05-05 14:30:07.690061
• Title: Non-Autoregressive Machine Translation: It's Not as Fast as it Seems
• Title（参考訳）: 非自己回帰型機械翻訳:見た目ほど高速ではない
• Authors: Jind\v{r}ich Helcl, Barry Haddow, Alexandra Birch
• Abstract要約: NARモデルに関する文献にみられる評価手法の欠陥を指摘する。 我々はNARモデルと他の広く使われている効率向上手法を比較した。 我々は,今後の作業において,より現実的で広範なNARモデルの評価を求める。
• 参考スコア（独自算出の注目度）: 84.47091735503979
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Efficient machine translation models are commercially important as they can increase inference speeds, and reduce costs and carbon emissions. Recently, there has been much interest in non-autoregressive (NAR) models, which promise faster translation. In parallel to the research on NAR models, there have been successful attempts to create optimized autoregressive models as part of the WMT shared task on efficient translation. In this paper, we point out flaws in the evaluation methodology present in the literature on NAR models and we provide a fair comparison between a state-of-the-art NAR model and the autoregressive submissions to the shared task. We make the case for consistent evaluation of NAR models, and also for the importance of comparing NAR models with other widely used methods for improving efficiency. We run experiments with a connectionist-temporal-classification-based (CTC) NAR model implemented in C++ and compare it with AR models using wall clock times. Our results show that, although NAR models are faster on GPUs, with small batch sizes, they are almost always slower under more realistic usage conditions. We call for more realistic and extensive evaluation of NAR models in future work.
• Abstract（参考訳）: 効率的な機械翻訳モデルは、推論速度を増加させ、コストと二酸化炭素排出量を削減できるため、商業的に重要である。 近年、より高速な翻訳を約束する非自己回帰型(nar)モデルに多くの関心が寄せられている。 NARモデルの研究と並行して、効率的な翻訳に関するWMT共有タスクの一部として最適化された自己回帰モデルを作成する試みが成功した。 本稿では,NARモデルに関する文献における評価手法の欠陥を指摘するとともに,現状のNARモデルと共有タスクに対する自己回帰的提案とを公平に比較する。 我々は,NARモデルの一貫した評価を行うとともに,NARモデルと他の広く使われている手法との比較を重要視する。 我々はC++で実装されたコネクショニスト時間分類ベース(CTC)NARモデルを用いて実験を行い、壁時計時間を用いたARモデルと比較した。 以上の結果から,NARモデルはGPU上では高速であり,バッチサイズは小さいが,より現実的な使用条件下ではほとんど遅いことがわかった。 我々は,今後の作業において,より現実的で広範なNARモデルの評価を求める。

関連論文リスト

• Leveraging Diverse Modeling Contexts with Collaborating Learning for Neural Machine Translation [26.823126615724888]
  自己回帰(AR)モデルと非自己回帰(NAR)モデル(NAR)モデルはニューラルマシン翻訳(NMT)のための2種類の生成モデルである 本稿では,教師や学生の代わりにARモデルとNARモデルを協調者として扱う,新しい総合的協調学習手法であるDCMCLを提案する。
  論文  参考訳（メタデータ） (2024-02-28T15:55:02Z)
• Semi-Autoregressive Streaming ASR With Label Context [70.76222767090638]
  本稿では,先行ブロックで出力されたラベルを付加コンテキストとして組み込んだストリーミング「半自己回帰型」ASRモデルを提案する。 実験の結果,既存のストリーミングNARモデルではTedlium2が19%,Librispeech-100が16%/8%,Switchboard(SWB)/Callhome(CH)テストセットが19%/8%であった。
  論文  参考訳（メタデータ） (2023-09-19T20:55:58Z)
• A Comparative Study on Non-Autoregressive Modelings for Speech-to-Text Generation [59.64193903397301]
  非自己回帰モデル (NAR) はシーケンス内の複数の出力を同時に生成し、自動回帰ベースラインと比較して精度低下のコストで推論速度を著しく低減する。 エンドツーエンド自動音声認識(ASR)のための様々なNARモデリング手法の比較研究を行う。 各種課題の成果は, 精度・速度トレードオフや長文発話に対する頑健性など, NAR ASR の理解を深める上で興味深い結果をもたらす。
  論文  参考訳（メタデータ） (2021-10-11T13:05:06Z)
• TSNAT: Two-Step Non-Autoregressvie Transformer Models for Speech Recognition [69.68154370877615]
  非自己回帰(NAR)モデルは、出力トークン間の時間的依存関係を排除し、少なくとも1ステップで出力トークン全体を予測することができる。 この2つの問題に対処するため,TSNATと呼ばれる新しいモデルを提案する。 以上の結果から,TSNATはARモデルと競合する性能を示し,複雑なNARモデルよりも優れていた。
  論文  参考訳（メタデータ） (2021-04-04T02:34:55Z)
• An EM Approach to Non-autoregressive Conditional Sequence Generation [49.11858479436565]
  自己回帰(AR)モデルは条件付きシーケンス生成において支配的なアプローチである。 非自己回帰(NAR)モデルは、最近、すべての出力トークンを並列に生成することでレイテンシを低減するために提案されている。 本稿では,ARモデルとNARモデルの両方を統合期待最大化フレームワークで協調的に最適化する手法を提案する。
  論文  参考訳（メタデータ） (2020-06-29T20:58:57Z)
• A Study of Non-autoregressive Model for Sequence Generation [147.89525760170923]
  非自己回帰(NAR)モデルは、シーケンスのすべてのトークンを並列に生成する。 本稿では,ARモデルとNARモデルのギャップを埋めるために,知識蒸留とソースターゲットアライメントを提案する。
  論文  参考訳（メタデータ） (2020-04-22T09:16:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。