論文の概要: Candidate Soups: Fusing Candidate Results Improves Translation Quality for Non-Autoregressive Translation

• arxiv url: http://arxiv.org/abs/2301.11503v1
• Date: Fri, 27 Jan 2023 02:39:42 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-30 16:41:24.484049
• Title: Candidate Soups: Fusing Candidate Results Improves Translation Quality for Non-Autoregressive Translation
• Title（参考訳）: candidate soups: fusing candidate resultsは非自己回帰翻訳の翻訳品質を改善する
• Authors: Huanran Zheng, Wei Zhu, Pengfei Wang and Xiaoling Wang
• Abstract要約: 非自己回帰翻訳(NAT)モデルは、自己回帰翻訳(AT)モデルよりもはるかに高速な推論速度を達成する。 既存のNATメソッドはNATモデルの性能改善にのみフォーカスするが、完全には利用しない。 そこで我々は,高品質な翻訳を実現するための,シンプルだが効果的な手法"Candidate Soups"を提案する。
• 参考スコア（独自算出の注目度）: 15.332496335303189
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Non-autoregressive translation (NAT) model achieves a much faster inference speed than the autoregressive translation (AT) model because it can simultaneously predict all tokens during inference. However, its translation quality suffers from degradation compared to AT. And existing NAT methods only focus on improving the NAT model's performance but do not fully utilize it. In this paper, we propose a simple but effective method called "Candidate Soups," which can obtain high-quality translations while maintaining the inference speed of NAT models. Unlike previous approaches that pick the individual result and discard the remainders, Candidate Soups (CDS) can fully use the valuable information in the different candidate translations through model uncertainty. Extensive experiments on two benchmarks (WMT'14 EN-DE and WMT'16 EN-RO) demonstrate the effectiveness and generality of our proposed method, which can significantly improve the translation quality of various base models. More notably, our best variant outperforms the AT model on three translation tasks with 7.6 times speedup.
• Abstract（参考訳）: non-autoregressive translation(nat)モデルは、推論中にすべてのトークンを同時に予測できるため、autoregressive translation(at)モデルよりもはるかに高速な推論速度を達成している。 しかし、翻訳品質はatに比べて低下している。 既存のNATメソッドはNATモデルの性能改善にのみフォーカスするが、完全には利用しない。 本論文では,NATモデルの推論速度を維持しつつ,高品質な翻訳を行うことのできる,シンプルで効果的な手法であるCandidate Soupsを提案する。 個々の結果を選択し、残りを破棄する以前のアプローチとは異なり、Candidate Soups (CDS) はモデルの不確実性を通じて、異なる候補翻訳における貴重な情報を十分に利用できる。 2つのベンチマーク(WMT'14 EN-DEとWMT'16 EN-RO)の大規模な実験により,提案手法の有効性と汎用性を実証した。 さらに注目すべきは、ATモデルが3つの翻訳タスクで7.6倍のスピードアップを達成していることです。

関連論文リスト

• Improving Non-autoregressive Translation Quality with Pretrained Language Model, Embedding Distillation and Upsampling Strategy for CTC [51.34222224728979]
  本稿では,非自己回帰翻訳(NAT)モデルの翻訳品質を向上させるための一連の革新的な技術を紹介する。 我々は,NATモデルを効果的に訓練するために,CTCの損失を抑えたPMLM(Pretrained Multilingual Language Models)を提案する。 自動回帰モデルと比較して16.35倍の速度向上を示した。
  論文  参考訳（メタデータ） (2023-06-10T05:24:29Z)
• Revisiting Non-Autoregressive Translation at Scale [76.93869248715664]
  スケーリングが非自己回帰翻訳(NAT)行動に与える影響を系統的に研究する。 我々は、NATモデルの一般的な弱さを緩和し、結果として翻訳性能が向上することを示した。 我々は、スケールされたデータセット上でスケールされたNATモデルを検証することで、新しいベンチマークを確立する。
  論文  参考訳（メタデータ） (2023-05-25T15:22:47Z)
• Optimizing Non-Autoregressive Transformers with Contrastive Learning [74.46714706658517]
  非自己回帰変換器(NAT)は、逐次順序ではなく全ての単語を同時に予測することにより、自動回帰変換器(AT)の推論遅延を低減する。 本稿では,データ分布ではなく,モデル分布からのサンプリングによるモダリティ学習の容易化を提案する。
  論文  参考訳（メタデータ） (2023-05-23T04:20:13Z)
• Non-Autoregressive Document-Level Machine Translation [35.48195990457836]
  非自己回帰翻訳(NAT)モデルは、自己回帰翻訳(AT)モデルと比較して、同等の性能と優れた速度を達成する。 しかし、それらの能力は文書レベルの機械翻訳(MT)では探索されていない。 本稿では,ソースとターゲット間の文アライメントの簡易かつ効果的な設計を提案する。
  論文  参考訳（メタデータ） (2023-05-22T09:59:59Z)
• Multi-Granularity Optimization for Non-Autoregressive Translation [20.85478899258943]
  非自己回帰機械翻訳(NAT)は、単純独立性の仮定により、深刻な性能劣化を被る。 本研究では,様々な粒度の翻訳セグメントのモデル挙動を収集し,バックプロパゲーションのためのフィードバックを統合するNATの多粒度最適化を提案する。 4つのWMTベンチマーク実験により,提案手法は,クロスエントロピー損失でトレーニングしたベースラインモデルよりも有意に優れていた。
  論文  参考訳（メタデータ） (2022-10-20T04:54:29Z)
• Non-Autoregressive Translation with Layer-Wise Prediction and Deep Supervision [33.04082398101807]
  Transformerのような既存のニューラルネットワーク翻訳モデルは高い性能を達成するが、単語を1つずつデコードする。 最近の非自己回帰翻訳モデルは推論を高速化するが、その品質は依然として劣っている。 機械翻訳のための高効率かつ高性能なモデルDSLPを提案する。
  論文  参考訳（メタデータ） (2021-10-14T16:36:12Z)
• Progressive Multi-Granularity Training for Non-Autoregressive Translation [98.11249019844281]
  非自己回帰翻訳(NAT)は、ターゲットシーケンス全体を予測することで推論プロセスを著しく加速する。 近年の研究では、NATは1対多翻訳のような高度な知識の学習に弱いことが示されている。 モードは様々な粒度に分けることができ、そこから容易に学習できると我々は主張する。
  論文  参考訳（メタデータ） (2021-06-10T07:16:07Z)
• Modeling Coverage for Non-Autoregressive Neural Machine Translation [9.173385214565451]
  本稿では,トークンレベルのカバレッジ反復改良機構と文レベルのカバレッジ契約により,カバレッジ情報を直接モデル化するための新しいカバレッジNATを提案する。 WMT14 En-De および WMT16 En-Ro 翻訳タスクの実験結果から,本手法はこれらの誤りを軽減し,ベースラインシステムに対して強い改善が達成できることが示された。
  論文  参考訳（メタデータ） (2021-04-24T07:33:23Z)
• Fully Non-autoregressive Neural Machine Translation: Tricks of the Trade [47.97977478431973]
  NAT(Fullly non-autoregressive neural Machine Translation)は、ニューラルネットワークのシングルフォワードでトークンを同時に予測する手法である。 この作業では、レイテンシのアドバンテージを維持しながら、パフォーマンスのギャップを縮めることを目標としています。
  論文  参考訳（メタデータ） (2020-12-31T18:52:59Z)
• Understanding and Improving Lexical Choice in Non-Autoregressive Translation [98.11249019844281]
  低周波ワードの有用な情報を復元するために、生データをNATモデルに公開することを提案する。 提案手法は,WMT14英語-ドイツ語とWMT16ルーマニア英語-英語データセットのSOTA NAT性能を27.8BLEU点,33.8BLEU点まで向上させる。
  論文  参考訳（メタデータ） (2020-12-29T03:18:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。