論文の概要: Learning to Recover from Multi-Modality Errors for Non-Autoregressive Neural Machine Translation

• arxiv url: http://arxiv.org/abs/2006.05165v1
• Date: Tue, 9 Jun 2020 10:12:16 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-23 14:54:29.208248
• Title: Learning to Recover from Multi-Modality Errors for Non-Autoregressive Neural Machine Translation
• Title（参考訳）: 非自己回帰型ニューラルマシン翻訳におけるマルチモダリティ誤りから回復する学習
• Authors: Qiu Ran, Yankai Lin, Peng Li, Jie Zhou
• Abstract要約: 非自己回帰型ニューラルネットワーク翻訳(NAT)は、ターゲットシーケンス全体を同時に予測し、推論プロセスを著しく加速する。 本稿では,セグメントのシーケンスとして変換を生成する半自己回帰モデルRecoverSATを提案する。 セグメント長と繰り返し削除セグメントを動的に決定することにより、RecoverSATは繰り返しおよび欠落したトークンエラーから回復することができる。 広範に使用されている3つのベンチマークデータセットによる実験結果から,提案モデルでは,対応する自己回帰モデルと同等の性能を維持しつつ,4$times$の高速化を実現していることがわかった。
• 参考スコア（独自算出の注目度）: 38.123025955523836
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Non-autoregressive neural machine translation (NAT) predicts the entire target sequence simultaneously and significantly accelerates inference process. However, NAT discards the dependency information in a sentence, and thus inevitably suffers from the multi-modality problem: the target tokens may be provided by different possible translations, often causing token repetitions or missing. To alleviate this problem, we propose a novel semi-autoregressive model RecoverSAT in this work, which generates a translation as a sequence of segments. The segments are generated simultaneously while each segment is predicted token-by-token. By dynamically determining segment length and deleting repetitive segments, RecoverSAT is capable of recovering from repetitive and missing token errors. Experimental results on three widely-used benchmark datasets show that our proposed model achieves more than 4$\times$ speedup while maintaining comparable performance compared with the corresponding autoregressive model.
• Abstract（参考訳）: non-autoregressive neural machine translation(nat)は、ターゲットシーケンス全体を同時に予測し、推論プロセスを著しく加速する。 しかし、NATは文中の依存情報を破棄するので、必然的にマルチモダリティの問題に悩まされる: ターゲットトークンは異なる可能な翻訳によって提供され、しばしばトークンの繰り返しや欠落を引き起こす。 この問題を軽減するために,本研究では,セグメントのシーケンスとして変換を生成する半自己回帰モデルRecoverSATを提案する。 セグメントは同時に生成され、各セグメントはトークンごとに予測される。 セグメントの長さを動的に決定し、繰り返しセグメントを削除することで、RecoverSATは繰り返しおよび欠落したトークンエラーから回復することができる。 3つのベンチマークデータセットにおける実験結果から,提案モデルが自己回帰モデルと同等の性能を維持しつつ,4$\times$ speedupを達成できることが判明した。

関連論文リスト

• Non-autoregressive Sequence-to-Sequence Vision-Language Models [63.77614880533488]
  本稿では,デコーダ内の複数の推論経路をマージする並列デコードシーケンス・ツー・シーケンス・ビジョン言語モデルを提案する。 このモデルは最先端の自己回帰モデルと同等のパフォーマンスを実現するが、推論時間では高速である。
  論文  参考訳（メタデータ） (2024-03-04T17:34:59Z)
• Towards Faster k-Nearest-Neighbor Machine Translation [56.66038663128903]
  k-nearest-neighbor 機械翻訳アプローチは、トークンをデコードする際に、データストア全体の重い検索オーバーヘッドに悩まされる。 ニューラルネットワークの翻訳モデルとkNNが生成する確率によってトークンが共同で翻訳されるべきかどうかを予測するための,単純で効果的な多層パーセプトロン(MLP)ネットワークを提案する。
  論文  参考訳（メタデータ） (2023-12-12T16:41:29Z)
• RecycleGPT: An Autoregressive Language Model with Recyclable Module [13.243551482623623]
  高速な復号速度を持つ生成言語モデルであるRecycleGPTを提案する。 我々のアプローチは、隣接するトークンが通常強い相関を持つという観察に依存している。 実験と解析により、最大1.4倍のスピードアップを達成し、推論遅延を下げるアプローチの有効性が示された。
  論文  参考訳（メタデータ） (2023-08-07T09:14:33Z)
• Mitigating the Learning Bias towards Repetition by Self-Contrastive Training for Open-Ended Generation [92.42032403795879]
  GPT2のような事前訓練された言語モデル(LM)は、繰り返しテキストを生成する傾向にあることを示す。 トークンレベルの反復確率の過大評価は学習バイアスに起因している。 LMは文レベルの繰り返しループの原因となる非繰り返しトークンよりも長い範囲依存を用いて繰り返しトークンを予測する。
  論文  参考訳（メタデータ） (2023-07-04T07:53:55Z)
• Paraformer: Fast and Accurate Parallel Transformer for Non-autoregressive End-to-End Speech Recognition [62.83832841523525]
  そこで我々はParaformerと呼ばれる高速かつ高精度な並列トランスを提案する。 出力トークンの数を正確に予測し、隠れた変数を抽出する。 10倍以上のスピードアップで、最先端のARトランスフォーマーに匹敵するパフォーマンスを実現することができる。
  論文  参考訳（メタデータ） (2022-06-16T17:24:14Z)
• Faster Re-translation Using Non-Autoregressive Model For Simultaneous Neural Machine Translation [10.773010211146694]
  非回帰的シーケンス生成モデル(FReTNA)に基づく高速再翻訳システムを提案する。 提案モデルでは,ReTAモデルと比較して平均計算時間を20倍に削減する。 また、ストリーミングベースのwait-kモデルよりも時間(1.5倍)と翻訳品質の両方で優れている。
  論文  参考訳（メタデータ） (2020-12-29T09:43:27Z)
• LAVA NAT: A Non-Autoregressive Translation Model with Look-Around Decoding and Vocabulary Attention [54.18121922040521]
  非自己回帰翻訳(NAT)モデルは、1つの前方通過で複数のトークンを生成する。 これらのNATモデルは、しばしば多重性の問題に悩まされ、重複トークンや欠落トークンを生成する。 本稿では,この問題を解決するための新しい方法として,Look-Around(LA)戦略とVocabulary Attention(VA)メカニズムを提案する。
  論文  参考訳（メタデータ） (2020-02-08T04:11:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。