論文の概要: Amortized Noisy Channel Neural Machine Translation

• arxiv url: http://arxiv.org/abs/2112.08670v1
• Date: Thu, 16 Dec 2021 07:10:02 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-17 14:27:22.611065
• Title: Amortized Noisy Channel Neural Machine Translation
• Title（参考訳）: amortized noise channel neural machine translation"に完全一致する
• Authors: Richard Yuanzhe Pang, He He, Kyunghyun Cho
• Abstract要約: ノイズチャネルモデルは神経機械翻訳(NMT)に特に有効である 我々は,BSRで生成された翻訳と同じ報酬を最大化する翻訳を生成するような,アモータイズされたノイズチャネルNMTモデルを構築することを目指している。
• 参考スコア（独自算出の注目度）: 53.48804610779759
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Noisy channel models have been especially effective in neural machine translation (NMT). However, recent approaches like "beam search and rerank" (BSR) incur significant computation overhead during inference, making real-world application infeasible. We aim to build an amortized noisy channel NMT model such that greedily decoding from it would generate translations that maximize the same reward as translations generated using BSR. We attempt three approaches: knowledge distillation, 1-step-deviation imitation learning, and Q learning. The first approach obtains the noisy channel signal from a pseudo-corpus, and the latter two approaches aim to optimize toward a noisy-channel MT reward directly. All three approaches speed up inference by 1-2 orders of magnitude. For all three approaches, the generated translations fail to achieve rewards comparable to BSR, but the translation quality approximated by BLEU is similar to the quality of BSR-produced translations.
• Abstract（参考訳）: ノイズチャネルモデルは神経機械翻訳(NMT)に特に有効である。 しかし、最近のBSR (beam search and rerank) のような手法は、推論中にかなりの計算オーバーヘッドを発生させ、現実世界のアプリケーションを実現する。 我々は,BSRで生成された翻訳と同じ報酬を最大化する翻訳を生成するような,アモータイズされたノイズチャネルNMTモデルの構築を目指している。 我々は,知識蒸留,1段階の模倣学習,Q学習の3つのアプローチを試行する。 最初のアプローチは擬似コーパスからノイズチャネル信号を取得し,後者の2つのアプローチはノイズチャネルMT報酬を直接最適化することを目的としている。 3つのアプローチはいずれも1-2桁の推論を高速化する。 すべての3つのアプローチにおいて、生成された翻訳はBSRに匹敵する報酬を達成できないが、BLEUによって近似された翻訳品質はBSRが生成する翻訳の品質と似ている。

関連論文リスト

• HyPoradise: An Open Baseline for Generative Speech Recognition with Large Language Models [81.56455625624041]
  ASRの誤り訂正に外部の大規模言語モデル(LLM)を利用する最初のオープンソースベンチマークを導入する。 提案したベンチマークには、334,000組以上のN-best仮説を含む新しいデータセットHyPoradise (HP)が含まれている。 合理的なプロンプトと生成能力を持つLLMは、N-bestリストに欠けているトークンを修正できる。
  論文  参考訳（メタデータ） (2023-09-27T14:44:10Z)
• Improving Cascaded Unsupervised Speech Translation with Denoising Back-translation [70.33052952571884]
  我々は,任意のペアデータを活用することなく,カスケード音声翻訳システムを構築することを提案する。 教師なしのシステムをトレーニングし、CoVoST 2 と CVSS で結果を評価するために、完全にペア化されたデータを使用します。
  論文  参考訳（メタデータ） (2023-05-12T13:07:51Z)
• M3ST: Mix at Three Levels for Speech Translation [66.71994367650461]
  本稿では,M3ST法を3段階に分けて提案し,拡張学習コーパスの多様性を高める。 ファインチューニングの第1段階では、単語レベル、文レベル、フレームレベルを含む3段階のトレーニングコーパスを混合し、モデル全体を混合データで微調整する。 MuST-C音声翻訳ベンチマークと分析実験により、M3STは現在の強いベースラインより優れ、平均的なBLEU29.9の8方向の最先端の結果が得られることが示された。
  論文  参考訳（メタデータ） (2022-12-07T14:22:00Z)
• An Empirical Study of Language Model Integration for Transducer based Speech Recognition [23.759084092602517]
  密度比 (DR) やILME (ILME) などの手法が開発され, 古典的な浅層核融合 (SF) 法よりも優れていた。 DRのための低次弱ILMをトレーニングし、低次密度比法(LODR)を提案する。
  論文  参考訳（メタデータ） (2022-03-31T03:33:50Z)
• Phrase-level Adversarial Example Generation for Neural Machine Translation [75.01476479100569]
  本稿では,句レベルの逆例生成(PAEG)手法を提案し,モデルの堅牢性を高める。 我々は,LDC中英語,IWSLT14ドイツ語-英語,WMT14英語-ドイツ語タスクの3つのベンチマークで検証を行った。
  論文  参考訳（メタデータ） (2022-01-06T11:00:49Z)
• Unsupervised Neural Machine Translation with Generative Language Models Only [19.74865387759671]
  生成事前学習言語モデルから、最先端の教師なしニューラルネットワーク翻訳システムを導出する方法を示す。 本手法は, 数発増幅, 蒸留, 逆翻訳の3段階からなる。
  論文  参考訳（メタデータ） (2021-10-11T17:35:34Z)
• Rejuvenating Low-Frequency Words: Making the Most of Parallel Data in Non-Autoregressive Translation [98.11249019844281]
  知識蒸留(KD)は、非自己回帰翻訳(NAT)モデルを訓練するための合成データを構築するために一般的に用いられる。 低周波対象語に対するアライメントを向上するために,逆KDを提案する。 その結果,提案手法は翻訳品質を大幅に向上させることができることがわかった。
  論文  参考訳（メタデータ） (2021-06-02T02:41:40Z)
• Addressing the Vulnerability of NMT in Input Perturbations [10.103375853643547]
  文脈拡張再構成手法により,雑音のある単語の効果を低減し,NMTモデルのロバスト性を向上させる。 CERは、(1)入力シーケンスの自然性を判断するステップ、(2)より優れた、より堅牢な文脈表現を生成することで、ノイズ伝搬を防御するステップの2つのステップで、ノイズに抵抗するモデルを訓練する。
  論文  参考訳（メタデータ） (2021-04-20T07:52:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。