論文の概要: Neural Machine Translation with Error Correction

• arxiv url: http://arxiv.org/abs/2007.10681v1
• Date: Tue, 21 Jul 2020 09:41:07 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-08 04:48:15.705348
• Title: Neural Machine Translation with Error Correction
• Title（参考訳）: 誤り訂正によるニューラルマシン翻訳
• Authors: Kaitao Song, Xu Tan and Jianfeng Lu
• Abstract要約: 我々は,NMTに誤り訂正機構を導入し,前回生成したトークンの誤り情報を補正し,次のトークンをより正確に予測する。 具体的には、XLNetからの2ストリームの自己アテンションをNMTデコーダに導入し、クエリストリームを使用して次のトークンを予測する。 トレーニング中の予測誤差をシミュレーションするために,スケジュールされたサンプリングを利用する。
• 参考スコア（独自算出の注目度）: 40.61399972202611
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural machine translation (NMT) generates the next target token given as input the previous ground truth target tokens during training while the previous generated target tokens during inference, which causes discrepancy between training and inference as well as error propagation, and affects the translation accuracy. In this paper, we introduce an error correction mechanism into NMT, which corrects the error information in the previous generated tokens to better predict the next token. Specifically, we introduce two-stream self-attention from XLNet into NMT decoder, where the query stream is used to predict the next token, and meanwhile the content stream is used to correct the error information from the previous predicted tokens. We leverage scheduled sampling to simulate the prediction errors during training. Experiments on three IWSLT translation datasets and two WMT translation datasets demonstrate that our method achieves improvements over Transformer baseline and scheduled sampling. Further experimental analyses also verify the effectiveness of our proposed error correction mechanism to improve the translation quality.
• Abstract（参考訳）: ニューラルマシン翻訳(NMT)は、トレーニング中に前の接地真理目標トークンを入力し、推論中に前の生成された目標トークンを入力として与えられた次のターゲットトークンを生成し、トレーニングと推論の相違とエラーの伝播を生じさせ、翻訳精度に影響を与える。 本論文では,NMTに誤り訂正機構を導入し,前回生成したトークンの誤り情報を補正し,次のトークンをより正確に予測する。 具体的には、XLNetからの2ストリームの自己アテンションをNMTデコーダに導入し、クエリストリームを使用して次のトークンを予測し、一方コンテンツストリームは以前の予測トークンからエラー情報を補正する。 トレーニング中の予測誤差をシミュレートするために,スケジュールサンプリングを利用する。 3つのIWSLT翻訳データセットと2つのWMT翻訳データセットの実験により,本手法がTransformerベースラインとスケジュールサンプリングの改善を実現することを示す。 また,提案する誤り訂正機構が翻訳品質を向上させる効果も検証した。

関連論文リスト

• A Coin Has Two Sides: A Novel Detector-Corrector Framework for Chinese Spelling Correction [79.52464132360618]
  中国語のSpelling Correction(CSC)は、自然言語処理(NLP)の基本課題である。 本稿では,エラー検出・相関器の枠組みに基づく新しい手法を提案する。 我々の検出器は2つのエラー検出結果を得るように設計されており、それぞれ高精度とリコールが特徴である。
  論文  参考訳（メタデータ） (2024-09-06T09:26:45Z)
• Enhancing Supervised Learning with Contrastive Markings in Neural Machine Translation Training [10.498938255717066]
  ニューラルネットワーク翻訳(NMT)における指導的学習は、典型的には教師の強制パラダイムに従う。 コントラッシブマーキング目的による標準最大推定の簡易拡張を提案する。 コントラストマーキングによるトレーニングは教師付き学習の上に改善をもたらすことを示す。
  論文  参考訳（メタデータ） (2023-07-17T11:56:32Z)
• Towards Fine-Grained Information: Identifying the Type and Location of Translation Errors [80.22825549235556]
  既存のアプローチでは、エラーの位置と型を同期的に考慮することはできない。 我々はtextbf の追加と textbfomission エラーを予測するために FG-TED モデルを構築した。 実験により,本モデルではエラータイプと位置の同時同定が可能であり,最先端の結果が得られた。
  論文  参考訳（メタデータ） (2023-02-17T16:20:33Z)
• Towards Opening the Black Box of Neural Machine Translation: Source and Target Interpretations of the Transformer [1.8594711725515678]
  ニューラルネットワーク翻訳(NMT)では、各トークン予測はソース文とターゲットプレフィックスに条件付けされる。 NMTにおける解釈可能性に関するこれまでの研究は、原文トークンの属性のみに焦点を当ててきた。 本稿では,完全な入力トークン属性を追跡する解釈可能性手法を提案する。
  論文  参考訳（メタデータ） (2022-05-23T20:59:14Z)
• Understanding and Improving Sequence-to-Sequence Pretraining for Neural Machine Translation [48.50842995206353]
  本研究は,Seq2Seqプレトレーニングと従来のエンコーダによるNMTの事前トレーニングとの主な違いである,共同事前学習デコーダの影響について検討する。 我々は、ドメインと目的の相違を緩和するために、ドメイン内の事前訓練と入力適応という、シンプルで効果的な戦略を提案する。
  論文  参考訳（メタデータ） (2022-03-16T07:36:28Z)
• Tail-to-Tail Non-Autoregressive Sequence Prediction for Chinese Grammatical Error Correction [49.25830718574892]
  本稿では,Tail-to-Tail (textbfTtT) という新しいフレームワークを提案する。 ほとんどのトークンが正しいので、ソースからターゲットに直接転送でき、エラー位置を推定して修正することができる。 標準データセット、特に可変長データセットに関する実験結果は、文レベルの精度、精度、リコール、F1-Measureの観点からTtTの有効性を示す。
  論文  参考訳（メタデータ） (2021-06-03T05:56:57Z)
• On the Inference Calibration of Neural Machine Translation [54.48932804996506]
  校正と翻訳性能と誤校正の言語特性の相関について検討した。 そこで本研究では,推論キャリブレーションと翻訳性能を両立できる新しいラベル平滑化手法を提案する。
  論文  参考訳（メタデータ） (2020-05-03T02:03:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。