論文の概要: Rewriter-Evaluator Architecture for Neural Machine Translation

• arxiv url: http://arxiv.org/abs/2012.05414v4
• Date: Mon, 10 May 2021 02:11:35 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-15 06:28:49.997011
• Title: Rewriter-Evaluator Architecture for Neural Machine Translation
• Title（参考訳）: ニューラルマシン翻訳のための書き直し-評価器アーキテクチャ
• Authors: Yangming Li, Kaisheng Yao
• Abstract要約: ニューラルマシン翻訳(NMT)モデルを改善するための新しいアーキテクチャであるRewriter-Evaluatorを提案する。 それはリライターと評価者で構成されています。 毎回、書き換え者は過去の翻訳を改善するために新しい翻訳を作成し、評価者は翻訳品質を推定し、書き換えプロセスを終了させるかどうかを決定する。 中国語-英語と英語-ドイツ語の2つの翻訳タスクについて広範な実験を行い、提案されたアーキテクチャがNMTモデルのパフォーマンスを著しく改善することを示した。
• 参考スコア（独自算出の注目度）: 17.45780516143211
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Encoder-decoder has been widely used in neural machine translation (NMT). A few methods have been proposed to improve it with multiple passes of decoding. However, their full potential is limited by a lack of appropriate termination policies. To address this issue, we present a novel architecture, Rewriter-Evaluator. It consists of a rewriter and an evaluator. Translating a source sentence involves multiple passes. At every pass, the rewriter produces a new translation to improve the past translation and the evaluator estimates the translation quality to decide whether to terminate the rewriting process. We also propose prioritized gradient descent (PGD) that facilitates training the rewriter and the evaluator jointly. Though incurring multiple passes of decoding, Rewriter-Evaluator with the proposed PGD method can be trained with a similar time to that of training encoder-decoder models. We apply the proposed architecture to improve the general NMT models (e.g., Transformer). We conduct extensive experiments on two translation tasks, Chinese-English and English-German, and show that the proposed architecture notably improves the performances of NMT models and significantly outperforms previous baselines.
• Abstract（参考訳）: エンコーダデコーダはneural machine translation (nmt) で広く使われている。 複数のデコードで改善する手法が提案されている。 しかし、それらの潜在能力は適切な終了政策の欠如によって制限される。 本稿では,新しいアーキテクチャであるRewriter-Evaluatorを提案する。 リライターと評価者で構成される。 原文の翻訳には複数のパスが含まれる。 毎回、書き換え者は過去の翻訳を改善するために新しい翻訳を作成し、評価者は翻訳品質を推定し、書き換えプロセスを終了させるかどうかを決定する。 また,リライタと評価器を協調的にトレーニングするための優先順位付け勾配降下(PGD)を提案する。 複数パスの復号を行うが,提案したPGD法による復号器は,エンコーダ・復号器モデルの訓練と同様の時間で訓練することができる。 提案したアーキテクチャを一般的なNMTモデル(Transformerなど)の改善に適用する。 我々は、中国語と英語とドイツ語の2つの翻訳タスクについて広範な実験を行い、提案アーキテクチャがNTTモデルの性能を著しく改善し、以前のベースラインを大幅に上回っていることを示す。

関連論文リスト

• Improving Neural Machine Translation by Multi-Knowledge Integration with Prompting [36.24578487904221]
  我々は,マルチ知識,複数種類の知識をNMTモデルに統合し,プロンプトによる性能向上に着目する。 文,用語/フレーズ,翻訳テンプレートなど,複数の種類の知識をNMTモデルに効果的に統合する統合フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-12-08T02:55:00Z)
• Contextual Refinement of Translations: Large Language Models for Sentence and Document-Level Post-Editing [12.843274390224853]
  大規模言語モデル(LLM)は、様々な自然言語処理タスクでかなりの成功を収めている。 ニューラルネットワーク翻訳における最先端性能は,まだ達成できていない。 直接翻訳者ではなく,自動編集者 (APE) としてLLMを適用することを提案する。
  論文  参考訳（メタデータ） (2023-10-23T12:22:15Z)
• On Search Strategies for Document-Level Neural Machine Translation [51.359400776242786]
  文書レベルのニューラルネットワーク変換(NMT)モデルは、ドキュメント全体にわたってより一貫性のある出力を生成する。 そこで本研究では,デコードにおける文脈認識翻訳モデルをどのように活用するか,という質問に答えることを目的としている。
  論文  参考訳（メタデータ） (2023-06-08T11:30:43Z)
• Dual-Alignment Pre-training for Cross-lingual Sentence Embedding [79.98111074307657]
  本稿では,言語間文埋め込みのためのDAP(Dual-alignment pre-training)フレームワークを提案する。 そこで本研究では,一方の文脈化トークン表現を用いて翻訳相手を再構成する,新しい表現翻訳学習(RTL)タスクを提案する。 我々の手法は文の埋め込みを大幅に改善できる。
  論文  参考訳（メタデータ） (2023-05-16T03:53:30Z)
• Quality-Aware Decoding for Neural Machine Translation [64.24934199944875]
  ニューラルネットワーク翻訳(NMT)のための品質認識復号法を提案する。 参照フリーおよび参照ベースMT評価における最近のブレークスルーを,様々な推論手法を用いて活用する。 品質認識復号化は、最先端の自動測定値と人的評価値の両方で、MAPベースの復号化を一貫して上回ります。
  論文  参考訳（メタデータ） (2022-05-02T15:26:28Z)
• BitextEdit: Automatic Bitext Editing for Improved Low-Resource Machine Translation [53.55009917938002]
  自動編集によりマイニングしたビットクストを改良することを提案する。 提案手法は,5つの低リソース言語ペアと10の翻訳方向に対して,最大8個のBLEUポイントでCCMatrixマイニングビットクストの品質を向上することを示す。
  論文  参考訳（メタデータ） (2021-11-12T16:00:39Z)
• Learning Kernel-Smoothed Machine Translation with Retrieved Examples [30.17061384497846]
  データベースから類似の例を検索して翻訳プロセスを導く既存の非パラメトリックアプローチは有望であるが、検索した例に過度に適合する傾向にある。 我々は、ニューラルネットワーク翻訳モデルをオンラインで適応するための効果的なアプローチであるKSTER(Kernel-Smoothed Translation with Example Retrieval)を学習することを提案する。
  論文  参考訳（メタデータ） (2021-09-21T06:42:53Z)
• Exploring Unsupervised Pretraining Objectives for Machine Translation [99.5441395624651]
  教師なし言語間事前訓練は、ニューラルマシン翻訳(NMT)の強力な結果を得た ほとんどのアプローチは、入力の一部をマスキングしてデコーダで再構成することで、シーケンス・ツー・シーケンスアーキテクチャにマスク付き言語モデリング(MLM)を適用する。 マスキングと、実際の(完全な)文に似た入力を生成する代替目的を、文脈に基づいて単語を並べ替えて置き換えることにより比較する。
  論文  参考訳（メタデータ） (2021-06-10T10:18:23Z)
• Source and Target Bidirectional Knowledge Distillation for End-to-end Speech Translation [88.78138830698173]
  外部テキストベースNMTモデルからのシーケンスレベルの知識蒸留(SeqKD)に注目した。 E2E-STモデルを訓練し、パラフレーズ転写を1つのデコーダで補助タスクとして予測する。
  論文  参考訳（メタデータ） (2021-04-13T19:00:51Z)
• Character-level Transformer-based Neural Machine Translation [5.699756532377753]
  本稿では,トランスフォーマーをベースとした新しい手法について論じる。スピードと品質を,サブワードレベルでのトランスフォーマーとキャラクタレベルで比較する。 WMT'15: DE-EN, CS-EN, FI-EN, RU-ENの4つの言語対について評価を行った。 提案された新しいアーキテクチャは、単一のGPUでトレーニングすることが可能で、キャラクタレベルのTransformerよりも34%高速である。
  論文  参考訳（メタデータ） (2020-05-22T15:40:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。