論文の概要: Non-Autoregressive Machine Translation with Translation Memories

• arxiv url: http://arxiv.org/abs/2210.06020v1
• Date: Wed, 12 Oct 2022 08:51:35 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-13 14:01:21.313546
• Title: Non-Autoregressive Machine Translation with Translation Memories
• Title（参考訳）: 翻訳記憶を用いた非自己回帰機械翻訳
• Authors: Jitao Xu, Josep Crego, Fran\c{c}ois Yvon
• Abstract要約: Levenshtein Transformer (LevT) は翻訳メモリ (TM) で翻訳するのに適しているように見える 本稿では,新しい変種TM-LevTを提案し,このモデルを効果的に訓練する方法を示す。 我々は,デコード負荷を低減しつつ,自己回帰的手法と同等のパフォーマンスを得る。
• 参考スコア（独自算出の注目度）: 2.0411082897313984
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Non-autoregressive machine translation (NAT) has recently made great progress. However, most works to date have focused on standard translation tasks, even though some edit-based NAT models, such as the Levenshtein Transformer (LevT), seem well suited to translate with a Translation Memory (TM). This is the scenario considered here. We first analyze the vanilla LevT model and explain why it does not do well in this setting. We then propose a new variant, TM-LevT, and show how to effectively train this model. By modifying the data presentation and introducing an extra deletion operation, we obtain performance that are on par with an autoregressive approach, while reducing the decoding load. We also show that incorporating TMs during training dispenses to use knowledge distillation, a well-known trick used to mitigate the multimodality issue.
• Abstract（参考訳）: 非自己回帰機械翻訳(NAT)は近年大きな進歩を遂げている。 しかし、レヴェンシュテイン変換器(LevT)のような編集ベースのNATモデルは翻訳メモリ(TM)で翻訳するのに適しているように見える。 これはここで考慮されたシナリオです。 まずvanilla levtモデルを分析し、なぜこの設定でうまくいかないのかを説明します。 次に、新しい変種TM-LevTを提案し、このモデルを効果的に訓練する方法を示す。 データ表示を変更して余分な削除操作を導入することにより、復号化負荷を低減しつつ、自己回帰的アプローチと同等の性能を得る。 また, 訓練中にTMを組み込むことで, 知識の蒸留を行なわず, マルチモーダリティの問題を軽減できることを示す。

関連論文リスト

• ACT-MNMT Auto-Constriction Turning for Multilingual Neural Machine Translation [38.30649186517611]
  この課題はtextbfunderlineAuto-textbfunderlineConstriction textbfunderlineTurning mechanism for textbfunderlineMultilingual textbfunderlineNeural textbfunderlineMachine textbfunderlineTranslation (model)を導入している。
  論文  参考訳（メタデータ） (2024-03-11T14:10:57Z)
• TIM: Teaching Large Language Models to Translate with Comparison [78.66926087162672]
  本稿では,LLMに翻訳学習を教えるために,サンプルを用いた新しいフレームワークを提案する。 我々のアプローチは、正しい翻訳例と間違った翻訳例をモデルに提示し、好みの損失を使ってモデルの学習をガイドすることである。 本研究は,翻訳タスクのための微調整LDMの新しい視点を提供し,高品質な翻訳を実現するための有望なソリューションを提供する。
  論文  参考訳（メタデータ） (2023-07-10T08:15:40Z)
• Improving Non-autoregressive Translation Quality with Pretrained Language Model, Embedding Distillation and Upsampling Strategy for CTC [51.34222224728979]
  本稿では,非自己回帰翻訳(NAT)モデルの翻訳品質を向上させるための一連の革新的な技術を紹介する。 我々は,NATモデルを効果的に訓練するために,CTCの損失を抑えたPMLM(Pretrained Multilingual Language Models)を提案する。 自動回帰モデルと比較して16.35倍の速度向上を示した。
  論文  参考訳（メタデータ） (2023-06-10T05:24:29Z)
• Optimizing Non-Autoregressive Transformers with Contrastive Learning [74.46714706658517]
  非自己回帰変換器(NAT)は、逐次順序ではなく全ての単語を同時に予測することにより、自動回帰変換器(AT)の推論遅延を低減する。 本稿では,データ分布ではなく,モデル分布からのサンプリングによるモダリティ学習の容易化を提案する。
  論文  参考訳（メタデータ） (2023-05-23T04:20:13Z)
• Anticipation-free Training for Simultaneous Translation [70.85761141178597]
  同時翻訳(SimulMT)は、原文が完全に利用可能になる前に翻訳を開始することで翻訳プロセスを高速化する。 既存の手法は遅延を増大させるか、SimulMTモデルに適応的な読み書きポリシーを導入し、局所的なリオーダーを処理し、翻訳品質を改善する。 本稿では,翻訳過程をモノトニック翻訳ステップと並べ替えステップに分解する新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-01-30T16:29:37Z)
• Improving Neural Machine Translation by Bidirectional Training [85.64797317290349]
  我々は、ニューラルネットワーク翻訳のためのシンプルで効果的な事前学習戦略である双方向トレーニング(BiT)を提案する。 具体的には、初期モデルのパラメータを双方向に更新し、正常にモデルを調整する。 実験の結果,BiTは8つの言語対上の15の翻訳タスクに対して,SOTAニューラルマシン翻訳性能を著しく向上させることがわかった。
  論文  参考訳（メタデータ） (2021-09-16T07:58:33Z)
• Investigating Code-Mixed Modern Standard Arabic-Egyptian to English Machine Translation [6.021269454707625]
  コード混在の現代標準アラビア語とエジプト・アラビア語(MSAEA)を英語に調査する。 我々は、(i)標準のエンドツーエンドシーケンス・ツー・シーケンス(S2S)変換器と(ii)事前訓練されたS2S言語モデル(LM)を用いて、異なる条件下でモデルを開発する。 我々は、スクラッチから訓練されたS2Sモデルと様々なアラビア方言のデータに基づいて微調整されたLMを用いて、MSA-EN並列データのみを用いて、合理的な性能を得ることができる。
  論文  参考訳（メタデータ） (2021-05-28T03:38:35Z)
• XLM-T: Scaling up Multilingual Machine Translation with Pretrained Cross-lingual Transformer Encoders [89.0059978016914]
  そこで本稿では,既製のクロスリンガルトランスフォーマでモデルを初期化し,多言語並列データで微調整するXLM-Tを提案する。 この単純な方法は,10対のWMTデータセットと94対のOPUS-100コーパスにおいて,大幅な改善を実現する。
  論文  参考訳（メタデータ） (2020-12-31T11:16:51Z)
• Incorporating a Local Translation Mechanism into Non-autoregressive Translation [28.678752678905244]
  非自己回帰翻訳(NAT)モデルに新しい局所自己回帰翻訳機構を導入する。 各目標復号位置について、1つのトークンの代わりに、自己回帰的な方法で短いトークン列を予測する。 我々は、出力部品を1つの最終的な出力シーケンスに整列し、マージする効率的なマージアルゴリズムを設計する。
  論文  参考訳（メタデータ） (2020-11-12T00:32:51Z)
• Infusing Sequential Information into Conditional Masked Translation Model with Self-Review Mechanism [9.641454891414751]
  非自己回帰モデルは、高速な復号速度を実現するが、翻訳精度を犠牲にして、目標語を並列に生成する。 条件付きマスキング翻訳モデルに逐次情報を注入する自己レビュー機構を提案する。 我々のモデルは典型的な左から右へのトランスフォーマーモデルを超え、デコードを大幅に高速化しています。
  論文  参考訳（メタデータ） (2020-10-19T03:38:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。