論文の概要: Rethinking Translation Memory Augmented Neural Machine Translation

• arxiv url: http://arxiv.org/abs/2306.06948v1
• Date: Mon, 12 Jun 2023 08:32:04 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-13 15:29:24.562798
• Title: Rethinking Translation Memory Augmented Neural Machine Translation
• Title（参考訳）: 翻訳記憶強化ニューラルマシン翻訳の再考
• Authors: Hongkun Hao, Guoping Huang, Lemao Liu, Zhirui Zhang, Shuming Shi, Rui Wang
• Abstract要約: TM強化NMTは, トレーニングデータのゆらぎに敏感で, データの適合性に優れていた。 本稿では, 簡易かつ効果的なTM拡張NMTモデルを提案し, 分散を促進し, 矛盾現象に対処する。 拡張実験により,提案したTM拡張NMTは従来のNMTと既存のTM拡張NMTの両方に対して一貫した利得が得られることが示された。
• 参考スコア（独自算出の注目度）: 45.21285869556621
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper rethinks translation memory augmented neural machine translation (TM-augmented NMT) from two perspectives, i.e., a probabilistic view of retrieval and the variance-bias decomposition principle. The finding demonstrates that TM-augmented NMT is good at the ability of fitting data (i.e., lower bias) but is more sensitive to the fluctuations in the training data (i.e., higher variance), which provides an explanation to a recently reported contradictory phenomenon on the same translation task: TM-augmented NMT substantially advances vanilla NMT under the high-resource scenario whereas it fails under the low-resource scenario. Then we propose a simple yet effective TM-augmented NMT model to promote the variance and address the contradictory phenomenon. Extensive experiments show that the proposed TM-augmented NMT achieves consistent gains over both conventional NMT and existing TM-augmented NMT under two variance-preferable (low-resource and plug-and-play) scenarios as well as the high-resource scenario.
• Abstract（参考訳）: 本稿では,2つの視点,すなわち検索の確率的視点と分散バイアス分解原理から,翻訳メモリ拡張ニューラルマシン翻訳(tm-augmented nmt)を再考する。 この結果から、TM強化NMTはデータの適合性(低バイアス)に優れるが、トレーニングデータ(高分散)のゆらぎに敏感であることが示され、これは、最近報告された同じ翻訳タスクにおける矛盾現象を説明できる:TM増強NMTは、高リソースシナリオ下でバニラNTTを実質的に前進させるが、低リソースシナリオでは失敗する。 そこで, tm-augmented nmtモデルを提案し, 分散を促進させ, 矛盾する現象に対処する。 拡張実験により,提案したTM拡張NMTは,従来のNMTと既存のTM拡張NMTの両方に対して,2つの分散優先シナリオ(低リソースおよびプラグアンドプレイ)と高リソースシナリオで一貫した利得が得られることが示された。

関連論文リスト

• Towards Reliable Neural Machine Translation with Consistency-Aware Meta-Learning [24.64700139151659]
  現在のニューラル機械翻訳(NMT)システムは信頼性の欠如に悩まされている。 本稿では,モデルに依存しないメタラーニング(MAML)アルゴリズムをベースとした,一貫性を考慮したメタラーニング(CAML)フレームワークを提案する。 我々は、NIST中国語から英語へのタスク、3つのWMT翻訳タスク、TED M2Oタスクについて実験を行った。
  論文  参考訳（メタデータ） (2023-03-20T09:41:28Z)
• Prompting Neural Machine Translation with Translation Memories [32.5633128085849]
  ニューラルネットワーク翻訳(NMT)システムにTMを導入する方法を提案する。 具体的には、テスト時にNMTモデルのプロンプトとしてTMを扱いますが、トレーニングプロセスはそのままです。 その結果、既存のNMTシステムのわずかに更新され、NMTに詳しい人なら誰でも数時間で実装できるようになりました。
  論文  参考訳（メタデータ） (2023-01-13T03:33:26Z)
• Neural Machine Translation with Contrastive Translation Memories [71.86990102704311]
  Retrieval-augmented Neural Machine Translationモデルは、多くの翻訳シナリオで成功している。 そこで本論文では,新たに検索拡張NMTを提案し,ソース文と相似なコントラスト検索された翻訳記憶をモデル化する。 訓練段階では、目標文に対する各TMの健全な特徴を学習するために、マルチTMコントラスト学習目標を導入する。
  論文  参考訳（メタデータ） (2022-12-06T17:10:17Z)
• Improving Robustness of Retrieval Augmented Translation via Shuffling of Suggestions [15.845071122977158]
  既存の検索拡張翻訳手法では,テストセットにドメインミスマッチを付加したTMを用いることで,TMを全く使用していない場合に比べれば,性能が著しく低下することが示された。 トレーニング中にファジィマッチングNMTシステムを公開するための簡単な手法を提案し、ドメインミスマッチによるTMの推論よりも耐障害性(最大5.8BLEUまで)が高いことを示す。
  論文  参考訳（メタデータ） (2022-10-11T00:09:51Z)
• Generating Authentic Adversarial Examples beyond Meaning-preserving with Doubly Round-trip Translation [64.16077929617119]
  二重ラウンド・トリップ翻訳(DRTT)に基づくNMT逆例の新しい基準を提案する。 NMTモデルの堅牢性を高めるため,両言語対を構築するためのマスキング言語モデルを提案する。
  論文  参考訳（メタデータ） (2022-04-19T06:15:27Z)
• Beyond Noise: Mitigating the Impact of Fine-grained Semantic Divergences on Neural Machine Translation [14.645468999921961]
  本研究は,トランスフォーマーモデルにおける様々な種類の細粒度セマンティックな違いの影響を解析する。 自然に発生する発散による劣化からNMTが回復するのに役立つ因子を用いた発散型NMTフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-05-31T16:15:35Z)
• Prevent the Language Model from being Overconfident in Neural Machine Translation [21.203435303812043]
  本稿では,MTO(Margin-based Objective)とMSO(Margin-based Sentence Level Objective)を提案する。 WMT14英語-ドイツ語、WMT19中国語-英語、WMT14英語-フランス語翻訳タスクの実験は、我々のアプローチの有効性を実証している。
  論文  参考訳（メタデータ） (2021-05-24T05:34:09Z)
• On the Inference Calibration of Neural Machine Translation [54.48932804996506]
  校正と翻訳性能と誤校正の言語特性の相関について検討した。 そこで本研究では,推論キャリブレーションと翻訳性能を両立できる新しいラベル平滑化手法を提案する。
  論文  参考訳（メタデータ） (2020-05-03T02:03:56Z)
• Explicit Reordering for Neural Machine Translation [50.70683739103066]
  Transformer-based neural machine translation (NMT)では、位置符号化機構は、自己アテンションネットワークが順序依存でソース表現を学習するのに役立つ。 本研究では,トランスフォーマーベースのNMTに対して,このリオーダ情報を明示的にモデル化する新しいリオーダ手法を提案する。 WMT14, WAT ASPEC日本語訳, WMT17中国語訳の実証結果から, 提案手法の有効性が示唆された。
  論文  参考訳（メタデータ） (2020-04-08T05:28:46Z)
• Understanding Learning Dynamics for Neural Machine Translation [53.23463279153577]
  ロス・チェンジ・アロケーション (LCA)citeplan 2019-loss-change-allocation を用いてNMTの学習力学を理解することを提案する。 LCAは更新毎にデータセット全体の勾配を計算する必要があるため、NMTシナリオで実際に実施するための近似を提示する。 シミュレーション実験により, 近似計算は効率的であり, 実験により一貫した結果が得られることを示した。
  論文  参考訳（メタデータ） (2020-04-05T13:32:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。