論文の概要: Context Consistency between Training and Testing in Simultaneous Machine Translation

• arxiv url: http://arxiv.org/abs/2311.07066v1
• Date: Mon, 13 Nov 2023 04:11:32 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-14 15:39:17.008723
• Title: Context Consistency between Training and Testing in Simultaneous Machine Translation
• Title（参考訳）: 同時翻訳における学習とテストのコンテキスト一貫性
• Authors: Meizhi Zhong, Lemao Liu, Kehai Chen, Mingming Yang, Min Zhang
• Abstract要約: 同時機械翻訳(SiMT)は、ソース側コンテキストを単調に拡張したリアルタイム部分翻訳を実現することを目的としている。 トレーニングとテストの間のコンテキスト使用に関して、直感的な現象があります。 そこで我々は,文脈整合性学習と呼ばれる効果的な学習手法を提案する。
• 参考スコア（独自算出の注目度）: 46.38890241793453
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Simultaneous Machine Translation (SiMT) aims to yield a real-time partial translation with a monotonically growing the source-side context. However, there is a counterintuitive phenomenon about the context usage between training and testing: e.g., the wait-k testing model consistently trained with wait-k is much worse than that model inconsistently trained with wait-k' (k' is not equal to k) in terms of translation quality. To this end, we first investigate the underlying reasons behind this phenomenon and uncover the following two factors: 1) the limited correlation between translation quality and training (cross-entropy) loss; 2) exposure bias between training and testing. Based on both reasons, we then propose an effective training approach called context consistency training accordingly, which makes consistent the context usage between training and testing by optimizing translation quality and latency as bi-objectives and exposing the predictions to the model during the training. The experiments on three language pairs demonstrate our intuition: our system encouraging context consistency outperforms that existing systems with context inconsistency for the first time, with the help of our context consistency training approach.
• Abstract（参考訳）: 同時機械翻訳(SiMT)は、ソース側コンテキストを単調に拡張したリアルタイム部分翻訳を実現することを目的としている。 例えば、wait-kで一貫してトレーニングされたwait-kテストモデルは、翻訳品質の点で、wait-k' (k' は k に等しいものではない) で一貫性のないトレーニングを受けたモデルよりもはるかに悪い。 この目的のために、まずこの現象の根本原因を調査し、以下の2つの要因を明らかにする。 1) 翻訳品質と訓練(相互エントロピー)損失との限られた相関 2) トレーニングとテストの間の露光バイアス。 そこで本研究では,両目的に翻訳品質と遅延を最適化し,学習中にモデルに予測を提示することにより,学習とテストのコンテキスト利用を整合させる,コンテキスト一貫性トレーニングという効果的なトレーニング手法を提案する。 コンテキスト一貫性を奨励する私たちのシステムは、コンテキスト一貫性トレーニングアプローチの助けを借りて、コンテキスト一貫性を初めて既存のシステムよりも優れています。

関連論文リスト

• LEAPT: Learning Adaptive Prefix-to-prefix Translation For Simultaneous Machine Translation [6.411228564798412]
  機械翻訳は、多くのライブシナリオで有用であるが、精度とレイテンシのトレードオフのため非常に難しい。 LEAPTと呼ばれる新しい適応型トレーニングポリシーを提案し、それによって機械翻訳モデルがソースプレフィックスの翻訳方法を学習し、将来の文脈を活用することができる。
  論文  参考訳（メタデータ） (2023-03-21T11:17:37Z)
• Understanding and Mitigating the Uncertainty in Zero-Shot Translation [92.25357943169601]
  ゼロショット翻訳の不確実性の観点から、オフターゲット問題を理解し、緩和することを目的としている。 そこで本研究では,モデルトレーニングのためのトレーニングデータを認知するための,軽量かつ補完的な2つのアプローチを提案する。 提案手法は,強いMNMTベースライン上でのゼロショット翻訳の性能を著しく向上させる。
  論文  参考訳（メタデータ） (2022-05-20T10:29:46Z)
• Data-Driven Adaptive Simultaneous Machine Translation [51.01779863078624]
  適応型SimulMTのための新しい,効率的なトレーニング手法を提案する。 本手法は,翻訳の質やレイテンシという点で,全ての強靭なベースラインを上回ります。
  論文  参考訳（メタデータ） (2022-04-27T02:40:21Z)
• Understanding and Improving Sequence-to-Sequence Pretraining for Neural Machine Translation [48.50842995206353]
  本研究は,Seq2Seqプレトレーニングと従来のエンコーダによるNMTの事前トレーニングとの主な違いである,共同事前学習デコーダの影響について検討する。 我々は、ドメインと目的の相違を緩和するために、ドメイン内の事前訓練と入力適応という、シンプルで効果的な戦略を提案する。
  論文  参考訳（メタデータ） (2022-03-16T07:36:28Z)
• Bridging the Data Gap between Training and Inference for Unsupervised Neural Machine Translation [49.916963624249355]
  UNMTモデルは、翻訳されたソースと推論中の自然言語で擬似並列データに基づいて訓練される。 トレーニングと推論のソース差はUNMTモデルの翻訳性能を妨げている。 本稿では、擬似並列データ自然言語を同時に用いたオンライン自己学習手法を提案する。
  論文  参考訳（メタデータ） (2022-03-16T04:50:27Z)
• An Explanation of In-context Learning as Implicit Bayesian Inference [117.19809377740188]
  In-context Learning の出現における事前学習分布の役割について検討した。 本研究では,潜在概念のベイズ的推論を通じて,文脈内学習が暗黙的に起こることを証明した。 我々は,事前学習損失が同じであっても,スケーリングモデルのサイズがコンテキスト内精度を向上させることを実証的に見出した。
  論文  参考訳（メタデータ） (2021-11-03T09:12:33Z)
• Neural Simultaneous Speech Translation Using Alignment-Based Chunking [4.224809458327515]
  同時機械翻訳では、ソース単語の連続ストリームが与えられた部分翻訳をいつ生成するかを決定することが目的である。 入力や出力語の生成を継続する際の動的決定を動的に行うニューラルネットワーク翻訳(NMT)モデルを提案する。 We results on the IWSLT 2020 English-to-German task outperform a wait-k baseline by 2.6 to 3.7% BLEU absolute。
  論文  参考訳（メタデータ） (2020-05-29T10:20:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。