論文の概要: Future-Guided Incremental Transformer for Simultaneous Translation

• arxiv url: http://arxiv.org/abs/2012.12465v1
• Date: Wed, 23 Dec 2020 03:04:49 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-25 18:23:43.268085
• Title: Future-Guided Incremental Transformer for Simultaneous Translation
• Title（参考訳）: 同時翻訳のための未来誘導インクリメンタルトランス
• Authors: Shaolei Zhang, Yang Feng, Liangyou Li
• Abstract要約: 同時翻訳(st)は、ソース文を読みながら同期的に開始され、多くのオンラインシナリオで使用される。 wait-kポリシーは、隠れた状態の再計算によるトレーニング速度の低下と、トレーニングを導くための将来のソース情報の欠如という2つの弱点に直面しています。 平均埋め込み層(AEL)を有するインクリメンタルトランスフォーマを提案し,隠れ状態の計算速度を高速化する。
• 参考スコア（独自算出の注目度）: 6.8452940299620435
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Simultaneous translation (ST) starts translations synchronously while reading source sentences, and is used in many online scenarios. The previous wait-k policy is concise and achieved good results in ST. However, wait-k policy faces two weaknesses: low training speed caused by the recalculation of hidden states and lack of future source information to guide training. For the low training speed, we propose an incremental Transformer with an average embedding layer (AEL) to accelerate the speed of calculation of the hidden states during training. For future-guided training, we propose a conventional Transformer as the teacher of the incremental Transformer, and try to invisibly embed some future information in the model through knowledge distillation. We conducted experiments on Chinese-English and German-English simultaneous translation tasks and compared with the wait-k policy to evaluate the proposed method. Our method can effectively increase the training speed by about 28 times on average at different k and implicitly embed some predictive abilities in the model, achieving better translation quality than wait-k baseline.
• Abstract（参考訳）: 同時翻訳(st)は、原文を読みながら翻訳を同期的に開始し、多くのオンラインシナリオで使用される。 以前のwait-kポリシーは簡潔で、STで良い結果を得た。 しかし、wait-kポリシーは、隠れた状態の再計算によるトレーニング速度の低下と、トレーニングを導くための将来の情報源情報の欠如という2つの弱点に直面している。 低トレーニング速度では,学習中の隠れ状態の計算速度を高速化するため,平均埋め込み層(AEL)を有するインクリメンタルトランスを提案する。 今後の指導訓練のために,インクリメンタルトランスの教師として従来の変圧器を提案し,知識蒸留を通したモデルに将来の情報を埋め込む。 提案手法を評価するために,中国語-英語-ドイツ語-英語同時翻訳タスクの実験を行い,wait-kポリシーと比較した。 提案手法は,学習速度を平均28倍に向上させ,予測能力を暗黙的にモデルに組み込むことにより,待ち時間ベースラインよりも優れた翻訳品質を実現する。

関連論文リスト

• Language Model is a Branch Predictor for Simultaneous Machine Translation [73.82754138171587]
  翻訳遅延を低減するため,SiMTタスクに分岐予測手法を組み込むことを提案する。 言語モデルを分岐予測器として利用し,潜在的な分岐方向を予測する。 実際のソース語が予測されたソース語から逸脱すると、実際のソース語を使用して出力を復号し、予測された出力を置き換える。
  論文  参考訳（メタデータ） (2023-12-22T07:32:47Z)
• Context Consistency between Training and Testing in Simultaneous Machine Translation [46.38890241793453]
  同時機械翻訳(SiMT)は、ソース側コンテキストを単調に拡張したリアルタイム部分翻訳を実現することを目的としている。 トレーニングとテストの間のコンテキスト使用に関して、直感的な現象があります。 そこで我々は,文脈整合性学習と呼ばれる効果的な学習手法を提案する。
  論文  参考訳（メタデータ） (2023-11-13T04:11:32Z)
• LEAPT: Learning Adaptive Prefix-to-prefix Translation For Simultaneous Machine Translation [6.411228564798412]
  機械翻訳は、多くのライブシナリオで有用であるが、精度とレイテンシのトレードオフのため非常に難しい。 LEAPTと呼ばれる新しい適応型トレーニングポリシーを提案し、それによって機械翻訳モデルがソースプレフィックスの翻訳方法を学習し、将来の文脈を活用することができる。
  論文  参考訳（メタデータ） (2023-03-21T11:17:37Z)
• Data-Driven Adaptive Simultaneous Machine Translation [51.01779863078624]
  適応型SimulMTのための新しい,効率的なトレーニング手法を提案する。 本手法は,翻訳の質やレイテンシという点で,全ての強靭なベースラインを上回ります。
  論文  参考訳（メタデータ） (2022-04-27T02:40:21Z)
• Anticipation-free Training for Simultaneous Translation [70.85761141178597]
  同時翻訳(SimulMT)は、原文が完全に利用可能になる前に翻訳を開始することで翻訳プロセスを高速化する。 既存の手法は遅延を増大させるか、SimulMTモデルに適応的な読み書きポリシーを導入し、局所的なリオーダーを処理し、翻訳品質を改善する。 本稿では,翻訳過程をモノトニック翻訳ステップと並べ替えステップに分解する新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-01-30T16:29:37Z)
• Modelling Latent Translations for Cross-Lingual Transfer [47.61502999819699]
  従来のパイプラインの2つのステップ(翻訳と分類)を1つのモデルに統合する新しい手法を提案する。 我々は,多言語NLUタスクにおける新しい潜時翻訳モデルの評価を行った。 ゼロショットと数ショットの学習設定の両方で、平均2.7の精度ポイントのゲインを報告します。
  論文  参考訳（メタデータ） (2021-07-23T17:11:27Z)
• Progressive Multi-Granularity Training for Non-Autoregressive Translation [98.11249019844281]
  非自己回帰翻訳(NAT)は、ターゲットシーケンス全体を予測することで推論プロセスを著しく加速する。 近年の研究では、NATは1対多翻訳のような高度な知識の学習に弱いことが示されている。 モードは様々な粒度に分けることができ、そこから容易に学習できると我々は主張する。
  論文  参考訳（メタデータ） (2021-06-10T07:16:07Z)
• Few-shot learning through contextual data augmentation [74.20290390065475]
  機械翻訳モデルは、時間とともに性能を維持するために新しいデータに適応する必要がある。 一つの例から5つの例への適応が可能であることを示す。 本モデルでは,平均313個の並列例でトレーニングした基準システムよりも精度がよいことを示す。
  論文  参考訳（メタデータ） (2021-03-31T09:05:43Z)
• Accelerating Training of Transformer-Based Language Models with Progressive Layer Dropping [24.547833264405355]
  提案手法は, サンプルあたり平均24%の時間短縮を実現し, プレトレーニングをベースラインの2.5倍の速度で行うことができる。 トレーニング済みのモデルでは,より高速ながら,強力な知識伝達能力を備え,ベースラインよりも高いGLUEスコアを達成できる。
  論文  参考訳（メタデータ） (2020-10-26T06:50:07Z)
• Improving Text Generation with Student-Forcing Optimal Transport [122.11881937642401]
  トレーニングモードとテストモードで生成されたシーケンスに最適なトランスポート(OT)を提案する。 テキストシーケンスの構造的および文脈的情報に基づいて、OT学習を改善するための拡張も提案されている。 提案手法の有効性は,機械翻訳,テキスト要約,テキスト生成タスクにおいて検証される。
  論文  参考訳（メタデータ） (2020-10-12T19:42:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。