論文の概要: Future-Guided Incremental Transformer for Simultaneous Translation

• arxiv url: http://arxiv.org/abs/2012.12465v1
• Date: Wed, 23 Dec 2020 03:04:49 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-25 18:23:43.268085
• Title: Future-Guided Incremental Transformer for Simultaneous Translation
• Title（参考訳）: 同時翻訳のための未来誘導インクリメンタルトランス
• Authors: Shaolei Zhang, Yang Feng, Liangyou Li
• Abstract要約: 同時翻訳(st)は、ソース文を読みながら同期的に開始され、多くのオンラインシナリオで使用される。 wait-kポリシーは、隠れた状態の再計算によるトレーニング速度の低下と、トレーニングを導くための将来のソース情報の欠如という2つの弱点に直面しています。 平均埋め込み層(AEL)を有するインクリメンタルトランスフォーマを提案し,隠れ状態の計算速度を高速化する。
• 参考スコア（独自算出の注目度）: 6.8452940299620435
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Simultaneous translation (ST) starts translations synchronously while reading source sentences, and is used in many online scenarios. The previous wait-k policy is concise and achieved good results in ST. However, wait-k policy faces two weaknesses: low training speed caused by the recalculation of hidden states and lack of future source information to guide training. For the low training speed, we propose an incremental Transformer with an average embedding layer (AEL) to accelerate the speed of calculation of the hidden states during training. For future-guided training, we propose a conventional Transformer as the teacher of the incremental Transformer, and try to invisibly embed some future information in the model through knowledge distillation. We conducted experiments on Chinese-English and German-English simultaneous translation tasks and compared with the wait-k policy to evaluate the proposed method. Our method can effectively increase the training speed by about 28 times on average at different k and implicitly embed some predictive abilities in the model, achieving better translation quality than wait-k baseline.
• Abstract（参考訳）: 同時翻訳(st)は、原文を読みながら翻訳を同期的に開始し、多くのオンラインシナリオで使用される。 以前のwait-kポリシーは簡潔で、STで良い結果を得た。 しかし、wait-kポリシーは、隠れた状態の再計算によるトレーニング速度の低下と、トレーニングを導くための将来の情報源情報の欠如という2つの弱点に直面している。 低トレーニング速度では,学習中の隠れ状態の計算速度を高速化するため,平均埋め込み層(AEL)を有するインクリメンタルトランスを提案する。 今後の指導訓練のために,インクリメンタルトランスの教師として従来の変圧器を提案し,知識蒸留を通したモデルに将来の情報を埋め込む。 提案手法を評価するために,中国語-英語-ドイツ語-英語同時翻訳タスクの実験を行い,wait-kポリシーと比較した。 提案手法は,学習速度を平均28倍に向上させ,予測能力を暗黙的にモデルに組み込むことにより,待ち時間ベースラインよりも優れた翻訳品質を実現する。

関連論文リスト

• Data-Driven Adaptive Simultaneous Machine Translation [51.01779863078624]
  適応型SimulMTのための新しい,効率的なトレーニング手法を提案する。 本手法は,翻訳の質やレイテンシという点で,全ての強靭なベースラインを上回ります。
  論文  参考訳（メタデータ） (2022-04-27T02:40:21Z)
• Learning to Generalize to More: Continuous Semantic Augmentation for Neural Machine Translation [50.54059385277964]
  CsaNMT(Continuous Semantic Augmentation)と呼ばれる新しいデータ拡張パラダイムを提案する。 CsaNMTは各トレーニングインスタンスを、同じ意味の下で適切なリテラル式をカバーできる隣接領域で拡張する。
  論文  参考訳（メタデータ） (2022-04-14T08:16:28Z)
• Parameter-Efficient Neural Reranking for Cross-Lingual and Multilingual Retrieval [66.69799641522133]
  最先端のニューラルランカーは、お腹が空いていることで悪名高い。 現在のアプローチでは、英語データに基づいて訓練されたローダを、多言語エンコーダを用いて他の言語や言語間設定に転送するのが一般的である。 本研究では,Sparse Fine-Tuning Masks (SFTMs) とAdapters (Adapters) の2つのパラメータ効率のアプローチにより,より軽量で効果的なゼロショット転送が可能となることを示す。
  論文  参考訳（メタデータ） (2022-04-05T15:44:27Z)
• Anticipation-free Training for Simultaneous Translation [70.85761141178597]
  同時翻訳(SimulMT)は、原文が完全に利用可能になる前に翻訳を開始することで翻訳プロセスを高速化する。 既存の手法は遅延を増大させるか、SimulMTモデルに適応的な読み書きポリシーを導入し、局所的なリオーダーを処理し、翻訳品質を改善する。 本稿では,翻訳過程をモノトニック翻訳ステップと並べ替えステップに分解する新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-01-30T16:29:37Z)
• MSP: Multi-Stage Prompting for Making Pre-trained Language Models Better Translators [10.557167523009392]
  本稿では,事前学習した言語モデルを翻訳タスクに適応させるための,シンプルで軽量な手法であるMulti-Stage Promptingを提案する。 事前学習された言語モデルをより優れた翻訳者にするために,事前学習された言語モデルを介して翻訳過程を3つの段階に分けた。 各段階において、事前訓練された言語モデルを翻訳タスクに適応させるために、異なる連続的なプロンプトを独立して適用する。
  論文  参考訳（メタデータ） (2021-10-13T10:06:21Z)
• Universal Simultaneous Machine Translation with Mixture-of-Experts Wait-k Policy [6.487736084189248]
  同時機械翻訳(SiMT)は、原文全体を読む前に翻訳を生成する。 従来の手法では、遅延レベルが異なる複数のSiMTモデルをトレーニングする必要があるため、計算コストが大きくなる。 任意のレイテンシで最適な翻訳品質を実現するために,Mixture-of-Experts Wait-k Policyを用いた汎用SiMTモデルを提案する。
  論文  参考訳（メタデータ） (2021-09-11T09:43:15Z)
• Modelling Latent Translations for Cross-Lingual Transfer [47.61502999819699]
  従来のパイプラインの2つのステップ(翻訳と分類)を1つのモデルに統合する新しい手法を提案する。 我々は,多言語NLUタスクにおける新しい潜時翻訳モデルの評価を行った。 ゼロショットと数ショットの学習設定の両方で、平均2.7の精度ポイントのゲインを報告します。
  論文  参考訳（メタデータ） (2021-07-23T17:11:27Z)
• Confidence-Aware Scheduled Sampling for Neural Machine Translation [25.406119773503786]
  ニューラルマシン翻訳のための信頼度を考慮したスケジュールサンプリングを提案する。 モデル予測の信頼性により,実時間モデル能力の定量化を行う。 提案手法は,翻訳品質と収束速度の両方において,トランスフォーマーとバニラのスケジュールサンプリングを著しく上回っている。
  論文  参考訳（メタデータ） (2021-07-22T02:49:04Z)
• Progressive Multi-Granularity Training for Non-Autoregressive Translation [98.11249019844281]
  非自己回帰翻訳(NAT)は、ターゲットシーケンス全体を予測することで推論プロセスを著しく加速する。 近年の研究では、NATは1対多翻訳のような高度な知識の学習に弱いことが示されている。 モードは様々な粒度に分けることができ、そこから容易に学習できると我々は主張する。
  論文  参考訳（メタデータ） (2021-06-10T07:16:07Z)
• Few-shot learning through contextual data augmentation [74.20290390065475]
  機械翻訳モデルは、時間とともに性能を維持するために新しいデータに適応する必要がある。 一つの例から5つの例への適応が可能であることを示す。 本モデルでは,平均313個の並列例でトレーニングした基準システムよりも精度がよいことを示す。
  論文  参考訳（メタデータ） (2021-03-31T09:05:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。