論文の概要: Gaussian Multi-head Attention for Simultaneous Machine Translation

• arxiv url: http://arxiv.org/abs/2203.09072v1
• Date: Thu, 17 Mar 2022 04:01:25 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-18 13:03:25.196811
• Title: Gaussian Multi-head Attention for Simultaneous Machine Translation
• Title（参考訳）: 同時機械翻訳のためのガウス多頭部注意
• Authors: Shaolei Zhang, Yang Feng
• Abstract要約: 同時機械翻訳(SiMT)は、ストリーミングソース入力を受信しながら翻訳を出力する。 我々は、アライメントと翻訳を統一的にモデル化し、新しいSiMTポリシーを提案する。 En-ViタスクとDe-Enタスクの実験により、我々の手法は翻訳とレイテンシのトレードオフにおいて強いベースラインを上回ります。
• 参考スコア（独自算出の注目度）: 21.03142288187605
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Simultaneous machine translation (SiMT) outputs translation while receiving the streaming source inputs, and hence needs a policy to determine where to start translating. The alignment between target and source words often implies the most informative source word for each target word, and hence provides the unified control over translation quality and latency, but unfortunately the existing SiMT methods do not explicitly model the alignment to perform the control. In this paper, we propose Gaussian Multi-head Attention (GMA) to develop a new SiMT policy by modeling alignment and translation in a unified manner. For SiMT policy, GMA models the aligned source position of each target word, and accordingly waits until its aligned position to start translating. To integrate the learning of alignment into the translation model, a Gaussian distribution centered on predicted aligned position is introduced as an alignment-related prior, which cooperates with translation-related soft attention to determine the final attention. Experiments on En-Vi and De-En tasks show that our method outperforms strong baselines on the trade-off between translation and latency.
• Abstract（参考訳）: 同時機械翻訳(SiMT)は、ストリーミングソース入力を受信しながら翻訳を出力するので、翻訳開始先を決定するためのポリシーが必要である。 ターゲット語とソース語間のアライメントは、しばしばターゲット語毎の最も情報性の高いソース語を意味し、したがって翻訳品質と遅延の統一的な制御を提供するが、残念ながら既存のSiMTメソッドは、アライメントを明示的にモデル化して制御を実行することはない。 本稿では,アライメントと翻訳を統一的にモデル化し,新しいSiMTポリシーを開発するために,ガウス多頭部注意(GMA)を提案する。 SiMTポリシーでは、GMAは各対象単語の整列元位置をモデル化し、その整列元位置が翻訳開始するまで待つ。 翻訳モデルにアライメントの学習を統合するために、予測アライメント位置を中心とするガウス分布をアライメント関連先行として導入し、翻訳関連ソフトアテンションと協調して最終的なアライメントを決定する。 En-ViタスクとDe-Enタスクの実験により、我々の手法は翻訳とレイテンシのトレードオフにおいて強いベースラインを上回ります。

関連論文リスト

• Language Model is a Branch Predictor for Simultaneous Machine Translation [73.82754138171587]
  翻訳遅延を低減するため,SiMTタスクに分岐予測手法を組み込むことを提案する。 言語モデルを分岐予測器として利用し,潜在的な分岐方向を予測する。 実際のソース語が予測されたソース語から逸脱すると、実際のソース語を使用して出力を復号し、予測された出力を置き換える。
  論文  参考訳（メタデータ） (2023-12-22T07:32:47Z)
• Simultaneous Machine Translation with Tailored Reference [35.46823126036308]
  同時機械翻訳(SiMT)は、ソース文全体を読みながら翻訳を生成する。 既存のSiMTモデルは、異なるレイテンシで利用可能な様々なソース情報を無視して、同じ参照を使用してトレーニングされるのが一般的である。 そこで本研究では,異なるレイテンシでトレーニングしたSiMTモデルに対して,基底構造をリフレッシュして参照を調整した新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-10-20T15:32:26Z)
• Principled Paraphrase Generation with Parallel Corpora [52.78059089341062]
  ラウンドトリップ機械翻訳によって引き起こされる暗黙の類似性関数を形式化する。 一つのあいまいな翻訳を共有する非パラフレーズ対に感受性があることが示される。 この問題を緩和する別の類似度指標を設計する。
  論文  参考訳（メタデータ） (2022-05-24T17:22:42Z)
• Reducing Position Bias in Simultaneous Machine Translation with Length-Aware Framework [21.03142288187605]
  同時機械翻訳(SiMT)は、ストリーミングソース入力を受信しながら翻訳を開始する。 我々は,SiMTと全文MTの構造的ギャップを埋めることで,位置バイアスを低減するためのLongth-Aware Frameworkを開発した。
  論文  参考訳（メタデータ） (2022-03-17T03:18:46Z)
• Anticipation-free Training for Simultaneous Translation [70.85761141178597]
  同時翻訳(SimulMT)は、原文が完全に利用可能になる前に翻訳を開始することで翻訳プロセスを高速化する。 既存の手法は遅延を増大させるか、SimulMTモデルに適応的な読み書きポリシーを導入し、局所的なリオーダーを処理し、翻訳品質を改善する。 本稿では,翻訳過程をモノトニック翻訳ステップと並べ替えステップに分解する新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-01-30T16:29:37Z)
• Improving Multilingual Translation by Representation and Gradient Regularization [82.42760103045083]
  表現レベルと勾配レベルの両方でNMTモデルを正規化するための共同手法を提案する。 提案手法は,オフターゲット翻訳の発生率の低減とゼロショット翻訳性能の向上に有効であることを示す。
  論文  参考訳（メタデータ） (2021-09-10T10:52:21Z)
• Explicit Reordering for Neural Machine Translation [50.70683739103066]
  Transformer-based neural machine translation (NMT)では、位置符号化機構は、自己アテンションネットワークが順序依存でソース表現を学習するのに役立つ。 本研究では,トランスフォーマーベースのNMTに対して,このリオーダ情報を明示的にモデル化する新しいリオーダ手法を提案する。 WMT14, WAT ASPEC日本語訳, WMT17中国語訳の実証結果から, 提案手法の有効性が示唆された。
  論文  参考訳（メタデータ） (2020-04-08T05:28:46Z)
• Learning Contextualized Sentence Representations for Document-Level Neural Machine Translation [59.191079800436114]
  文書レベルの機械翻訳は、文間の依存関係をソース文の翻訳に組み込む。 本稿では,ニューラルマシン翻訳(NMT)を訓練し,文のターゲット翻訳と周辺文の双方を予測することによって,文間の依存関係をモデル化するフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-03-30T03:38:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。