論文の概要: Hidden Markov Transformer for Simultaneous Machine Translation

• arxiv url: http://arxiv.org/abs/2303.00257v1
• Date: Wed, 1 Mar 2023 06:28:33 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-02 15:52:15.794981
• Title: Hidden Markov Transformer for Simultaneous Machine Translation
• Title（参考訳）: 同時機械翻訳のための隠れマルコフ変換器
• Authors: Shaolei Zhang, Yang Feng
• Abstract要約: 同時機械翻訳(SiMT)は、ソースシーケンスを受信しながらターゲットシーケンスを出力するので、各ターゲットトークンの翻訳をいつ開始するかを学ぶことが、SiMTタスクのコアチャレンジである。 隠れマルコフ変換器 (HMT) を提案し, 翻訳開始時刻を隠蔽事象として扱い, 対象シーケンスを対応する観測事象として扱う。 HMTは、候補隠れイベントとして翻訳を開始する複数の瞬間を明示的にモデル化し、ターゲットトークンを生成するために1つを選択する。
• 参考スコア（独自算出の注目度）: 21.03142288187605
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Simultaneous machine translation (SiMT) outputs the target sequence while receiving the source sequence, and hence learning when to start translating each target token is the core challenge for SiMT task. However, it is non-trivial to learn the optimal moment among many possible moments of starting translating, as the moments of starting translating always hide inside the model and can only be supervised with the observed target sequence. In this paper, we propose a Hidden Markov Transformer (HMT), which treats the moments of starting translating as hidden events and the target sequence as the corresponding observed events, thereby organizing them as a hidden Markov model. HMT explicitly models multiple moments of starting translating as the candidate hidden events, and then selects one to generate the target token. During training, by maximizing the marginal likelihood of the target sequence over multiple moments of starting translating, HMT learns to start translating at the moments that target tokens can be generated more accurately. Experiments on multiple SiMT benchmarks show that HMT outperforms strong baselines and achieves state-of-the-art performance.
• Abstract（参考訳）: 同時機械翻訳(SiMT)は、ソースシーケンスを受信しながらターゲットシーケンスを出力し、各ターゲットトークンの翻訳をいつ開始するかを学ぶことが、SiMTタスクのコアチャレンジである。 しかし、翻訳開始の瞬間は常にモデルの内部に隠れており、観測対象シーケンスでしか管理できないため、翻訳開始の可能な多くの瞬間の中で最適な瞬間を学ぶことは容易ではない。 本稿では,隠れマルコフ変換の開始モーメントを隠れ事象として扱い,対象シーケンスを対応する観測事象として扱い,それらを隠れマルコフモデルとして整理する隠れマルコフ変換器(hmt)を提案する。 HMTは、候補隠れイベントとして翻訳を開始する複数の瞬間を明示的にモデル化し、ターゲットトークンを生成するために1つを選択する。 トレーニング中、HMTは、翻訳開始の複数の瞬間にターゲットシーケンスの限界確率を最大化することにより、ターゲットトークンをより正確に生成できる瞬間に翻訳を開始することを学習する。 複数のSiMTベンチマークの実験では、HMTは強いベースラインを上回り、最先端のパフォーマンスを達成する。

関連論文リスト

• ACT-MNMT Auto-Constriction Turning for Multilingual Neural Machine Translation [38.30649186517611]
  この課題はtextbfunderlineAuto-textbfunderlineConstriction textbfunderlineTurning mechanism for textbfunderlineMultilingual textbfunderlineNeural textbfunderlineMachine textbfunderlineTranslation (model)を導入している。
  論文  参考訳（メタデータ） (2024-03-11T14:10:57Z)
• Instruction Position Matters in Sequence Generation with Large Language Models [67.87516654892343]
  大規模言語モデル(LLM)は、翻訳や要約といった条件付きシーケンス生成タスクを実行することができる。 入力文の後にタスク命令の位置をシフトさせることにより,LLMの指示追従能力を向上させることを提案する。
  論文  参考訳（メタデータ） (2023-08-23T12:36:57Z)
• Neural Machine Translation with Contrastive Translation Memories [71.86990102704311]
  Retrieval-augmented Neural Machine Translationモデルは、多くの翻訳シナリオで成功している。 そこで本論文では,新たに検索拡張NMTを提案し,ソース文と相似なコントラスト検索された翻訳記憶をモデル化する。 訓練段階では、目標文に対する各TMの健全な特徴を学習するために、マルチTMコントラスト学習目標を導入する。
  論文  参考訳（メタデータ） (2022-12-06T17:10:17Z)
• Gaussian Multi-head Attention for Simultaneous Machine Translation [21.03142288187605]
  同時機械翻訳(SiMT)は、ストリーミングソース入力を受信しながら翻訳を出力する。 我々は、アライメントと翻訳を統一的にモデル化し、新しいSiMTポリシーを提案する。 En-ViタスクとDe-Enタスクの実験により、我々の手法は翻訳とレイテンシのトレードオフにおいて強いベースラインを上回ります。
  論文  参考訳（メタデータ） (2022-03-17T04:01:25Z)
• IsometricMT: Neural Machine Translation for Automatic Dubbing [9.605781943224251]
  この研究は、トランスフォーマーモデルが直接学習して、ソース長と密接に一致する出力を生成することができる自己学習アプローチを導入している。 TED Talkデータに基づく4つの言語対と公開ベンチマークの結果を報告する。
  論文  参考訳（メタデータ） (2021-12-16T08:03:20Z)
• Improving Multilingual Translation by Representation and Gradient Regularization [82.42760103045083]
  表現レベルと勾配レベルの両方でNMTモデルを正規化するための共同手法を提案する。 提案手法は,オフターゲット翻訳の発生率の低減とゼロショット翻訳性能の向上に有効であることを示す。
  論文  参考訳（メタデータ） (2021-09-10T10:52:21Z)
• Exploring Unsupervised Pretraining Objectives for Machine Translation [99.5441395624651]
  教師なし言語間事前訓練は、ニューラルマシン翻訳(NMT)の強力な結果を得た ほとんどのアプローチは、入力の一部をマスキングしてデコーダで再構成することで、シーケンス・ツー・シーケンスアーキテクチャにマスク付き言語モデリング(MLM)を適用する。 マスキングと、実際の(完全な)文に似た入力を生成する代替目的を、文脈に基づいて単語を並べ替えて置き換えることにより比較する。
  論文  参考訳（メタデータ） (2021-06-10T10:18:23Z)
• Pre-training via Paraphrasing [96.79972492585112]
  教師なし多言語パラフレージング目的を用いて学習した,事前学習されたシーケンス・ツー・シーケンスモデルであるMARGEを紹介する。 ランダムな初期化のみを前提として,検索と再構築を共同で行うことができることを示す。 例えば、追加のタスク固有のトレーニングがなければ、文書翻訳のBLEUスコアは最大35.8に達する。
  論文  参考訳（メタデータ） (2020-06-26T14:43:43Z)
• Multilingual Denoising Pre-training for Neural Machine Translation [132.66750663226287]
  mBART(mBART)は、大規模モノリンガルコーパスで事前訓練されたシーケンスからシーケンスまでの自動エンコーダである。 mBARTは、完全なシーケンス・ツー・シーケンスモデルを事前訓練する最初の方法の1つである。
  論文  参考訳（メタデータ） (2020-01-22T18:59:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。