論文の概要: Glancing Future for Simultaneous Machine Translation

• arxiv url: http://arxiv.org/abs/2309.06179v1
• Date: Tue, 12 Sep 2023 12:46:20 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-13 13:13:24.784769
• Title: Glancing Future for Simultaneous Machine Translation
• Title（参考訳）: 同時機械翻訳のグライシングの未来
• Authors: Shoutao Guo, Shaolei Zhang, Yang Feng
• Abstract要約: 本稿では,プレフィックス2トレーニングとセq2seqトレーニングのギャップを埋める新しい手法を提案する。 我々は、利用可能なソース情報を、そのレイテンシに対応するセンテンス全体からプレフィックスに徐々に削減する。 提案手法は多種多様なSiMT法に適用可能であり, 実験により本手法が強いベースラインより優れていることを示す。
• 参考スコア（独自算出の注目度）: 35.46823126036308
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Simultaneous machine translation (SiMT) outputs translation while reading the source sentence. Unlike conventional sequence-to-sequence (seq2seq) training, existing SiMT methods adopt the prefix-to-prefix (prefix2prefix) training, where the model predicts target tokens based on partial source tokens. However, the prefix2prefix training diminishes the ability of the model to capture global information and introduces forced predictions due to the absence of essential source information. Consequently, it is crucial to bridge the gap between the prefix2prefix training and seq2seq training to enhance the translation capability of the SiMT model. In this paper, we propose a novel method that glances future in curriculum learning to achieve the transition from the seq2seq training to prefix2prefix training. Specifically, we gradually reduce the available source information from the whole sentence to the prefix corresponding to that latency. Our method is applicable to a wide range of SiMT methods and experiments demonstrate that our method outperforms strong baselines.
• Abstract（参考訳）: 同時機械翻訳(SiMT)は、原文を読みながら翻訳を出力する。 従来のsequence-to-sequence(seq2seq)トレーニングとは異なり、既存のsimtメソッドはprefix-to-prefix(prefix2prefix)トレーニングを採用している。 しかし、プレフィックス2プリフィックストレーニングは、モデルがグローバル情報をキャプチャする能力を減らし、本質的な情報源情報がないために強制的な予測を導入する。 その結果, SiMTモデルの翻訳能力を高めるためにプレフィックス2プレフィックストレーニングとセq2seqトレーニングのギャップを埋めることが重要である。 本稿では,Seq2seqトレーニングからプレフィックストレーニングへの移行を実現するために,カリキュラム学習の未来を垣間見る新しい手法を提案する。 具体的には、利用可能なソース情報を文全体からその遅延に対応するプレフィックスに徐々に削減する。 提案手法は多種多様なSiMT法に適用可能であり, 実験により本手法が強いベースラインより優れていることを示す。

関連論文リスト

• PsFuture: A Pseudo-Future-based Zero-Shot Adaptive Policy for Simultaneous Machine Translation [8.1299957975257]
  同時機械翻訳(SiMT)では、ストリーミングソーストークンが使用されるため、ターゲットトークンをリアルタイムで生成する必要がある。 我々は、SiMTのための最初のゼロショット適応型リード/ライトポリシーであるPsFutureを提案する。 我々は、SiMTアプリケーションのためのオフライン翻訳モデルを調整するために、新しいトレーニング戦略であるPrefix-to-Full(P2F)を導入する。
  論文  参考訳（メタデータ） (2024-10-05T08:06:33Z)
• Language Model is a Branch Predictor for Simultaneous Machine Translation [73.82754138171587]
  翻訳遅延を低減するため,SiMTタスクに分岐予測手法を組み込むことを提案する。 言語モデルを分岐予測器として利用し,潜在的な分岐方向を予測する。 実際のソース語が予測されたソース語から逸脱すると、実際のソース語を使用して出力を復号し、予測された出力を置き換える。
  論文  参考訳（メタデータ） (2023-12-22T07:32:47Z)
• CBSiMT: Mitigating Hallucination in Simultaneous Machine Translation with Weighted Prefix-to-Prefix Training [13.462260072313894]
  同時機械翻訳(SiMT)は、全文が利用可能になる前に翻訳を開始することを必要とする課題である。 Prefix-to-フレームワークはSiMTに適用されることが多く、部分的なソースプレフィックスのみを使用してターゲットトークンを予測することを学ぶ。 本稿では,モデル信頼を利用して幻覚トークンを知覚する信頼に基づく同時機械翻訳フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-11-07T02:44:45Z)
• LEAPT: Learning Adaptive Prefix-to-prefix Translation For Simultaneous Machine Translation [6.411228564798412]
  機械翻訳は、多くのライブシナリオで有用であるが、精度とレイテンシのトレードオフのため非常に難しい。 LEAPTと呼ばれる新しい適応型トレーニングポリシーを提案し、それによって機械翻訳モデルがソースプレフィックスの翻訳方法を学習し、将来の文脈を活用することができる。
  論文  参考訳（メタデータ） (2023-03-21T11:17:37Z)
• Masked Autoencoders As The Unified Learners For Pre-Trained Sentence Representation [77.47617360812023]
  我々は、最近提案されたMAEスタイルの事前学習戦略であるRetroMAEを拡張し、幅広い文表現タスクをサポートする。 最初のステージでは、ベースモデルが学習されるWikipedia、BookCorpusなど、一般的なコーパス上でRetroMAEを実行する。 第2段階はドメイン固有のデータ、例えばMS MARCOやNLIで行われ、ベースモデルはRetroMAEとコントラスト学習に基づいて継続的に訓練される。
  論文  参考訳（メタデータ） (2022-07-30T14:34:55Z)
• Understanding and Improving Sequence-to-Sequence Pretraining for Neural Machine Translation [48.50842995206353]
  本研究は,Seq2Seqプレトレーニングと従来のエンコーダによるNMTの事前トレーニングとの主な違いである,共同事前学習デコーダの影響について検討する。 我々は、ドメインと目的の相違を緩和するために、ドメイン内の事前訓練と入力適応という、シンプルで効果的な戦略を提案する。
  論文  参考訳（メタデータ） (2022-03-16T07:36:28Z)
• Source and Target Bidirectional Knowledge Distillation for End-to-end Speech Translation [88.78138830698173]
  外部テキストベースNMTモデルからのシーケンスレベルの知識蒸留(SeqKD)に注目した。 E2E-STモデルを訓練し、パラフレーズ転写を1つのデコーダで補助タスクとして予測する。
  論文  参考訳（メタデータ） (2021-04-13T19:00:51Z)
• Learning Contextualized Sentence Representations for Document-Level Neural Machine Translation [59.191079800436114]
  文書レベルの機械翻訳は、文間の依存関係をソース文の翻訳に組み込む。 本稿では,ニューラルマシン翻訳(NMT)を訓練し,文のターゲット翻訳と周辺文の双方を予測することによって,文間の依存関係をモデル化するフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-03-30T03:38:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。