論文の概要: Language Model is a Branch Predictor for Simultaneous Machine Translation

• arxiv url: http://arxiv.org/abs/2312.14488v1
• Date: Fri, 22 Dec 2023 07:32:47 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-25 15:52:24.397997
• Title: Language Model is a Branch Predictor for Simultaneous Machine Translation
• Title（参考訳）: 言語モデルは同時機械翻訳のための分岐予測器である
• Authors: Aoxiong Yin, Tianyun Zhong, Haoyuan Li, Siliang Tang, Zhou Zhao
• Abstract要約: 翻訳遅延を低減するため,SiMTタスクに分岐予測手法を組み込むことを提案する。 言語モデルを分岐予測器として利用し,潜在的な分岐方向を予測する。 実際のソース語が予測されたソース語から逸脱すると、実際のソース語を使用して出力を復号し、予測された出力を置き換える。
• 参考スコア（独自算出の注目度）: 73.82754138171587
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The primary objective of simultaneous machine translation (SiMT) is to minimize latency while preserving the quality of the final translation. Drawing inspiration from CPU branch prediction techniques, we propose incorporating branch prediction techniques in SiMT tasks to reduce translation latency. Specifically, we utilize a language model as a branch predictor to predict potential branch directions, namely, future source words. Subsequently, we utilize the predicted source words to decode the output in advance. When the actual source word deviates from the predicted source word, we use the real source word to decode the output again, replacing the predicted output. To further reduce computational costs, we share the parameters of the encoder and the branch predictor, and utilize a pre-trained language model for initialization. Our proposed method can be seamlessly integrated with any SiMT model. Extensive experimental results demonstrate that our approach can improve translation quality and latency at the same time. Our code is available at https://github.com/YinAoXiong/simt_branch_predictor .
• Abstract（参考訳）: 同時機械翻訳(SiMT)の主な目的は、最終翻訳の品質を維持しながらレイテンシを最小限にすることである。 本稿では,CPU分岐予測技術からインスピレーションを得て,SiMTタスクに分岐予測技術を取り入れて翻訳遅延を低減することを提案する。 具体的には,言語モデルを分岐予測器として活用し,潜在的な分岐方向,すなわち未来語を予測している。 その後、予測されたソース語を用いて事前に出力を復号する。 実際のソースワードが予測されたソースワードから逸脱すると、実際のソースワードを使用して再び出力をデコードし、予測された出力を置き換える。 計算コストをさらに削減するため,エンコーダと分岐予測器のパラメータを共有し,事前学習した言語モデルを用いて初期化を行う。 提案手法は任意のSiMTモデルとシームレスに統合できる。 広範な実験結果から,本手法は翻訳品質とレイテンシを同時に向上できることが示された。 私たちのコードはhttps://github.com/YinAoXiong/simt_branch_predictorで利用可能です。

関連論文リスト

• Anticipating Future with Large Language Model for Simultaneous Machine Translation [27.613918824789877]
  同時機械翻訳(SMT)は、ストリーミング入力の発話を受け取り、ターゲットテキストを漸進的に生成する。 我々は、$textbfA$nticipating $textbfF$uture (TAF)による$textbfT$ranslationを提案する。 その中核となる考え方は、大きな言語モデル(LLM)を使用して将来のソース語を予測し、過剰なリスクを伴わずに機会的に翻訳することである。
  論文  参考訳（メタデータ） (2024-10-29T19:42:30Z)
• CBSiMT: Mitigating Hallucination in Simultaneous Machine Translation with Weighted Prefix-to-Prefix Training [13.462260072313894]
  同時機械翻訳(SiMT)は、全文が利用可能になる前に翻訳を開始することを必要とする課題である。 Prefix-to-フレームワークはSiMTに適用されることが多く、部分的なソースプレフィックスのみを使用してターゲットトークンを予測することを学ぶ。 本稿では,モデル信頼を利用して幻覚トークンを知覚する信頼に基づく同時機械翻訳フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-11-07T02:44:45Z)
• Summarize and Generate to Back-translate: Unsupervised Translation of Programming Languages [86.08359401867577]
  バックトランスレーションは、並列データがほとんど、あるいは全く利用できない場合のニューラルマシン翻訳の有効性で広く知られている。 コード要約と生成による逆翻訳を提案する。 提案手法は最先端の手法と競合することを示す。
  論文  参考訳（メタデータ） (2022-05-23T08:20:41Z)
• Anticipation-free Training for Simultaneous Translation [70.85761141178597]
  同時翻訳(SimulMT)は、原文が完全に利用可能になる前に翻訳を開始することで翻訳プロセスを高速化する。 既存の手法は遅延を増大させるか、SimulMTモデルに適応的な読み書きポリシーを導入し、局所的なリオーダーを処理し、翻訳品質を改善する。 本稿では,翻訳過程をモノトニック翻訳ステップと並べ替えステップに分解する新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-01-30T16:29:37Z)
• Pre-training Multilingual Neural Machine Translation by Leveraging Alignment Information [72.2412707779571]
  mRASPは、汎用多言語ニューラルマシン翻訳モデルを事前訓練するためのアプローチである。 我々は,低,中,豊かな資源を含む多種多様な環境における42の翻訳方向の実験を行い,エキゾチックな言語対への変換を行った。
  論文  参考訳（メタデータ） (2020-10-07T03:57:54Z)
• Code-switching pre-training for neural machine translation [13.35263905025371]
  本稿では,ニューラルマシン翻訳(NMT)のためのコードスイッチング事前学習(CSP)という,新しい事前学習手法を提案する。 入力文の断片をランダムにマスキングする従来の事前学習法とは異なり、提案したCSPはソース文の単語をターゲット言語で翻訳語にランダムに置き換える。 実験結果から, CSPは, 事前訓練や事前訓練を行うことなく, ベースラインの大幅な改善を実現していることがわかった。
  論文  参考訳（メタデータ） (2020-09-17T06:10:07Z)
• Neural Simultaneous Speech Translation Using Alignment-Based Chunking [4.224809458327515]
  同時機械翻訳では、ソース単語の連続ストリームが与えられた部分翻訳をいつ生成するかを決定することが目的である。 入力や出力語の生成を継続する際の動的決定を動的に行うニューラルネットワーク翻訳(NMT)モデルを提案する。 We results on the IWSLT 2020 English-to-German task outperform a wait-k baseline by 2.6 to 3.7% BLEU absolute。
  論文  参考訳（メタデータ） (2020-05-29T10:20:48Z)
• Language Model Prior for Low-Resource Neural Machine Translation [85.55729693003829]
  ニューラル翻訳モデル (TM) において, LM を事前に組み込む新しい手法を提案する。 正規化項を追加し、TMの出力分布をLMの下で予測可能とする。 2つの低リソース機械翻訳データセットの結果は、限られたモノリンガルデータであっても明らかな改善を示している。
  論文  参考訳（メタデータ） (2020-04-30T16:29:56Z)
• Modeling Future Cost for Neural Machine Translation [62.427034890537676]
  提案手法は,NTTシステムにおける各目標語の将来コストをモデル化するための簡易かつ効率的な手法である。 提案手法は強力なTransformerベースのNMTベースラインよりも大幅に改善されている。
  論文  参考訳（メタデータ） (2020-02-28T05:37:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。