論文の概要: Decoder-only Streaming Transformer for Simultaneous Translation

• arxiv url: http://arxiv.org/abs/2406.03878v1
• Date: Thu, 6 Jun 2024 09:13:13 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-07 15:39:42.170672
• Title: Decoder-only Streaming Transformer for Simultaneous Translation
• Title（参考訳）: 同時翻訳のためのデコーダのみのストリーミング変換器
• Authors: Shoutao Guo, Shaolei Zhang, Yang Feng,
• Abstract要約: 同時機械翻訳(SiMT)は、ソーストークンを読みながら翻訳を生成し、基本的にはソースプレフィックスに基づいてターゲットプレフィックスを生成する。 本稿では,Decoderのみのアーキテクチャの可能性について検討する。 Decoder のみの SiMT モデルとして,Decoder のみの Streaming Transformer (DST) を提案する。
• 参考スコア（独自算出の注目度）: 31.558179590071973
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Simultaneous Machine Translation (SiMT) generates translation while reading source tokens, essentially producing the target prefix based on the source prefix. To achieve good performance, it leverages the relationship between source and target prefixes to exact a policy to guide the generation of translations. Although existing SiMT methods primarily focus on the Encoder-Decoder architecture, we explore the potential of Decoder-only architecture, owing to its superior performance in various tasks and its inherent compatibility with SiMT. However, directly applying the Decoder-only architecture to SiMT poses challenges in terms of training and inference. To alleviate the above problems, we propose the first Decoder-only SiMT model, named Decoder-only Streaming Transformer (DST). Specifically, DST separately encodes the positions of the source and target prefixes, ensuring that the position of the target prefix remains unaffected by the expansion of the source prefix. Furthermore, we propose a Streaming Self-Attention (SSA) mechanism tailored for the Decoder-only architecture. It is capable of obtaining translation policy by assessing the sufficiency of input source information and integrating with the soft-attention mechanism to generate translations. Experiments demonstrate that our approach achieves state-of-the-art performance on three translation tasks.
• Abstract（参考訳）: 同時機械翻訳(SiMT)は、ソーストークンを読みながら翻訳を生成し、基本的にはソースプレフィックスに基づいてターゲットプレフィックスを生成する。 優れた性能を達成するために、ソースプレフィックスとターゲットプレフィックスの関係を活用して、翻訳生成をガイドするポリシーを正確に作成する。 既存の SiMT メソッドは主に Encoder-Decoder アーキテクチャに重点を置いているが、様々なタスクにおける優れた性能と SiMT との固有の互換性のため、Decoder のみのアーキテクチャの可能性を探る。 しかし、DecoderのみのアーキテクチャをSiMTに直接適用することで、トレーニングや推論の面での課題が生じる。 上記の問題を緩和するため,Decoder のみの SiMT モデルとして,Decoder のみの Streaming Transformer (DST) を提案する。 具体的には、DSTはソースとターゲットプレフィックスの位置を別々にエンコードし、ターゲットプレフィックスの位置がソースプレフィックスの拡張の影響を受けないようにする。 さらに,Decoderのみのアーキテクチャに適したSSA機構を提案する。 入力ソース情報の十分性を評価し、ソフトアテンション機構と統合して翻訳を生成することにより、翻訳ポリシーを得ることができる。 実験により,本手法が3つの翻訳タスクにおける最先端性能を実現することを示す。

関連論文リスト

• Decoder-Only or Encoder-Decoder? Interpreting Language Model as a Regularized Encoder-Decoder [75.03283861464365]
  seq2seqタスクは、与えられた入力ソースシーケンスに基づいてターゲットシーケンスを生成することを目的としている。 伝統的に、seq2seqタスクのほとんどはエンコーダによって解決され、ソースシーケンスとデコーダをエンコードしてターゲットテキストを生成する。 最近、デコーダのみの言語モデルをseq2seqタスクに直接適用する、多くの新しいアプローチが出現しました。
  論文  参考訳（メタデータ） (2023-04-08T15:44:29Z)
• DeltaLM: Encoder-Decoder Pre-training for Language Generation and Translation by Augmenting Pretrained Multilingual Encoders [92.90543340071007]
  本稿では,事前訓練された多言語エンコーダデコーダモデルDeltaLMを紹介する。 具体的には,事前学習した多言語エンコーダをデコーダで拡張し,自己指導型で事前学習する。 実験により、DeltaLMは自然言語生成と翻訳の両方のタスクにおいて、様々な強力なベースラインを上回ります。
  論文  参考訳（メタデータ） (2021-06-25T16:12:10Z)
• Stacked Acoustic-and-Textual Encoding: Integrating the Pre-trained Models into Speech Translation Encoders [30.160261563657947]
  エンドツーエンドの音声翻訳では、事前トレーニングが有望です。 Stackedを提案します。 音声翻訳のための音響・テキスト(SATE)法 エンコーダはアコースティックシーケンスを通常どおりに処理することから始まり、その後はアコースティックシーケンスのように振る舞う。 MTエンコーダは入力シーケンスのグローバル表現である。
  論文  参考訳（メタデータ） (2021-05-12T16:09:53Z)
• AlloST: Low-resource Speech Translation without Source Transcription [17.53382405899421]
  言語に依存しないユニバーサル電話認識機能を利用する学習フレームワークを提案する。 このフレームワークは注意に基づくシーケンス・トゥ・シークエンスモデルに基づいている。 スペイン英語とタイギ・マンダリンのドラマ『コーポラ』で行った実験では、本手法がコンフォーメータベースのベースラインよりも優れていた。
  論文  参考訳（メタデータ） (2021-05-01T05:30:18Z)
• On the Sub-Layer Functionalities of Transformer Decoder [74.83087937309266]
  トランスフォーマーをベースとしたデコーダは,ソースおよびターゲット言語からの情報をいかに活用するかを検討する。 これらの知見に基づき,各トランスフォーマーデコーダ層内の残フィードフォワードモジュールは,性能の低下を最小限に抑えられることを示した。
  論文  参考訳（メタデータ） (2020-10-06T11:50:54Z)
• Worse WER, but Better BLEU? Leveraging Word Embedding as Intermediate in Multitask End-to-End Speech Translation [127.54315184545796]
  音声翻訳(ST)は、ソース言語の音声からターゲット言語のテキストへの変換を学習することを目的としている。 単語埋め込みを中間語として活用することでマルチタスクSTモデルを改善することを提案する。
  論文  参考訳（メタデータ） (2020-05-21T14:22:35Z)
• Bi-Decoder Augmented Network for Neural Machine Translation [108.3931242633331]
  本稿では,ニューラルマシン翻訳タスクのためのBi-Decoder Augmented Network (BiDAN)を提案する。 各デコーダは入力されたテキストの表現を対応する言語に変換するため、2つの目的語と共同でトレーニングすることで、共有エンコーダは言語に依存しない意味空間を生成することができる。
  論文  参考訳（メタデータ） (2020-01-14T02:05:14Z)
• Explicit Sentence Compression for Neural Machine Translation [110.98786673598016]
  State-of-the-the-art Transformer-based Neural Machine Translation (NMT)システムはまだ標準のエンコーダデコーダフレームワークに従っている。 バックボーン情報は 文のギストを表すもので 具体的には 焦点を絞っていません 提案手法は,NMTのソース文表現を強化するための明示的な文圧縮手法である。
  論文  参考訳（メタデータ） (2019-12-27T04:14:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。