論文の概要: Non-autoregressive Streaming Transformer for Simultaneous Translation

• arxiv url: http://arxiv.org/abs/2310.14883v1
• Date: Mon, 23 Oct 2023 12:52:24 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-24 20:19:22.984758
• Title: Non-autoregressive Streaming Transformer for Simultaneous Translation
• Title（参考訳）: 同時翻訳用非自己回帰型ストリーミングトランス
• Authors: Zhengrui Ma, Shaolei Zhang, Shoutao Guo, Chenze Shao, Min Zhang, Yang Feng
• Abstract要約: 同時機械翻訳(SiMT)モデルは、レイテンシと翻訳品質のバランスをとるために訓練される。 非自己回帰型ストリーミング変換器(NAST)を提案する。 NASTは、一方向エンコーダと、チャンク内並列性を有する非自己回帰デコーダからなる。
• 参考スコア（独自算出の注目度）: 45.96493039754171
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Simultaneous machine translation (SiMT) models are trained to strike a balance between latency and translation quality. However, training these models to achieve high quality while maintaining low latency often leads to a tendency for aggressive anticipation. We argue that such issue stems from the autoregressive architecture upon which most existing SiMT models are built. To address those issues, we propose non-autoregressive streaming Transformer (NAST) which comprises a unidirectional encoder and a non-autoregressive decoder with intra-chunk parallelism. We enable NAST to generate the blank token or repetitive tokens to adjust its READ/WRITE strategy flexibly, and train it to maximize the non-monotonic latent alignment with an alignment-based latency loss. Experiments on various SiMT benchmarks demonstrate that NAST outperforms previous strong autoregressive SiMT baselines.
• Abstract（参考訳）: 同時機械翻訳(SiMT)モデルは、レイテンシと翻訳品質のバランスをとるために訓練される。 しかしながら、低レイテンシを維持しながら高品質を達成するためにこれらのモデルをトレーニングすることは、しばしば攻撃的な予測につながる。 このような問題は、既存のほとんどのSiMTモデルが構築されている自己回帰アーキテクチャに由来すると我々は主張する。 これらの問題に対処するため,一方向エンコーダと非自己回帰デコーダとからなる非自己回帰型ストリーミングトランス (NAST) を提案する。 我々はNATが空白トークンや繰り返しトークンを生成して、READ/WRITE戦略を柔軟に調整し、非単調遅延アライメントをアライメントベースの遅延損失で最大化するように訓練する。 様々なSiMTベンチマークの実験では、NASTが従来の強い自己回帰SiMTベースラインより優れていることが示されている。

関連論文リスト

• PsFuture: A Pseudo-Future-based Zero-Shot Adaptive Policy for Simultaneous Machine Translation [8.1299957975257]
  同時機械翻訳(SiMT)では、ストリーミングソーストークンが使用されるため、ターゲットトークンをリアルタイムで生成する必要がある。 我々は、SiMTのための最初のゼロショット適応型リード/ライトポリシーであるPsFutureを提案する。 我々は、SiMTアプリケーションのためのオフライン翻訳モデルを調整するために、新しいトレーニング戦略であるPrefix-to-Full(P2F)を導入する。
  論文  参考訳（メタデータ） (2024-10-05T08:06:33Z)
• Parallelizing Autoregressive Generation with Variational State Space Models [6.29143368345159]
  本稿では,エンコーダとデコーダの両方がSSMである可変オートエンコーダ(VAE)を提案する。 潜伏変数をサンプリングしてSSMで復号化できるので、トレーニングと生成の両方を並列に行うことができる。 デコーダの繰り返しにより、シーケンス全体を再処理することなく生成を再開することができる。
  論文  参考訳（メタデータ） (2024-07-11T11:41:29Z)
• Masked Audio Generation using a Single Non-Autoregressive Transformer [90.11646612273965]
  MAGNeTは、複数のオーディオトークンストリーム上で直接動作するマスク付き生成シーケンスモデリング手法である。 テキスト・トゥ・ミュージック・アンド・テキスト・トゥ・オーディオ・ジェネレーションのタスクにおけるMAGNeTの有効性を実証する。 我々は、自己回帰と非自己回帰モデリングのトレードオフを指摘するとともに、MAGNeTを構成する各コンポーネントの重要性を強調した。
  論文  参考訳（メタデータ） (2024-01-09T14:29:39Z)
• Improving Non-autoregressive Translation Quality with Pretrained Language Model, Embedding Distillation and Upsampling Strategy for CTC [51.34222224728979]
  本稿では,非自己回帰翻訳(NAT)モデルの翻訳品質を向上させるための一連の革新的な技術を紹介する。 我々は,NATモデルを効果的に訓練するために,CTCの損失を抑えたPMLM(Pretrained Multilingual Language Models)を提案する。 自動回帰モデルと比較して16.35倍の速度向上を示した。
  論文  参考訳（メタデータ） (2023-06-10T05:24:29Z)
• Optimizing Non-Autoregressive Transformers with Contrastive Learning [74.46714706658517]
  非自己回帰変換器(NAT)は、逐次順序ではなく全ての単語を同時に予測することにより、自動回帰変換器(AT)の推論遅延を低減する。 本稿では,データ分布ではなく,モデル分布からのサンプリングによるモダリティ学習の容易化を提案する。
  論文  参考訳（メタデータ） (2023-05-23T04:20:13Z)
• Enriching Non-Autoregressive Transformer with Syntactic and SemanticStructures for Neural Machine Translation [54.864148836486166]
  本稿では,言語の明示的な構文構造と意味構造を非自己回帰トランスフォーマーに組み込むことを提案する。 我々のモデルは、最先端の非自己回帰モデルと比較して翻訳品質を保ちながら、はるかに高速な速度を実現している。
  論文  参考訳（メタデータ） (2021-01-22T04:12:17Z)
• Infusing Sequential Information into Conditional Masked Translation Model with Self-Review Mechanism [9.641454891414751]
  非自己回帰モデルは、高速な復号速度を実現するが、翻訳精度を犠牲にして、目標語を並列に生成する。 条件付きマスキング翻訳モデルに逐次情報を注入する自己レビュー機構を提案する。 我々のモデルは典型的な左から右へのトランスフォーマーモデルを超え、デコードを大幅に高速化しています。
  論文  参考訳（メタデータ） (2020-10-19T03:38:56Z)
• Glancing Transformer for Non-Autoregressive Neural Machine Translation [58.87258329683682]
  単一パス並列生成モデルにおける単語相互依存の学習法を提案する。 単一パスの並列デコードだけで、GLATは8～15倍のスピードアップで高品質な翻訳を生成することができる。
  論文  参考訳（メタデータ） (2020-08-18T13:04:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。