論文の概要: CTC-based Non-autoregressive Textless Speech-to-Speech Translation

• arxiv url: http://arxiv.org/abs/2406.07330v1
• Date: Tue, 11 Jun 2024 15:00:33 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-12 15:24:54.406767
• Title: CTC-based Non-autoregressive Textless Speech-to-Speech Translation
• Title（参考訳）: CTCに基づく非自己回帰型テキストレス音声音声合成
• Authors: Qingkai Fang, Zhengrui Ma, Yan Zhou, Min Zhang, Yang Feng,
• Abstract要約: 音声から音声への直接翻訳(S2ST)は、優れた翻訳品質を達成しているが、しばしば遅い復号化の課題に直面している。 近年、非自己回帰モデル(NAR)にデコーディングを高速化する研究もあるが、翻訳品質は一般的に自己回帰モデルに大きく遅れている。 本稿では,S2STにおけるCTCに基づくNARモデルの性能について検討する。
• 参考スコア（独自算出の注目度）: 38.99922762754443
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Direct speech-to-speech translation (S2ST) has achieved impressive translation quality, but it often faces the challenge of slow decoding due to the considerable length of speech sequences. Recently, some research has turned to non-autoregressive (NAR) models to expedite decoding, yet the translation quality typically lags behind autoregressive (AR) models significantly. In this paper, we investigate the performance of CTC-based NAR models in S2ST, as these models have shown impressive results in machine translation. Experimental results demonstrate that by combining pretraining, knowledge distillation, and advanced NAR training techniques such as glancing training and non-monotonic latent alignments, CTC-based NAR models achieve translation quality comparable to the AR model, while preserving up to 26.81$\times$ decoding speedup.
• Abstract（参考訳）: 音声から音声への直接翻訳(S2ST)は、優れた翻訳品質を達成しているが、音声シーケンスがかなり長いため、遅い復号化の課題に直面していることが多い。 近年、非自己回帰モデル(NAR)にデコーディングを高速化する研究もあるが、翻訳品質は一般的に自己回帰モデルに大きく遅れている。 本稿では,これらのモデルが機械翻訳において顕著な結果を示したことから,S2STにおけるCTCベースのNARモデルの性能について検討する。 実験の結果,事前学習,知識蒸留,非単調遅延アライメントなどの高度なNARトレーニング技術を組み合わせることで,CTCベースのNARモデルはARモデルに匹敵する翻訳品質を達成し,最大26.81$\times$デコードスピードアップを保った。

関連論文リスト

• DASpeech: Directed Acyclic Transformer for Fast and High-quality Speech-to-Speech Translation [36.126810842258706]
  直接音声音声変換(S2ST)は、1つのモデルを用いて、ある言語から別の言語に音声を翻訳する。 言語的および音響的多様性が存在するため、ターゲット音声は複雑な多モーダル分布に従う。 高速かつ高品質なS2STを実現する非自己回帰直接S2STモデルであるDASpeechを提案する。
  論文  参考訳（メタデータ） (2023-10-11T11:39:36Z)
• CTC-based Non-autoregressive Speech Translation [51.37920141751813]
  非自己回帰音声翻訳における接続性時間分類の可能性について検討する。 我々は、CTCによって誘導される2つのエンコーダからなるモデルを構築し、ソースおよびターゲットテキストを予測する。 MuST-Cベンチマークの実験では、我々のNASTモデルは平均BLEUスコアが29.5であり、スピードアップは5.67$times$である。
  論文  参考訳（メタデータ） (2023-05-27T03:54:09Z)
• TranSpeech: Speech-to-Speech Translation With Bilateral Perturbation [61.564874831498145]
  TranSpeechは、両側摂動を伴う音声から音声への翻訳モデルである。 我々は,非自己回帰S2ST手法を構築し,繰り返しマスキングを行い,単位選択を予測する。 TranSpeechは推論遅延を大幅に改善し、自動回帰技術よりも最大21.4倍のスピードアップを実現している。
  論文  参考訳（メタデータ） (2022-05-25T06:34:14Z)
• Enhanced Direct Speech-to-Speech Translation Using Self-supervised Pre-training and Data Augmentation [76.13334392868208]
  直接音声音声変換(S2ST)モデルは、データ不足の問題に悩まされる。 本研究では,この課題に対処するために,ラベルのない音声データとデータ拡張を用いた自己教師付き事前学習について検討する。
  論文  参考訳（メタデータ） (2022-04-06T17:59:22Z)
• Non-autoregressive End-to-end Speech Translation with Parallel Autoregressive Rescoring [83.32560748324667]
  本稿では,非自己回帰モデルに基づく効率的なエンドツーエンド音声翻訳(E2E-ST)フレームワークについて述べる。 我々は,共有エンコーダ上にNARデコーダと補助的な浅層ARデコーダを備えた,Orthrosと呼ばれる統一NAR E2E-STフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-09-09T16:50:16Z)
• Orthros: Non-autoregressive End-to-end Speech Translation with Dual-decoder [64.55176104620848]
  NARと自己回帰(AR)デコーダの両方を共有音声エンコーダで共同で訓練する新しいNAR E2E-STフレームワークOrthrosを提案する。 後者は、前者から生成される様々な長の候補間のより良い翻訳を選択するために使用され、これは、無視できるオーバーヘッドを持つ大きな長のビームの有効性を劇的に向上させる。 4つのベンチマーク実験により、競合翻訳品質を維持しつつ、推論速度を向上させる手法の有効性が示された。
  論文  参考訳（メタデータ） (2020-10-25T06:35:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。