論文の概要: Can We Achieve High-quality Direct Speech-to-Speech Translation without Parallel Speech Data?

• arxiv url: http://arxiv.org/abs/2406.07289v1
• Date: Tue, 11 Jun 2024 14:17:12 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-12 15:44:22.885972
• Title: Can We Achieve High-quality Direct Speech-to-Speech Translation without Parallel Speech Data?
• Title（参考訳）: パラレル音声データ無しで高品質な音声合成ができるか?
• Authors: Qingkai Fang, Shaolei Zhang, Zhengrui Ma, Min Zhang, Yang Feng,
• Abstract要約: 2パス直接音声音声変換(S2ST)モデルは、タスクを音声音声翻訳(S2TT)とテキスト音声翻訳(TTS)に分解する 本稿では,事前学習した任意のS2TTおよびTSモデルを直接S2STモデルにシームレスに統合できるComSpeechという複合S2STモデルを提案する。 また,S2TTとTSデータのみを利用した新しいトレーニング手法ComSpeech-ZSを提案する。
• 参考スコア（独自算出の注目度）: 49.42189569058647
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Recently proposed two-pass direct speech-to-speech translation (S2ST) models decompose the task into speech-to-text translation (S2TT) and text-to-speech (TTS) within an end-to-end model, yielding promising results. However, the training of these models still relies on parallel speech data, which is extremely challenging to collect. In contrast, S2TT and TTS have accumulated a large amount of data and pretrained models, which have not been fully utilized in the development of S2ST models. Inspired by this, in this paper, we first introduce a composite S2ST model named ComSpeech, which can seamlessly integrate any pretrained S2TT and TTS models into a direct S2ST model. Furthermore, to eliminate the reliance on parallel speech data, we propose a novel training method ComSpeech-ZS that solely utilizes S2TT and TTS data. It aligns representations in the latent space through contrastive learning, enabling the speech synthesis capability learned from the TTS data to generalize to S2ST in a zero-shot manner. Experimental results on the CVSS dataset show that when the parallel speech data is available, ComSpeech surpasses previous two-pass models like UnitY and Translatotron 2 in both translation quality and decoding speed. When there is no parallel speech data, ComSpeech-ZS lags behind \name by only 0.7 ASR-BLEU and outperforms the cascaded models.
• Abstract（参考訳）: 最近提案された2パス直接音声合成(S2ST)モデルでは、タスクを音声からテキストへの変換(S2TT)とテキストから音声への変換(TTS)に分解し、有望な結果が得られる。 しかし、これらのモデルの訓練は依然として並列音声データに依存しており、収集は非常に困難である。 対照的に、S2TTとTSは大量のデータと事前訓練されたモデルを蓄積しており、S2STモデルの開発に完全には利用されていない。 本稿では,まず,事前学習した任意のS2TTモデルとTSモデルを直接S2STモデルにシームレスに統合するComSpeechという複合S2STモデルを紹介する。 さらに,S2TT と TTS のみを利用する新しい訓練手法 ComSpeech-ZS を提案する。 TTSデータから学習した音声合成能力をゼロショットでS2STに一般化することができる。 CVSSデータセットの実験結果によると、並列音声データが利用できる場合、ComSpeechは、翻訳品質と復号速度の両方で、UnitYやTranslatotron 2といった従来の2パスモデルを上回っている。 パラレル音声データがない場合、ComSpeech-ZSは0.7 ASR-BLEUに遅れて、カスケードモデルより優れている。

関連論文リスト

• Enhancing Speech-to-Speech Translation with Multiple TTS Targets [62.18395387305803]
  直接S2STモデルに対する合成対象音声の変更の効果を解析する。 異なるTSシステムから複数のターゲットを持つS2STシステムを協調的に最適化するマルチタスクフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-04-10T14:33:33Z)
• Joint Pre-Training with Speech and Bilingual Text for Direct Speech to Speech Translation [94.80029087828888]
  直接音声音声翻訳 (S2ST) は, カスケードされたS2STと比較して, 優れた研究課題である。 直接S2STは、ソース言語の音声からターゲット言語の音声へのコーパスが非常に稀であるため、データ不足の問題に悩まされる。 本稿では,音声から音声への直接翻訳タスクのための音声とバイリンガルのテキストデータとを事前学習したSpeech2Sモデルを提案する。
  論文  参考訳（メタデータ） (2022-10-31T02:55:51Z)
• Enhanced Direct Speech-to-Speech Translation Using Self-supervised Pre-training and Data Augmentation [76.13334392868208]
  直接音声音声変換(S2ST)モデルは、データ不足の問題に悩まされる。 本研究では,この課題に対処するために,ラベルのない音声データとデータ拡張を用いた自己教師付き事前学習について検討する。
  論文  参考訳（メタデータ） (2022-04-06T17:59:22Z)
• Textless Speech-to-Speech Translation on Real Data [49.134208897722246]
  本研究では、ある言語から別の言語への翻訳が可能なテキストなし音声音声翻訳システム(S2ST)を提案する。 マルチ話者ターゲット音声をモデル化し、実世界のS2STデータを用いてシステムを訓練する際の課題に対処する。
  論文  参考訳（メタデータ） (2021-12-15T18:56:35Z)
• AdaSpeech 2: Adaptive Text to Speech with Untranscribed Data [115.38309338462588]
  AdaSpeech 2 は、未転写音声データのみを適応に利用する適応型 TTS システムである。 具体的には,よく訓練されたttsモデルにmel-spectrogramエンコーダを導入し,音声再構成を行う。 適応では,ttsデコーダのみを微調整し,未書き起こし音声データを用いて音声再構成を行う。
  論文  参考訳（メタデータ） (2021-04-20T01:53:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。