論文の概要: PolyVoice: Language Models for Speech to Speech Translation

• arxiv url: http://arxiv.org/abs/2306.02982v2
• Date: Tue, 13 Jun 2023 15:15:17 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-14 16:46:59.807953
• Title: PolyVoice: Language Models for Speech to Speech Translation
• Title（参考訳）: PolyVoice:音声から音声への翻訳のための言語モデル
• Authors: Qianqian Dong, Zhiying Huang, Qiao Tian, Chen Xu, Tom Ko, Yunlong Zhao, Siyuan Feng, Tang Li, Kexin Wang, Xuxin Cheng, Fengpeng Yue, Ye Bai, Xi Chen, Lu Lu, Zejun Ma, Yuping Wang, Mingxuan Wang, Yuxuan Wang
• Abstract要約: PolyVoiceは音声音声翻訳のための言語モデルに基づくフレームワーク 我々は、完全に教師なしの方法で生成される離散化音声単位を使用する。 音声合成部では、既存のVALL-E Xアプローチを採用し、単位ベース音声言語モデルを構築する。
• 参考スコア（独自算出の注目度）: 50.31000706309143
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We propose PolyVoice, a language model-based framework for speech-to-speech translation (S2ST) system. Our framework consists of two language models: a translation language model and a speech synthesis language model. We use discretized speech units, which are generated in a fully unsupervised way, and thus our framework can be used for unwritten languages. For the speech synthesis part, we adopt the existing VALL-E X approach and build a unit-based audio language model. This grants our framework the ability to preserve the voice characteristics and the speaking style of the original speech. We examine our system on Chinese $\rightarrow$ English and English $\rightarrow$ Spanish pairs. Experimental results show that our system can generate speech with high translation quality and audio quality. Speech samples are available at https://speechtranslation.github.io/polyvoice.
• Abstract（参考訳）: 音声合成システム(S2ST)のための言語モデルに基づくフレームワークであるPolyVoiceを提案する。 本フレームワークは,翻訳言語モデルと音声合成言語モデルという2つの言語モデルから構成される。 私たちは、完全に教師なしの方法で生成された離散化された音声ユニットを使用し、このフレームワークは、未記述言語に使用できる。 音声合成部では、既存のVALL-E Xアプローチを採用し、単位ベース音声言語モデルを構築する。 これにより、我々のフレームワークは、原音声の音声特性と話し方を保存することができる。 我々は中国語の$\rightarrow$ Englishと英語の$\rightarrow$ Spanish pairsについて検討する。 実験の結果,本システムは高い翻訳品質と音声品質を持つ音声を生成することができた。 音声サンプルはhttps://speechtranslation.github.io/polyvoiceで入手できる。

関連論文リスト

• FunAudioLLM: Voice Understanding and Generation Foundation Models for Natural Interaction Between Humans and LLMs [63.8261207950923]
  FunAudioLLMは、人間と大規模言語モデル(LLM)の間の自然な音声相互作用を強化するために設計されたモデルファミリーである 中心となる2つの革新的なモデルとして、多言語音声認識、感情認識、音声イベント検出を処理するSenseVoiceと、複数の言語、音色、話し方、話者識別を制御した自然言語生成を容易にするCosyVoiceがある。 SenseVoiceとCosyVoiceに関連するモデルは、GitHubでリリースされたトレーニング、推論、微調整コードとともに、ModelscopeとHuggingfaceでオープンソース化されている。
  論文  参考訳（メタデータ） (2024-07-04T16:49:02Z)
• Textless Unit-to-Unit training for Many-to-Many Multilingual Speech-to-Speech Translation [65.13824257448564]
  本稿では,多言語多言語音声音声合成のためのテキストレス学習手法を提案する。 音声単位を擬似テキストとして扱うことにより、音声の言語内容に焦点を合わせることができる。 提案するUTUTモデルは,音声音声合成(S2ST)だけでなく,多言語音声合成(T2S)やテキスト音声合成(T2ST)にも有効であることを示す。
  論文  参考訳（メタデータ） (2023-08-03T15:47:04Z)
• AudioPaLM: A Large Language Model That Can Speak and Listen [79.44757696533709]
  本稿では,音声理解・生成のための大規模言語モデルであるAudioPaLMを紹介する。 AudioPaLMはテキストベースの言語モデルと音声ベースの言語モデルを融合する。 音声認識や音声音声翻訳などの応用により、テキストと音声を処理および生成することができる。
  論文  参考訳（メタデータ） (2023-06-22T14:37:54Z)
• MParrotTTS: Multilingual Multi-speaker Text to Speech Synthesis in Low Resource Setting [16.37243395952266]
  MParrotTTSは、TTS合成モデルである。 最小限の教師付きデータを持つ新しい言語に適応し、自己教師付きバックボーンのトレーニング中に見えない言語に一般化する。 音声の自然度と話者類似度を並列・言語間合成における6言語について検討した。
  論文  参考訳（メタデータ） (2023-05-19T13:43:36Z)
• Speak Foreign Languages with Your Own Voice: Cross-Lingual Neural Codec Language Modeling [92.55131711064935]
  本稿では,言語間音声合成のための言語間ニューラルネットワークモデル VALL-E X を提案する。 VALL-E Xは、強い文脈内学習能力を継承し、ゼロショット言語間テキスト音声合成やゼロショット音声音声音声翻訳タスクに応用できる。 未知の話者の声、感情、音響環境を保ちながら、ソース言語の1つの発話をプロンプトとして、ターゲット言語で高品質な音声を生成することができる。
  論文  参考訳（メタデータ） (2023-03-07T14:31:55Z)
• ERNIE-SAT: Speech and Text Joint Pretraining for Cross-Lingual Multi-Speaker Text-to-Speech [58.93395189153713]
  言語間複数話者音声合成タスクの事前学習法を拡張した。 本稿では,スペクトルと音素をランダムにマスキングする,音声・テキスト共同事前学習フレームワークを提案する。 本モデルは,話者埋め込み型マルチスピーカTS法よりも優れた性能を示す。
  論文  参考訳（メタデータ） (2022-11-07T13:35:16Z)
• LibriS2S: A German-English Speech-to-Speech Translation Corpus [12.376309678270275]
  我々はドイツ語と英語による音声合成訓練コーパスを初めて公開する。 これにより、新しい音声合成モデルと音声合成モデルの作成が可能になる。 本稿では,最近提案されたFastSpeech 2モデルの例に基づくテキスト音声合成モデルを提案する。
  論文  参考訳（メタデータ） (2022-04-22T09:33:31Z)
• Cross-lingual Multispeaker Text-to-Speech under Limited-Data Scenario [10.779568857641928]
  本稿では,多言語話者音声合成を実現するために,Tacotron2の拡張を提案する。 我々は、単言語話者のための英語とマンダリンの間で、コードスイッチングを含む言語間合成を実現する。
  論文  参考訳（メタデータ） (2020-05-21T03:03:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。