論文の概要: MSLM-S2ST: A Multitask Speech Language Model for Textless Speech-to-Speech Translation with Speaker Style Preservation

• arxiv url: http://arxiv.org/abs/2403.12408v1
• Date: Tue, 19 Mar 2024 03:35:20 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-20 15:31:57.824456
• Title: MSLM-S2ST: A Multitask Speech Language Model for Textless Speech-to-Speech Translation with Speaker Style Preservation
• Title（参考訳）: MSLM-S2ST:話者スタイル保存による音声音声合成のためのマルチタスク言語モデル
• Authors: Yifan Peng, Ilia Kulikov, Yilin Yang, Sravya Popuri, Hui Lu, Changhan Wang, Hongyu Gong,
• Abstract要約: マルチタスク音声言語モデル(Multitask Speech Language Model、MSLM)は、マルチタスク設定で訓練されたデコーダのみの音声言語モデルである。 我々のモデルは、話者スタイルを保存した多言語S2STをサポートすることができる。
• 参考スコア（独自算出の注目度）: 45.558316325252335
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: There have been emerging research interest and advances in speech-to-speech translation (S2ST), translating utterances from one language to another. This work proposes Multitask Speech Language Model (MSLM), which is a decoder-only speech language model trained in a multitask setting. Without reliance on text training data, our model is able to support multilingual S2ST with speaker style preserved.
• Abstract（参考訳）: 音声から音声への翻訳(S2ST)における研究の関心や進歩が高まり、ある言語から別の言語への発話の翻訳が進められている。 本研究は,マルチタスク設定で訓練されたデコーダのみの音声言語モデルであるマルチタスク音声言語モデル(MSLM)を提案する。 テキスト学習データに頼らずに、話者スタイルを保存した多言語S2STをサポートすることができる。

関連論文リスト

• Textless Unit-to-Unit training for Many-to-Many Multilingual Speech-to-Speech Translation [65.13824257448564]
  本稿では,多言語多言語音声音声合成のためのテキストレス学習手法を提案する。 音声単位を擬似テキストとして扱うことにより、音声の言語内容に焦点を合わせることができる。 提案するUTUTモデルは,音声音声合成(S2ST)だけでなく,多言語音声合成(T2S)やテキスト音声合成(T2ST)にも有効であることを示す。
  論文  参考訳（メタデータ） (2023-08-03T15:47:04Z)
• Multilingual Speech-to-Speech Translation into Multiple Target Languages [23.427886305667833]
  音声音声翻訳(S2ST)は、異なる言語で話す人々間の音声通信を可能にする。 複数のターゲット言語をサポートする多言語S2STの最初の研究について述べる。 音声対単位とボコーダによる直接S2STの最近の進歩を利用して、これらのキーコンポーネントに多言語機能を持たせる。
  論文  参考訳（メタデータ） (2023-07-17T17:12:44Z)
• AudioPaLM: A Large Language Model That Can Speak and Listen [79.44757696533709]
  本稿では,音声理解・生成のための大規模言語モデルであるAudioPaLMを紹介する。 AudioPaLMはテキストベースの言語モデルと音声ベースの言語モデルを融合する。 音声認識や音声音声翻訳などの応用により、テキストと音声を処理および生成することができる。
  論文  参考訳（メタデータ） (2023-06-22T14:37:54Z)
• MParrotTTS: Multilingual Multi-speaker Text to Speech Synthesis in Low Resource Setting [16.37243395952266]
  MParrotTTSは、TTS合成モデルである。 最小限の教師付きデータを持つ新しい言語に適応し、自己教師付きバックボーンのトレーニング中に見えない言語に一般化する。 音声の自然度と話者類似度を並列・言語間合成における6言語について検討した。
  論文  参考訳（メタデータ） (2023-05-19T13:43:36Z)
• ERNIE-SAT: Speech and Text Joint Pretraining for Cross-Lingual Multi-Speaker Text-to-Speech [58.93395189153713]
  言語間複数話者音声合成タスクの事前学習法を拡張した。 本稿では,スペクトルと音素をランダムにマスキングする,音声・テキスト共同事前学習フレームワークを提案する。 本モデルは,話者埋め込み型マルチスピーカTS法よりも優れた性能を示す。
  論文  参考訳（メタデータ） (2022-11-07T13:35:16Z)
• Joint Pre-Training with Speech and Bilingual Text for Direct Speech to Speech Translation [94.80029087828888]
  直接音声音声翻訳 (S2ST) は, カスケードされたS2STと比較して, 優れた研究課題である。 直接S2STは、ソース言語の音声からターゲット言語の音声へのコーパスが非常に稀であるため、データ不足の問題に悩まされる。 本稿では,音声から音声への直接翻訳タスクのための音声とバイリンガルのテキストデータとを事前学習したSpeech2Sモデルを提案する。
  論文  参考訳（メタデータ） (2022-10-31T02:55:51Z)
• Textless Speech-to-Speech Translation on Real Data [49.134208897722246]
  本研究では、ある言語から別の言語への翻訳が可能なテキストなし音声音声翻訳システム(S2ST)を提案する。 マルチ話者ターゲット音声をモデル化し、実世界のS2STデータを用いてシステムを訓練する際の課題に対処する。
  論文  参考訳（メタデータ） (2021-12-15T18:56:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。