論文の概要: Textless Unit-to-Unit training for Many-to-Many Multilingual Speech-to-Speech Translation
- arxiv url: http://arxiv.org/abs/2308.01831v2
- Date: Sun, 18 Aug 2024 19:30:30 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-21 04:26:45.178523
- Title: Textless Unit-to-Unit training for Many-to-Many Multilingual Speech-to-Speech Translation
- Title(参考訳): 多言語多言語音声合成のためのテキスト・ユニット・ツー・ユニット・トレーニング
- Authors: Minsu Kim, Jeongsoo Choi, Dahun Kim, Yong Man Ro,
- Abstract要約: 本稿では,多言語多言語音声音声合成のためのテキストレス学習手法を提案する。
音声単位を擬似テキストとして扱うことにより、音声の言語内容に焦点を合わせることができる。
提案するUTUTモデルは,音声音声合成(S2ST)だけでなく,多言語音声合成(T2S)やテキスト音声合成(T2ST)にも有効であることを示す。
- 参考スコア(独自算出の注目度): 65.13824257448564
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper proposes a textless training method for many-to-many multilingual speech-to-speech translation that can also benefit the transfer of pre-trained knowledge to text-based systems, text-to-speech synthesis and text-to-speech translation. To this end, we represent multilingual speech with speech units that are the discretized representations of speech features derived from a self-supervised speech model. By treating the speech units as pseudo-text, we can focus on the linguistic content of the speech, which can be easily associated with both speech and text modalities at the phonetic level information. By setting both the inputs and outputs of our learning problem as speech units, we propose to train an encoder-decoder model in a many-to-many spoken language translation setting, namely Unit-to-Unit Translation (UTUT). Specifically, the encoder is conditioned on the source language token to correctly understand the input spoken language, while the decoder is conditioned on the target language token to generate the translated speech in the target language. Therefore, during the training, the model can build the knowledge of how languages are comprehended and how to relate them to different languages. Since speech units can be easily associated from both audio and text by quantization and phonemization respectively, the trained model can easily transferred to text-related tasks, even if it is trained in a textless manner. We demonstrate that the proposed UTUT model can be effectively utilized not only for Speech-to-Speech Translation (S2ST) but also for multilingual Text-to-Speech Synthesis (T2S) and Text-to-Speech Translation (T2ST), requiring only minimal fine-tuning steps on text inputs. By conducting comprehensive experiments encompassing various languages, we validate the efficacy of the proposed method across diverse multilingual tasks.
- Abstract(参考訳): 本稿では,テキストベースシステムへの事前学習知識の伝達,テキスト音声合成,テキスト音声翻訳の恩恵を受けることができる多言語多言語音声音声合成のためのテキストレス学習手法を提案する。
この目的のために,自己教師型音声モデルから派生した音声特徴の離散化表現である音声単位を用いた多言語音声を表現する。
音声単位を疑似テキストとして扱うことにより、音声レベルの情報において、音声とテキストの両方に容易に関連付けることができる音声の言語内容に焦点を合わせることができる。
学習課題の入力と出力の両方を音声単位として設定することにより、多言語言語翻訳(UTUT)においてエンコーダ・デコーダモデルを訓練することを提案する。
具体的には、入力された音声言語を正しく理解するために、ソース言語トークンにエンコーダを条件付けし、デコーダをターゲット言語トークンに条件付けして、対象言語で翻訳された音声を生成する。
したがって、トレーニングの間、モデルは言語がどのように解釈され、どのように異なる言語に関連づけるかについての知識を構築することができる。
音声単位は、量子化と音素化によって、音声単位とテキストの両方から容易に関連付けることができるため、訓練されたモデルは、たとえテキストレスで訓練されたとしても、テキスト関連タスクに容易に移行できる。
提案するUTUTモデルは、音声音声合成(S2ST)だけでなく、多言語テキスト音声合成(T2S)やテキスト音声翻訳(T2ST)にも有効であり、テキスト入力に最小限の微調整ステップしか必要としないことを示す。
様々な言語を包含する包括的実験を行うことで,多言語タスクにまたがる提案手法の有効性を検証した。
関連論文リスト
- AudioPaLM: A Large Language Model That Can Speak and Listen [79.44757696533709]
本稿では,音声理解・生成のための大規模言語モデルであるAudioPaLMを紹介する。
AudioPaLMはテキストベースの言語モデルと音声ベースの言語モデルを融合する。
音声認識や音声音声翻訳などの応用により、テキストと音声を処理および生成することができる。
論文 参考訳(メタデータ) (2023-06-22T14:37:54Z) - ERNIE-SAT: Speech and Text Joint Pretraining for Cross-Lingual
Multi-Speaker Text-to-Speech [58.93395189153713]
言語間複数話者音声合成タスクの事前学習法を拡張した。
本稿では,スペクトルと音素をランダムにマスキングする,音声・テキスト共同事前学習フレームワークを提案する。
本モデルは,話者埋め込み型マルチスピーカTS法よりも優れた性能を示す。
論文 参考訳(メタデータ) (2022-11-07T13:35:16Z) - SpeechLM: Enhanced Speech Pre-Training with Unpaired Textual Data [100.46303484627045]
本稿では,事前定義した統一表現と音声とテキストの事前学習を協調させるクロスモーダル音声言語モデル(SpeechLM)を提案する。
具体的には、音声とテキストのモダリティをブリッジするために、2つの別の離散トークン化器を導入する。
音声認識, 音声翻訳, ユニバーサル表現評価フレームワーク SUPERB など, 様々な音声言語処理タスクにおける音声LM の評価を行った。
論文 参考訳(メタデータ) (2022-09-30T09:12:10Z) - Unified Speech-Text Pre-training for Speech Translation and Recognition [113.31415771943162]
音声認識のためのエンコーダ・デコーダ・モデリング・フレームワークにおいて,音声とテキストを協調的に事前学習する手法について述べる。
提案手法は,4つの自己教師付きサブタスクを組み込んだクロスモーダル学習手法である。
MuST-C音声翻訳データセットの最先端よりも1.7から2.3BLEUの改善が達成されている。
論文 参考訳(メタデータ) (2022-04-11T20:59:51Z) - Bridging the Modality Gap for Speech-to-Text Translation [57.47099674461832]
エンド・ツー・エンドの音声翻訳は、ある言語における音声を、エンド・ツー・エンドの方法で他の言語におけるテキストに変換することを目的としている。
既存のほとんどの手法では、音響表現と意味情報を同時に学習するために、単一のエンコーダを持つエンコーダ・デコーダ構造を用いる。
本稿では,音声とテキスト間のモダリティギャップを埋めることで,エンドツーエンドのモデル性能を向上させることを目的とした音声翻訳モデルのための音声テキスト適応手法を提案する。
論文 参考訳(メタデータ) (2020-10-28T12:33:04Z) - Cross-lingual Multispeaker Text-to-Speech under Limited-Data Scenario [10.779568857641928]
本稿では,多言語話者音声合成を実現するために,Tacotron2の拡張を提案する。
我々は、単言語話者のための英語とマンダリンの間で、コードスイッチングを含む言語間合成を実現する。
論文 参考訳(メタデータ) (2020-05-21T03:03:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。