論文の概要: Meta Learning Text-to-Speech Synthesis in over 7000 Languages

• arxiv url: http://arxiv.org/abs/2406.06403v1
• Date: Mon, 10 Jun 2024 15:56:52 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-11 13:09:08.307435
• Title: Meta Learning Text-to-Speech Synthesis in over 7000 Languages
• Title（参考訳）: 7000言語以上のメタラーニングテキスト音声合成
• Authors: Florian Lux, Sarina Meyer, Lyonel Behringer, Frank Zalkow, Phat Do, Matt Coler, Emanuël A. P. Habets, Ngoc Thang Vu,
• Abstract要約: 本研究では,7000以上の言語で音声を生成できる1つの音声合成システムを構築する上で,課題に取り組む。 本手法は,多言語事前学習とメタラーニングの新たな統合を活用することで,ゼロショット音声合成を利用可能なデータを持たない言語で実現する。 我々は,限られた言語資源を持つコミュニティの活性化と,音声技術分野におけるさらなるイノベーションの育成を目指している。
• 参考スコア（独自算出の注目度）: 29.17020696379219
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: In this work, we take on the challenging task of building a single text-to-speech synthesis system that is capable of generating speech in over 7000 languages, many of which lack sufficient data for traditional TTS development. By leveraging a novel integration of massively multilingual pretraining and meta learning to approximate language representations, our approach enables zero-shot speech synthesis in languages without any available data. We validate our system's performance through objective measures and human evaluation across a diverse linguistic landscape. By releasing our code and models publicly, we aim to empower communities with limited linguistic resources and foster further innovation in the field of speech technology.
• Abstract（参考訳）: 本研究では、7000以上の言語で音声を生成できる単一の音声合成システムを構築するという課題に取り組み、その多くが従来のTS開発に十分なデータを持っていない。 言語表現の近似に多言語事前学習とメタラーニングの新たな統合を活用することにより、利用可能なデータを持たない言語でゼロショット音声合成が可能となる。 多様な言語環境における客観的な測定と人的評価を通じて,システムの性能を検証した。 コードとモデルを公開することにより、限られた言語資源でコミュニティを活性化し、音声技術分野におけるさらなるイノベーションを促進することを目指しています。

関連論文リスト

• Many-to-Many Spoken Language Translation via Unified Speech and Text Representation Learning with Unit-to-Unit Translation [39.74625363642717]
  自己教師型音声モデルから符号化された音声特徴の量子化表現である音声単位を用いた多言語音声の表現を行う。 そこで本研究では,多言語データに基づいて,ユニット・ツー・ユニット翻訳(UTUT)を目標としたエンコーダ・デコーダ構造モデルを訓練する。 UTUTを用いた1つの事前学習モデルは、音声音声翻訳(STS)、多言語テキスト音声合成(TTS)、テキスト音声翻訳(TTST)などの多言語音声およびテキスト関連タスクに利用できる。
  論文  参考訳（メタデータ） (2023-08-03T15:47:04Z)
• ComSL: A Composite Speech-Language Model for End-to-End Speech-to-Text Translation [79.66359274050885]
  公的な事前訓練された音声のみのモデルと言語のみのモデルからなる複合アーキテクチャ上に構築された音声言語モデルであるComSLを提案する。 提案手法は,エンドツーエンドの音声-テキスト翻訳タスクにおいて有効であることを示す。
  論文  参考訳（メタデータ） (2023-05-24T07:42:15Z)
• Scaling Speech Technology to 1,000+ Languages [66.31120979098483]
  MMS(Massively Multilingual Speech)プロジェクトは、タスクに応じてサポート言語を10～40倍増やす。 主な材料は、一般に公開されている宗教文書の読解に基づく新しいデータセットである。 我々は,1,406言語,1,107言語用1つの多言語自動音声認識モデル,同一言語用音声合成モデル,4,017言語用言語識別モデルについて,事前学習したwav2vec 2.0モデルを構築した。
  論文  参考訳（メタデータ） (2023-05-22T22:09:41Z)
• A Vector Quantized Approach for Text to Speech Synthesis on Real-World Spontaneous Speech [94.64927912924087]
  我々は、YouTubeやポッドキャストから現実の音声を使ってTSシステムを訓練する。 最近のText-to-Speechアーキテクチャは、複数のコード生成とモノトニックアライメントのために設計されている。 近年のテキスト・トゥ・スペーチ・アーキテクチャは,いくつかの客観的・主観的尺度において,既存のTSシステムより優れていることを示す。
  論文  参考訳（メタデータ） (2023-02-08T17:34:32Z)
• Learning to Speak from Text: Zero-Shot Multilingual Text-to-Speech with Unsupervised Text Pretraining [65.30528567491984]
  本稿では,対象言語に対するテキストのみのデータを用いたゼロショット多言語TS法を提案する。 テキストのみのデータを使用することで、低リソース言語向けのTSシステムの開発が可能になる。 評価の結果,文字誤り率が12%未満のゼロショットTSは,見当たらない言語では高い知能性を示した。
  論文  参考訳（メタデータ） (2023-01-30T00:53:50Z)
• Virtuoso: Massive Multilingual Speech-Text Joint Semi-Supervised Learning for Text-To-Speech [37.942466944970704]
  本稿では,テキスト音声合成(TTS)モデルのための多言語共同学習フレームワークであるVirtuosoを提案する。 様々な音声およびテキストデータからTSモデルをトレーニングするために、教師なし(TTSおよびASRデータ)と教師なし(非教師なし)のデータセットを扱うように、異なるトレーニングスキームが設計されている。 実験により、Virtuosoで訓練された多言語TSモデルは、見かけの言語におけるベースラインモデルよりも、自然性や知性に優れることが示された。
  論文  参考訳（メタデータ） (2022-10-27T14:09:48Z)
• Low-Resource Multilingual and Zero-Shot Multispeaker TTS [25.707717591185386]
  5分間のトレーニングデータを用いて,新しい言語を学習することが可能であることを示す。 提案手法を,対象話者との親密性,自然性,類似性の観点から示す。
  論文  参考訳（メタデータ） (2022-10-21T20:03:37Z)
• Building African Voices [125.92214914982753]
  本稿では,低リソースのアフリカ言語を対象とした音声合成について述べる。 我々は,最小限の技術資源で音声合成システムを構築するための汎用的な指示セットを作成する。 研究者や開発者を支援するために、12のアフリカ言語のための音声データ、コード、訓練された音声をリリースします。
  論文  参考訳（メタデータ） (2022-07-01T23:28:16Z)
• Language-Agnostic Meta-Learning for Low-Resource Text-to-Speech with Articulatory Features [30.37026279162593]
  本研究では,言語間で保持される音素表現を学習するために,音素の同一性から導かれる埋め込みではなく,調音ベクトルから導出される埋め込みを用いる。 これにより、これまで見られなかった話者が話していた、30分間のデータで高品質なテキスト音声モデルを微調整できる。
  論文  参考訳（メタデータ） (2022-03-07T07:58:01Z)
• Cross-lingual Transfer for Speech Processing using Acoustic Language Similarity [81.51206991542242]
  言語間の移動は、このデジタル分割を橋渡しする魅力的な方法を提供する。 現在の言語間アルゴリズムは、テキストベースのタスクや音声関連タスクを低リソース言語で実現している。 本稿では,数百の言語をまたがる音響的言語間移動対を効率的に同定する言語類似性手法を提案する。
  論文  参考訳（メタデータ） (2021-11-02T01:55:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。