論文の概要: Expressive TTS Driven by Natural Language Prompts Using Few Human Annotations

• arxiv url: http://arxiv.org/abs/2311.01260v1
• Date: Thu, 2 Nov 2023 14:20:37 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-03 13:10:25.076774
• Title: Expressive TTS Driven by Natural Language Prompts Using Few Human Annotations
• Title（参考訳）: 人的アノテーションを用いた自然言語プロンプトによる表現型tt
• Authors: Hanglei Zhang, Yiwei Guo, Sen Liu, Xie Chen, Kai Yu
• Abstract要約: Expressive Text-to-Speech (TTS) は、人間の声調、気分、さらには芸術的特性で音声を合成することを目的としている。 TTSの最近の進歩は、自然言語のプロンプトを通じて、ユーザーが直接合成スタイルを制御できるようになる。 最小限のアノテーションを持つ制御可能な表現型TSモデルであるFreeStyleTTS(FS-TTS)を提案する。
• 参考スコア（独自算出の注目度）: 12.891344121936902
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Expressive text-to-speech (TTS) aims to synthesize speeches with human-like tones, moods, or even artistic attributes. Recent advancements in expressive TTS empower users with the ability to directly control synthesis style through natural language prompts. However, these methods often require excessive training with a significant amount of style-annotated data, which can be challenging to acquire. Moreover, they may have limited adaptability due to fixed style annotations. In this work, we present FreeStyleTTS (FS-TTS), a controllable expressive TTS model with minimal human annotations. Our approach utilizes a large language model (LLM) to transform expressive TTS into a style retrieval task. The LLM selects the best-matching style references from annotated utterances based on external style prompts, which can be raw input text or natural language style descriptions. The selected reference guides the TTS pipeline to synthesize speeches with the intended style. This innovative approach provides flexible, versatile, and precise style control with minimal human workload. Experiments on a Mandarin storytelling corpus demonstrate FS-TTS's proficiency in leveraging LLM's semantic inference ability to retrieve desired styles from either input text or user-defined descriptions. This results in synthetic speeches that are closely aligned with the specified styles.
• Abstract（参考訳）: Expressive Text-to-Speech (TTS) は、人間の声調、気分、さらには芸術的特性で音声を合成することを目的としている。 表現力のあるTSの最近の進歩は、自然言語のプロンプトを通じて合成スタイルを直接制御する能力をユーザに提供する。 しかし、これらの方法は、大量のスタイルアノテートされたデータによる過剰なトレーニングを必要とすることが多く、取得は困難である。 さらに、固定スタイルアノテーションによる適応性も制限される可能性がある。 本研究では,最小限のアノテーションを持つ制御可能な表現型TSモデルであるFreeStyleTTS(FS-TTS)を提案する。 提案手法では,大規模言語モデル(LLM)を用いて,表現型TSをスタイル検索タスクに変換する。 LLMは、生の入力テキストまたは自然言語スタイル記述である外部スタイルプロンプトに基づいて、注釈付き発話からベストマッチングスタイル参照を選択する。 選択された参照はTSパイプラインをガイドし、意図したスタイルで音声を合成する。 この革新的なアプローチは、最小限の人的負荷で柔軟で汎用的で正確なスタイル制御を提供する。 マンダリンのストーリーテリングコーパスの実験では、FS-TTSが入力テキストまたはユーザ定義記述から所望のスタイルを検索するLLMのセマンティック推論能力を活用できることが示されている。 この結果、特定のスタイルと密接に一致する合成音声が得られる。

関連論文リスト

• DeSTA: Enhancing Speech Language Models through Descriptive Speech-Text Alignment [82.86363991170546]
  本稿では、音声キャプションを利用して音声とテキストのモダリティのギャップを埋める記述型音声テキストアライメント手法を提案する。 我々のモデルはDynamic-SUPERBベンチマークで優れた性能を示し、特に目に見えないタスクに一般化する。 これらの知見は、説明豊かな音声キャプションを組み込むことにより、指示追従型SLMを再構築する可能性を強調した。
  論文  参考訳（メタデータ） (2024-06-27T03:52:35Z)
• LibriTTS-P: A Corpus with Speaking Style and Speaker Identity Prompts for Text-to-Speech and Style Captioning [12.069474749489897]
  我々は、LibriTTS-Rに基づく新しいコーパスであるLibriTTS-Pを紹介し、発話スタイルの発話レベル記述(即ち、プロンプト)と話者特性の話者レベルプロンプトを含む。 スタイルキャプションタスクの結果から, LibriTTS-P を用いたモデルは, 従来のデータセットを用いたモデルよりも2.5倍正確な単語を生成することがわかった。
  論文  参考訳（メタデータ） (2024-06-12T07:49:21Z)
• Style Mixture of Experts for Expressive Text-To-Speech Synthesis [7.6732312922460055]
  StyleMoEは、スタイルエンコーダにおける平均的なスタイル表現の学習の問題に対処するアプローチである。 提案手法は,TSフレームワークのスタイルエンコーダをMixture of Expertsレイヤに置き換える。 客観的および主観的両方の実験は,多様かつ見当たらない参照音声に対するスタイル伝達の改善を実証した。
  論文  参考訳（メタデータ） (2024-06-05T22:17:47Z)
• ParaGuide: Guided Diffusion Paraphrasers for Plug-and-Play Textual Style Transfer [57.6482608202409]
  テキストスタイル転送は、意味を保ちながらテキストのスタイル特性を変換するタスクである。 任意のスタイルに柔軟に適応できる汎用型転送のための新しい拡散型フレームワークを提案する。 本研究では,人的評価と自動評価の両面から,Enron Email Corpusの手法を検証するとともに,形式性,感情,さらにはオーサシップスタイルの伝達にも優れることを示す。
  論文  参考訳（メタデータ） (2023-08-29T17:36:02Z)
• TextrolSpeech: A Text Style Control Speech Corpus With Codec Language Text-to-Speech Models [51.529485094900934]
  リッチテキスト属性を付加した最初の大規模音声感情データセットであるTextrolSpeechを提案する。 本稿では,GPTモデルを利用した多段階プロンプトプログラミング手法を提案する。 そこで我々は,より多様なスタイルで音声を生成する必要性に対処するため,Salleと呼ばれる効率的なアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2023-08-28T09:06:32Z)
• StylerDALLE: Language-Guided Style Transfer Using a Vector-Quantized Tokenizer of a Large-Scale Generative Model [64.26721402514957]
  本論文では,自然言語を用いて抽象芸術スタイルを記述するスタイル転送手法であるStylerDALLEを提案する。 具体的には、非自己回帰的なトークンシーケンス変換として、言語誘導型転送タスクを定式化する。 スタイル情報を組み込むために,CLIPに基づく言語指導による強化学習戦略を提案する。
  論文  参考訳（メタデータ） (2023-03-16T12:44:44Z)
• Text-driven Emotional Style Control and Cross-speaker Style Transfer in Neural TTS [7.384726530165295]
  合成音声のスタイル制御は、しばしば個別の感情カテゴリーに制限される。 マルチスピーカTTSにおける感情的スタイル制御とクロススピーカースタイル転送のためのテキストベースインタフェースを提案する。
  論文  参考訳（メタデータ） (2022-07-13T07:05:44Z)
• Self-supervised Context-aware Style Representation for Expressive Speech Synthesis [23.460258571431414]
  本稿では,平文からスタイル表現を自己教師型で学習するための新しいフレームワークを提案する。 感情のレキシコンを活用し、対照的な学習と深いクラスタリングを使用する。 本手法は,音声ブック音声におけるドメイン内およびドメイン外テストセットの主観的評価に基づいて,改善された結果を実現する。
  論文  参考訳（メタデータ） (2022-06-25T05:29:48Z)
• GenerSpeech: Towards Style Transfer for Generalizable Out-Of-Domain Text-to-Speech Synthesis [68.42632589736881]
  本稿では,OODカスタム音声の高忠実度ゼロショットスタイル転送に向けたテキスト音声合成モデルGenerSpeechを提案する。 GenerSpeechは、2つのコンポーネントを導入することで、音声のバリエーションをスタイルに依存しない部分とスタイル固有の部分に分解する。 ゼロショット方式の転送について評価したところ,GenerSpeechは音質やスタイルの類似性の観点から,最先端のモデルを上回っていることがわかった。
  論文  参考訳（メタデータ） (2022-05-15T08:16:02Z)
• Fine-grained style control in Transformer-based Text-to-speech Synthesis [78.92428622630861]
  本稿では,Transformer-based text-to-speech synthesis (TransformerTTS) におけるきめ細かいスタイル制御を実現する新しいアーキテクチャを提案する。 参照音声から局所的スタイルトークン(LST)の時系列を抽出することにより、発話スタイルをモデル化する。 実験により, きめ細かいスタイル制御では, 自然性, 知能性, スタイル伝達性が向上することが示された。
  論文  参考訳（メタデータ） (2021-10-12T19:50:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。