論文の概要: Style-Label-Free: Cross-Speaker Style Transfer by Quantized VAE and Speaker-wise Normalization in Speech Synthesis

• arxiv url: http://arxiv.org/abs/2212.06397v1
• Date: Tue, 13 Dec 2022 06:26:25 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-14 13:33:14.932471
• Title: Style-Label-Free: Cross-Speaker Style Transfer by Quantized VAE and Speaker-wise Normalization in Speech Synthesis
• Title（参考訳）: 音声合成におけるVAEの量子化と話者の正規化によるスタイルラベルなし:クロススピーカスタイルの伝達
• Authors: Chunyu Qiang, Peng Yang, Hao Che, Xiaorui Wang, Zhongyuan Wang
• Abstract要約: 音声合成におけるクロススピーカースタイルの伝達は、音源話者からターゲット話者の音色を合成した音声へスタイルを伝達することを目的としている。 これまでのほとんどのアプローチはスタイルラベルを持つデータに依存していたが、手動でアノテートされたラベルは高価であり、常に信頼できるとは限らない。 そこで我々は,話者間通信方式であるStyle-Label-Freeを提案する。
• 参考スコア（独自算出の注目度）: 37.19266733527613
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Cross-speaker style transfer in speech synthesis aims at transferring a style from source speaker to synthesised speech of a target speaker's timbre. Most previous approaches rely on data with style labels, but manually-annotated labels are expensive and not always reliable. In response to this problem, we propose Style-Label-Free, a cross-speaker style transfer method, which can realize the style transfer from source speaker to target speaker without style labels. Firstly, a reference encoder structure based on quantized variational autoencoder (Q-VAE) and style bottleneck is designed to extract discrete style representations. Secondly, a speaker-wise batch normalization layer is proposed to reduce the source speaker leakage. In order to improve the style extraction ability of the reference encoder, a style invariant and contrastive data augmentation method is proposed. Experimental results show that the method outperforms the baseline. We provide a website with audio samples.
• Abstract（参考訳）: 音声合成におけるクロススピーカースタイルの伝達は、音源話者からターゲット話者の音色合成音声へスタイルを伝達することを目的としている。 従来のアプローチのほとんどはスタイルラベルのデータに依存しているが、手動で注釈を付けるラベルは高価であり、必ずしも信頼できるものではない。 そこで,本稿では,音源話者から対象話者へのスタイル転送を実現するクロススピーカー方式であるstyle-label-freeを提案する。 まず、量子化変分オートエンコーダ(q-vae)とスタイルボトルネックに基づく参照エンコーダ構造により、離散的なスタイル表現を抽出する。 次に,話者単位のバッチ正規化層を提案し,音源リークを低減する。 参照エンコーダのスタイル抽出能力を向上させるために,スタイル不変およびコントラストデータ拡張手法を提案する。 実験の結果,本手法はベースラインよりも優れていた。 オーディオサンプルをWebサイトに提供する。

関連論文リスト

• StyleSpeech: Self-supervised Style Enhancing with VQ-VAE-based Pre-training for Expressive Audiobook Speech Synthesis [63.019962126807116]
  音声ブックの合成音声の表現的品質は、一般化されたモデルアーキテクチャとアンバランスなスタイル分布によって制限される。 本稿では,VQ-VAEに基づく音声合成のための事前学習による自己教師付きスタイル向上手法を提案する。
  論文  参考訳（メタデータ） (2023-12-19T14:13:26Z)
• Speech-to-Speech Translation with Discrete-Unit-Based Style Transfer [56.933140743757555]
  個別の自己教師付き表現を用いた音声音声合成(S2ST)は顕著な精度を達成している。 高品質な話者並列データの不足は、ソースとターゲットの音声間のスタイル伝達を学習する上での課題となる。 本稿では,自己教師型モデルから独立した単位をベースとした音響言語モデルと,スタイル伝達のためのニューラルネットワークを用いたS2STフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-09-14T09:52:08Z)
• Stylebook: Content-Dependent Speaking Style Modeling for Any-to-Any Voice Conversion using Only Speech Data [2.6217304977339473]
  本稿では,ターゲット発話からリッチなスタイル情報を抽出し,ソース音声コンテンツに効率的に転送する手法を提案する。 提案手法では,自己教師付き学習(SSL)モデルを用いた注意機構を提案する。 実験結果から,提案手法と拡散型生成モデルを組み合わせることで,任意の音声変換タスクにおいて,話者の類似性が向上できることが示唆された。
  論文  参考訳（メタデータ） (2023-09-06T05:33:54Z)
• ParaGuide: Guided Diffusion Paraphrasers for Plug-and-Play Textual Style Transfer [57.6482608202409]
  テキストスタイル転送は、意味を保ちながらテキストのスタイル特性を変換するタスクである。 任意のスタイルに柔軟に適応できる汎用型転送のための新しい拡散型フレームワークを提案する。 本研究では,人的評価と自動評価の両面から,Enron Email Corpusの手法を検証するとともに,形式性,感情,さらにはオーサシップスタイルの伝達にも優れることを示す。
  論文  参考訳（メタデータ） (2023-08-29T17:36:02Z)
• Improving Prosody for Cross-Speaker Style Transfer by Semi-Supervised Style Extractor and Hierarchical Modeling in Speech Synthesis [37.65745551401636]
  音声合成におけるクロススピーカースタイルの伝達は,音源話者から対象話者の音色を合成した音声へスタイルを伝達することを目的としている。 従来の方法では、合成された微細な韻律の特徴は、しばしばソース話者の平均的なスタイルを表す。 コンテントと音色からスタイルを引き離すために, 強度制御型半教師付きスタイル抽出器を提案する。
  論文  参考訳（メタデータ） (2023-03-14T08:52:58Z)
• Towards Cross-speaker Reading Style Transfer on Audiobook Dataset [43.99232352300273]
  話者間移動は、与えられた参照音声の音声スタイルを抽出することを目的としている。 オーディオブックのデータセットは ローカルな韻律とグローバルなジャンルの両方が特徴です
  論文  参考訳（メタデータ） (2022-08-10T14:08:35Z)
• Using multiple reference audios and style embedding constraints for speech synthesis [68.62945852651383]
  提案モデルでは,複数の参照音声を用いて音声の自然さとコンテンツ品質を向上させることができる。 モデルは、スタイル類似性のABX選好テストにおいてベースラインモデルよりも優れている。
  論文  参考訳（メタデータ） (2021-10-09T04:24:29Z)
• Cross-speaker Style Transfer with Prosody Bottleneck in Neural Speech Synthesis [8.603535906880937]
  マルチスタイルおよび表現型音声合成を大規模に適用するには,クロススピーカ方式の転送が不可欠である。 既存のスタイル転送メソッドは、まだ実際のアプリケーションのニーズよりはるかに遅れています。 本稿では, 明瞭な韻律ボトルネックを考慮した話者間通信方式のテキスト音声合成モデルを提案する。
  論文  参考訳（メタデータ） (2021-07-27T02:43:57Z)
• Voice Conversion Based Speaker Normalization for Acoustic Unit Discovery [3.128267020893596]
  単位発見に先立って教師なし話者正規化手法を提案する。 対比的コントラスト予測符号化手法を用いて、音声信号のコンテンツ誘起変化から話者に関連する話者を切り離すことを基本とする。 英語,Yoruba,Mboshiの実験では,非正規化入力と比較して改善が見られた。
  論文  参考訳（メタデータ） (2021-05-04T22:40:41Z)
• Exploring Contextual Word-level Style Relevance for Unsupervised Style Transfer [60.07283363509065]
  教師なしのスタイル転送は、元のコンテンツを保持しながら入力文のスタイルを変更することを目的としている。 本稿では,各出力語がターゲットスタイルに関連性があることを活かした,新たな注目シーケンス・ツー・シーケンスモデルを提案する。 実験結果から,提案手法は転送精度とコンテンツ保存の両面から,最先端の性能を達成できることが示唆された。
  論文  参考訳（メタデータ） (2020-05-05T10:24:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。