論文の概要: Enhancing audio quality for expressive Neural Text-to-Speech
- arxiv url: http://arxiv.org/abs/2108.06270v1
- Date: Fri, 13 Aug 2021 14:32:39 GMT
- ステータス: 処理完了
- システム内更新日: 2021-08-16 13:02:43.322774
- Title: Enhancing audio quality for expressive Neural Text-to-Speech
- Title(参考訳): 表現型ニューラルテキスト音声の音質向上
- Authors: Abdelhamid Ezzerg, Adam Gabrys, Bartosz Putrycz, Daniel Korzekwa,
Daniel Saez-Trigueros, David McHardy, Kamil Pokora, Jakub Lachowicz, Jaime
Lorenzo-Trueba, Viacheslav Klimkov
- Abstract要約: 本稿では,高表現率音声の信号品質を向上させるために,追加データを用いることなく活用できる一連の手法を提案する。
その結果,これらの手法を組み合わせることで,表現力のある有名人声のMUSHRAスコアにおいて,ベースラインシステムと録音との知覚自然さのギャップを39%削減できることが判明した。
- 参考スコア(独自算出の注目度): 8.199224915764672
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Artificial speech synthesis has made a great leap in terms of naturalness as
recent Text-to-Speech (TTS) systems are capable of producing speech with
similar quality to human recordings. However, not all speaking styles are easy
to model: highly expressive voices are still challenging even to recent TTS
architectures since there seems to be a trade-off between expressiveness in a
generated audio and its signal quality. In this paper, we present a set of
techniques that can be leveraged to enhance the signal quality of a
highly-expressive voice without the use of additional data. The proposed
techniques include: tuning the autoregressive loop's granularity during
training; using Generative Adversarial Networks in acoustic modelling; and the
use of Variational Auto-Encoders in both the acoustic model and the neural
vocoder. We show that, when combined, these techniques greatly closed the gap
in perceived naturalness between the baseline system and recordings by 39% in
terms of MUSHRA scores for an expressive celebrity voice.
- Abstract(参考訳): 最近のテキスト音声合成システム(TTS)は、人間の録音に類似した品質の音声を生成できるため、人工音声合成は自然性において大きな飛躍を遂げてきた。
しかし、全ての話し方はモデル化が簡単ではない: 非常に表現力の高い音声は、生成した音声の表現性とその信号品質との間にトレードオフがあるように見えるため、最近のTSアーキテクチャでさえも依然として困難である。
本稿では,高表現率音声の信号品質を向上させるために,追加データを用いることなく活用できる一連の手法を提案する。
提案手法は, 学習中の自己回帰ループの粒度調整, 音響モデルにおける生成適応ネットワークの利用, 音響モデルとニューラルボコーダの両方における変分オートエンコーダの使用を含む。
その結果,これらの手法を組み合わせることで,表現力のある有名人声のMUSHRAスコアにおいて,ベースラインシステムと録音との知覚自然性のギャップを39%縮めることがわかった。
関連論文リスト
- NaturalSpeech 3: Zero-Shot Speech Synthesis with Factorized Codec and
Diffusion Models [129.45495556795115]
ゼロショット方式で自然な音声を生成するために,分解拡散モデルを備えたTSSシステムであるNaturalSpeech 3を提案する。
実験により、NaturalSpeech 3は、品質、類似性、韻律、知性において最先端のTSSシステムより優れていることが示された。
論文 参考訳(メタデータ) (2024-03-05T16:35:25Z) - On the Semantic Latent Space of Diffusion-Based Text-to-Speech Models [15.966967200863845]
DDMデノイザの遅延ボトルネックアクティベーションからなる冷凍TSモデルの潜時空間について検討する。
この空間には豊富な意味情報が含まれており、教師なしと教師なしの両方で、その内部の意味的方向を見つけるための新しい方法をいくつか紹介する。
これにより、さらなるトレーニング、アーキテクチャの変更、データ要求なしに、オフザシェルフオーディオ編集が可能になることを実証する。
論文 参考訳(メタデータ) (2024-02-19T16:22:21Z) - EXPRESSO: A Benchmark and Analysis of Discrete Expressive Speech
Resynthesis [49.04496602282718]
テキストなし音声合成のための高品質な表現型音声データセットであるExpressoを紹介する。
このデータセットは、26の自発的表現スタイルで描画された読み上げ音声と即興対話の両方を含む。
自己監督型離散エンコーダの自動計測値を用いて再生品質を評価する。
論文 参考訳(メタデータ) (2023-08-10T17:41:19Z) - CLIPSonic: Text-to-Audio Synthesis with Unlabeled Videos and Pretrained
Language-Vision Models [50.42886595228255]
本稿では,橋梁としての視覚的モダリティを活用して,所望のテキスト・オーディオ対応を学習することを提案する。
我々は、事前訓練されたコントラスト言語画像事前学習モデルによって符号化されたビデオフレームを考慮し、条件付き拡散モデルを用いてビデオの音声トラックを生成する。
論文 参考訳(メタデータ) (2023-06-16T05:42:01Z) - HiddenSinger: High-Quality Singing Voice Synthesis via Neural Audio
Codec and Latent Diffusion Models [25.966328901566815]
ニューラルオーディオと潜時拡散モデルを用いた高品質な歌声合成システムHiddenSingerを提案する。
さらに,提案手法を教師なし音声学習フレームワークであるHiddenSinger-Uに拡張し,モデルを訓練する。
実験結果から,従来のモデルよりも音質が優れていたことが示唆された。
論文 参考訳(メタデータ) (2023-06-12T01:21:41Z) - Make-A-Voice: Unified Voice Synthesis With Discrete Representation [77.3998611565557]
Make-A-Voiceは、個別表現から音声信号を合成・操作するための統合されたフレームワークである。
我々は,Make-A-Voiceは,競合するベースラインモデルと比較して,音質とスタイルの類似性が優れていることを示す。
論文 参考訳(メタデータ) (2023-05-30T17:59:26Z) - NaturalSpeech 2: Latent Diffusion Models are Natural and Zero-Shot
Speech and Singing Synthesizers [90.83782600932567]
残差ベクトル化器を備えたニューラルオーディオ予測器を応用して量子化潜在ベクトルを得るTSシステムであるNaturalSpeech 2を開発した。
本研究では,NaturalSpeech 2を44K時間の音声・歌唱データを持つ大規模データセットに拡張し,未知話者の音声品質を評価する。
NaturalSpeech 2は、0ショット設定で、韻律/音節の類似性、合成、音声品質の点で、従来のTSシステムよりはるかに優れている。
論文 参考訳(メタデータ) (2023-04-18T16:31:59Z) - Audio-Visual Speech Codecs: Rethinking Audio-Visual Speech Enhancement
by Re-Synthesis [67.73554826428762]
本稿では,AR/VRにおける高忠実度通信のための新しい音声・視覚音声強調フレームワークを提案する。
提案手法は音声・視覚音声の手がかりを利用してニューラル音声のコードを生成することで,ノイズ信号からクリーンでリアルな音声を効率的に合成する。
論文 参考訳(メタデータ) (2022-03-31T17:57:10Z) - Advances in Speech Vocoding for Text-to-Speech with Continuous
Parameters [2.6572330982240935]
本稿では,連続的なボコーダにおいて,全ての特徴が連続的であり,フレキシブルな音声合成システムを示す新しい手法を提案する。
位相歪みに基づく新しい連続雑音マスキングを提案し,残音の知覚的影響を排除した。
双方向長短期記憶 (LSTM) とゲートリカレント単位 (GRU) について検討し, 連続パラメータのモデル化に応用した。
論文 参考訳(メタデータ) (2021-06-19T12:05:01Z) - Low-resource expressive text-to-speech using data augmentation [12.396086122947679]
本稿では,大量のターゲットデータを記録するコストのかかる操作を回避するために,新しい3段階の手法を提案する。
我々は、他の話者からの所望の話し方での録音を活用することで、音声変換によるデータ拡張を行う。
次に、利用可能な録音の上に合成データを使って、TSモデルをトレーニングします。
論文 参考訳(メタデータ) (2020-11-11T11:22:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。