Fugu-MT 論文翻訳(概要): Training Universal Vocoders with Feature Smoothing-Based Augmentation Methods for High-Quality TTS Systems

論文の概要: Training Universal Vocoders with Feature Smoothing-Based Augmentation Methods for High-Quality TTS Systems

arxiv url: http://arxiv.org/abs/2409.02517v1
Date: Wed, 4 Sep 2024 08:25:54 GMT
ステータス: 処理完了
システム内更新日: 2024-09-05 19:41:01.669592
Title: Training Universal Vocoders with Feature Smoothing-Based Augmentation Methods for High-Quality TTS Systems
Title（参考訳）: 特徴平滑化に基づく高品質TSシステムのためのユニバーサルヴォコーダの訓練
Authors: Jeongmin Liu, Eunwoo Song,
Abstract要約: ユニバーサルヴォコーダを訓練するための新しい拡張手法を提案する。音響特性の入力に線形な平滑化フィルタをランダムに適用する。トレーニングと推論のミスマッチを著しく軽減し、合成出力の自然性を高める。
参考スコア（独自算出の注目度）: 6.998597120755703
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: While universal vocoders have achieved proficient waveform generation across diverse voices, their integration into text-to-speech (TTS) tasks often results in degraded synthetic quality. To address this challenge, we present a novel augmentation technique for training universal vocoders. Our training scheme randomly applies linear smoothing filters to input acoustic features, facilitating vocoder generalization across a wide range of smoothings. It significantly mitigates the training-inference mismatch, enhancing the naturalness of synthetic output even when the acoustic model produces overly smoothed features. Notably, our method is applicable to any vocoder without requiring architectural modifications or dependencies on specific acoustic models. The experimental results validate the superiority of our vocoder over conventional methods, achieving 11.99% and 12.05% improvements in mean opinion scores when integrated with Tacotron 2 and FastSpeech 2 TTS acoustic models, respectively.
Abstract（参考訳）: 普遍的なヴォコーダは多様な声質で有能な波形生成を実現しているが、テキスト音声(TTS)タスクへの統合は、しばしば合成品質の劣化をもたらす。この課題に対処するために、ユニバーサルヴォコーダをトレーニングするための新しい拡張手法を提案する。学習手法は, 線形な平滑化フィルタをランダムに応用して音響特性を入力し, 広範囲の平滑化におけるボコーダの一般化を容易にする。音響モデルが過度に滑らかな特徴を生じる場合でも、トレーニング推論ミスマッチを著しく軽減し、合成出力の自然性を高める。特に,本手法は,特定の音響モデルに設計上の変更や依存を必要とせず,任意のボコーダに適用可能である。実験の結果,従来の方法よりもボコーダの方が優れており,Tacotron 2 と FastSpeech 2 TTS の音響モデルを統合した場合,平均評価スコアが 11.99% と 12.05% 向上した。

関連論文リスト

Synthio: Augmenting Small-Scale Audio Classification Datasets with Synthetic Data [69.7174072745851]
音声分類データセットを合成データで拡張する新しい手法であるSynthioを提案する。最初の課題を克服するために、好みの最適化を用いて、T2Aモデルの世代と小規模データセットを整列する。 2つ目の課題に対処するために,大規模言語モデルの推論能力を活用する新しいキャプション生成手法を提案する。
論文参考訳（メタデータ） (2024-10-02T22:05:36Z)
Adaptive re-calibration of channel-wise features for Adversarial Audio Classification [0.0]
合成音声検出のための注意特徴融合を用いた特徴量の再検討を提案する。本研究では,End2EndモデルやResnetベースモデルなど,さまざまな検出手法との比較を行った。また,線形周波数ケプストラム係数 (LFCC) とメル周波数ケプストラム係数 (MFCC) の組み合わせにより,より優れた入力特徴表現が得られることを示した。
論文参考訳（メタデータ） (2022-10-21T04:21:56Z)
Fully Automated End-to-End Fake Audio Detection [57.78459588263812]
本稿では,完全自動エンドツーエンド音声検出手法を提案する。まず、wav2vec事前学習モデルを用いて、音声の高レベル表現を得る。ネットワーク構造には, Light-DARTS という異種アーキテクチャサーチ (DARTS) の修正版を用いる。
論文参考訳（メタデータ） (2022-08-20T06:46:55Z)
BigVGAN: A Universal Neural Vocoder with Large-Scale Training [49.16254684584935]
ゼロショット設定において、様々な未知条件下でよく一般化する普遍的なボコーダであるBigVGANを提案する。生成器に周期的非線形性とアンチエイリアス表現を導入し、波形に所望の帰納バイアスをもたらす。我々はGANボコーダを最大1億2200万のパラメータで訓練する。
論文参考訳（メタデータ） (2022-06-09T17:56:10Z)
RAVE: A variational autoencoder for fast and high-quality neural audio synthesis [2.28438857884398]
本稿では,高速かつ高品質な音声波形合成が可能なリアルタイムオーディオ変分自動エンコーダ(RAVE)を提案する。我々のモデルは48kHzのオーディオ信号を生成できる最初のモデルであり、同時に標準のラップトップCPU上で20倍高速に動作可能であることを示す。
論文参考訳（メタデータ） (2021-11-09T09:07:30Z)
RefineGAN: Universally Generating Waveform Better than Ground Truth with Highly Accurate Pitch and Intensity Responses [15.599745604729842]
高速なリアルタイム生成機能を備えた高忠実性ニューラルボコーダRefineGANを提案する。我々は,マルチスケールのスペクトログラムに基づく損失関数を用いたピッチ誘導型精細アーキテクチャを用いて,トレーニングプロセスの安定化を図る。また, スピーカが生み出す欠陥を除去することにより, 波形再構成時の忠実度も向上することを示した。
論文参考訳（メタデータ） (2021-11-01T14:12:54Z)
Enhancing audio quality for expressive Neural Text-to-Speech [8.199224915764672]
本稿では,高表現率音声の信号品質を向上させるために,追加データを用いることなく活用できる一連の手法を提案する。その結果,これらの手法を組み合わせることで,表現力のある有名人声のMUSHRAスコアにおいて,ベースラインシステムと録音との知覚自然さのギャップを39%削減できることが判明した。
論文参考訳（メタデータ） (2021-08-13T14:32:39Z)
Advances in Speech Vocoding for Text-to-Speech with Continuous Parameters [2.6572330982240935]
本稿では,連続的なボコーダにおいて,全ての特徴が連続的であり,フレキシブルな音声合成システムを示す新しい手法を提案する。位相歪みに基づく新しい連続雑音マスキングを提案し,残音の知覚的影響を排除した。双方向長短期記憶 (LSTM) とゲートリカレント単位 (GRU) について検討し, 連続パラメータのモデル化に応用した。
論文参考訳（メタデータ） (2021-06-19T12:05:01Z)
DiffSinger: Diffusion Acoustic Model for Singing Voice Synthesis [53.19363127760314]
DiffSingerは、音楽スコアで調整されたメログラムにノイズを反復的に変換するパラメータ化されたマルコフチェーンです。中国の歌唱データセットで行った評価は、DiffSingerが最先端のSVSワークを顕著な差で上回っていることを示している。
論文参考訳（メタデータ） (2021-05-06T05:21:42Z)
HiFiSinger: Towards High-Fidelity Neural Singing Voice Synthesis [153.48507947322886]
HiFiSingerは、高忠実な歌声に対するSVSシステムである。 FastSpeechベースの音響モデルとParallel WaveGANベースのボコーダで構成されている。実験の結果,HiFiSingerは高品質な歌声を合成することがわかった。
論文参考訳（メタデータ） (2020-09-03T16:31:02Z)
Pretraining Techniques for Sequence-to-Sequence Voice Conversion [57.65753150356411]
シークエンス・トゥ・シークエンス(seq2seq)音声変換(VC)モデルは、韻律を変換する能力によって魅力的である。我々は,大規模コーパスが容易に利用できる他の音声処理タスク(通常,テキスト音声(TTS)と自動音声認識(ASR))から知識を伝達することを提案する。このような事前訓練されたASRまたはTSモデルパラメータを持つVCモデルは、高忠実で高知能な変換可能な音声に対して効果的な隠れ表現を生成することができると論じる。
論文参考訳（メタデータ） (2020-08-07T11:02:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。