論文の概要: A Spectral Energy Distance for Parallel Speech Synthesis

• arxiv url: http://arxiv.org/abs/2008.01160v2
• Date: Fri, 23 Oct 2020 11:44:08 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-03 06:16:23.542963
• Title: A Spectral Energy Distance for Parallel Speech Synthesis
• Title（参考訳）: 並列音声合成のためのスペクトルエネルギー距離
• Authors: Alexey A. Gritsenko, Tim Salimans, Rianne van den Berg, Jasper Snoek, Nal Kalchbrenner
• Abstract要約: 音声合成は重要な実用的生成モデル問題である。 そこで本研究では,高度に並列な音声モデルの学習を可能にする学習手法を提案する。
• 参考スコア（独自算出の注目度）: 29.14723501889278
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Speech synthesis is an important practical generative modeling problem that has seen great progress over the last few years, with likelihood-based autoregressive neural models now outperforming traditional concatenative systems. A downside of such autoregressive models is that they require executing tens of thousands of sequential operations per second of generated audio, making them ill-suited for deployment on specialized deep learning hardware. Here, we propose a new learning method that allows us to train highly parallel models of speech, without requiring access to an analytical likelihood function. Our approach is based on a generalized energy distance between the distributions of the generated and real audio. This spectral energy distance is a proper scoring rule with respect to the distribution over magnitude-spectrograms of the generated waveform audio and offers statistical consistency guarantees. The distance can be calculated from minibatches without bias, and does not involve adversarial learning, yielding a stable and consistent method for training implicit generative models. Empirically, we achieve state-of-the-art generation quality among implicit generative models, as judged by the recently-proposed cFDSD metric. When combining our method with adversarial techniques, we also improve upon the recently-proposed GAN-TTS model in terms of Mean Opinion Score as judged by trained human evaluators.
• Abstract（参考訳）: 音声合成は、ここ数年で大きな進歩を遂げてきた重要な実用的生成モデリング問題である。 このような自己回帰モデルの欠点は、生成されたオーディオの毎秒数万のシーケンシャル操作を実行する必要があるため、専門的なディープラーニングハードウェアへのデプロイには不適当である。 本稿では,解析的確率関数を必要とせず,高度に並列な音声モデルの学習を可能にする新しい学習手法を提案する。 提案手法は,生成音と実音の分布間のエネルギー距離を一般化したものである。 このスペクトルエネルギー距離は、生成された波形音声の等級スペクトルの分布に関する適切なスコアリングルールであり、統計的整合性を保証する。 距離はバイアスのないミニバッチから計算することができ、敵対的な学習を伴わず、暗黙の生成モデルを訓練するための安定で一貫した方法をもたらす。 最近提案されたcFDSD測定値から,暗黙的生成モデル間での最先端の生成品質を実証的に評価した。 また,本手法を敵法と組み合わせることで,人間の評価者によって判断される平均オピニオンスコアの観点から,最近提案されたGAN-TTSモデルを改善した。

関連論文リスト

• Adv-KD: Adversarial Knowledge Distillation for Faster Diffusion Sampling [2.91204440475204]
  拡散確率モデル(DPM)は、深層生成モデルの強力なクラスとして登場した。 それらは、サンプル生成中にシーケンシャルなデノイングステップに依存している。 モデルアーキテクチャに直接位相を分解する新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-05-31T08:19:44Z)
• CM-TTS: Enhancing Real Time Text-to-Speech Synthesis Efficiency through Weighted Samplers and Consistency Models [30.68516200579894]
  一貫性モデル(CM)に基づく新しいアーキテクチャであるCM-TTSを紹介する。 CM-TTSは、対戦訓練や事前訓練されたモデル依存なしに、より少ないステップで高品質な音声合成を実現する。 包括的評価により検証した実時間メル-クログラム生成一貫性モデルを提案する。
  論文  参考訳（メタデータ） (2024-03-31T05:38:08Z)
• Time-series Generation by Contrastive Imitation [87.51882102248395]
  モーメントマッチングの目的によってモチベーションされ、複合的エラーを軽減し、局所的(しかし前方的な)遷移ポリシーを最適化する。 推論において、学習されたポリシーは反復的なサンプリングのジェネレータとして機能し、学習されたエネルギーはサンプルの品質を評価するための軌道レベル尺度として機能する。
  論文  参考訳（メタデータ） (2023-11-02T16:45:25Z)
• Generative Pre-training for Speech with Flow Matching [81.59952572752248]
  我々は,フローマッチングとマスク条件を併用した60k時間の無転写音声に対して,SpeechFlowという生成モデルを事前学習した。 実験結果から,事前学習した生成モデルをタスク固有のデータで微調整し,音声強調,分離,合成に関する既存の専門家モデルに適合または超えることを示す。
  論文  参考訳（メタデータ） (2023-10-25T03:40:50Z)
• High-Fidelity Speech Synthesis with Minimal Supervision: All Using Diffusion Models [56.00939852727501]
  最小教師付き音声合成は、2種類の離散音声表現を組み合わせることでTSを分離する。 非自己回帰フレームワークは、制御可能性を高め、持続拡散モデルは、多様化された韻律表現を可能にする。
  論文  参考訳（メタデータ） (2023-09-27T09:27:03Z)
• Adversarial Training of Denoising Diffusion Model Using Dual Discriminators for High-Fidelity Multi-Speaker TTS [0.0]
  拡散モデルは確率論的アプローチにより高品質なデータを生成することができる。 これは、多くの時間ステップを必要とするため、生成速度が遅くなるという欠点に悩まされる。 本稿では、逆過程の分布を学習する拡散判別器と、生成されたデータの分布を学習するスペクトログラム判別器の2つの識別器を用いた音声合成モデルを提案する。
  論文  参考訳（メタデータ） (2023-08-03T07:22:04Z)
• BOOT: Data-free Distillation of Denoising Diffusion Models with Bootstrapping [64.54271680071373]
  拡散モデルは多様な画像を生成する優れた可能性を示している。 知識蒸留は、推論ステップの数を1つか数に減らすための治療法として最近提案されている。 本稿では,効率的なデータフリー蒸留アルゴリズムにより限界を克服するBOOTと呼ばれる新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-06-08T20:30:55Z)
• Self-Adapting Noise-Contrastive Estimation for Energy-Based Models [0.0]
  ノイズコントラスト推定(NCE)を用いたトレーニングエネルギーベースモデルは理論的には実現可能であるが、実際は困難である。 従来の研究は、別個の生成モデルとしてノイズ分布をモデル化し、EBMでこのノイズモデルを同時に訓練してきた。 本論文では,EMMの静的なインスタンスを学習軌道に沿って雑音分布として利用する自己適応型NCEアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-11-03T15:17:43Z)
• Differentiable Duration Modeling for End-to-End Text-to-Speech [6.571447892202893]
  並列テキスト音声合成(TTS)モデルは,最近,高速で自然な音声合成を実現している。 本稿では,入力と出力のモノトニックシーケンスを学習するための可変長法を提案する。 本モデルでは,高忠実度合成を,対向学習と全地下構造時間との整合性の組み合わせにより学習する。
  論文  参考訳（メタデータ） (2022-03-21T15:14:44Z)
• Discretization and Re-synthesis: an alternative method to solve the Cocktail Party Problem [65.25725367771075]
  この研究は、初めて合成に基づくアプローチがこの問題にうまく対応できることを示した。 具体的には,離散シンボルの認識に基づく音声分離/強調モデルを提案する。 離散シンボルの入力による合成モデルを利用することで、離散シンボル列の予測後、各ターゲット音声を再合成することができる。
  論文  参考訳（メタデータ） (2021-12-17T08:35:40Z)
• Automated and Formal Synthesis of Neural Barrier Certificates for Dynamical Models [70.70479436076238]
  バリア証明書(BC)の自動的,形式的,反例に基づく合成手法を提案する。 このアプローチは、ニューラルネットワークとして構造化されたBCの候補を操作する誘導的フレームワークと、その候補の有効性を認証するか、反例を生成する音検証器によって支えられている。 その結果,音のBCsを最大2桁の速度で合成できることがわかった。
  論文  参考訳（メタデータ） (2020-07-07T07:39:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。