論文の概要: Evaluating Speech Synthesis by Training Recognizers on Synthetic Speech

• arxiv url: http://arxiv.org/abs/2310.00706v1
• Date: Sun, 1 Oct 2023 15:52:48 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-05 02:29:58.288357
• Title: Evaluating Speech Synthesis by Training Recognizers on Synthetic Speech
• Title（参考訳）: 合成音声の学習者による音声合成の評価
• Authors: Dareen Alharthi, Roshan Sharma, Hira Dhamyal, Soumi Maiti, Bhiksha Raj, Rita Singh
• Abstract要約: 合成音声におけるASRモデルの訓練と実音声における性能評価を含む評価手法を提案する。 提案手法は,SpeechLMScore や MOSNet と比較して,MOS の自然性と MOS の知性の両方に強い相関関係を示す。
• 参考スコア（独自算出の注目度）: 34.8899247119748
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Modern speech synthesis systems have improved significantly, with synthetic speech being indistinguishable from real speech. However, efficient and holistic evaluation of synthetic speech still remains a significant challenge. Human evaluation using Mean Opinion Score (MOS) is ideal, but inefficient due to high costs. Therefore, researchers have developed auxiliary automatic metrics like Word Error Rate (WER) to measure intelligibility. Prior works focus on evaluating synthetic speech based on pre-trained speech recognition models, however, this can be limiting since this approach primarily measures speech intelligibility. In this paper, we propose an evaluation technique involving the training of an ASR model on synthetic speech and assessing its performance on real speech. Our main assumption is that by training the ASR model on the synthetic speech, the WER on real speech reflects the similarity between distributions, a broader assessment of synthetic speech quality beyond intelligibility. Our proposed metric demonstrates a strong correlation with both MOS naturalness and MOS intelligibility when compared to SpeechLMScore and MOSNet on three recent Text-to-Speech (TTS) systems: MQTTS, StyleTTS, and YourTTS.
• Abstract（参考訳）: 現代の音声合成システムは大幅に改善されており、合成音声は実際の音声と区別できない。 しかし,合成音声の効率的かつ総合的な評価は依然として重要な課題である。 平均オピニオンスコア(MOS)を用いた人的評価は理想的であるが、高コストのため非効率である。 そこで,研究者らは,単語誤り率(wer)などの補助的自動指標を開発した。 先行研究は、事前学習された音声認識モデルに基づく合成音声の評価に焦点を当てているが、このアプローチは主に音声の理解度を測定するため、これは制限される可能性がある。 本稿では,合成音声におけるASRモデルの訓練と実音声における性能評価を含む評価手法を提案する。 我々の主な前提は、asrモデルを合成音声に訓練することで、実際の音声のwerは分布間の類似性を反映し、理解性を超えた合成音声品質の広範な評価を行うというものである。 提案手法は,最近のテキスト音声(TTS)システムであるMQTTS,StyleTTS,YourTTSにおけるSpeechLMScoreとMOSNetと比較して,MOSの自然性とMOSの知性との間に強い相関関係を示す。

関連論文リスト

• DMDSpeech: Distilled Diffusion Model Surpassing The Teacher in Zero-shot Speech Synthesis via Direct Metric Optimization [12.310318928818546]
  そこで本研究では, 直接的エンドツーエンド評価を用いたTS拡散モデルの蒸留法を提案する。 DMDSpeechは、自然性と話者類似性の両方において、従来の最先端モデルより一貫して上回っていることを示す。 この研究は、音声合成における直接メートル法最適化の可能性を強調し、モデルが人間の聴覚的嗜好とよりよく一致できるようにする。
  論文  参考訳（メタデータ） (2024-10-14T21:17:58Z)
• Towards Improving NAM-to-Speech Synthesis Intelligibility using Self-Supervised Speech Models [24.943609458024596]
  そこで本研究では,音声変換タスクにおける非可聴型Murmur(NAM)の信頼性を向上するための新しい手法を提案する。 本手法は, 音声合成の自己超越と音声合成に頼っている。 本手法は,Mel-Cepstral Distortion(MCD)測定値の29.08%の改善により,現在のSOTA(State-of-the-art)を上回った。
  論文  参考訳（メタデータ） (2024-07-26T06:44:01Z)
• Improved Child Text-to-Speech Synthesis through Fastpitch-based Transfer Learning [3.5032870024762386]
  本稿では,Fastpitch text-to-speech(TTS)モデルを用いて,高品質な合成子音声を生成する手法を提案する。 このアプローチでは、子話を扱うためにマルチスピーカーTSモデルを微調整する。 実子声と合成子声の間に有意な相関が認められた客観的評価を行った。
  論文  参考訳（メタデータ） (2023-11-07T19:31:44Z)
• EXPRESSO: A Benchmark and Analysis of Discrete Expressive Speech Resynthesis [49.04496602282718]
  テキストなし音声合成のための高品質な表現型音声データセットであるExpressoを紹介する。 このデータセットは、26の自発的表現スタイルで描画された読み上げ音声と即興対話の両方を含む。 自己監督型離散エンコーダの自動計測値を用いて再生品質を評価する。
  論文  参考訳（メタデータ） (2023-08-10T17:41:19Z)
• ZET-Speech: Zero-shot adaptive Emotion-controllable Text-to-Speech Synthesis with Diffusion and Style-based Models [83.07390037152963]
  ZET-Speech はゼロショット適応型 TTS モデルである。 ユーザは、短い中性音声セグメントとターゲットの感情ラベルのみを使用して、任意の話者の感情音声を合成することができる。 実験の結果,ZET-Speechは自然音声と感情音声の合成に成功していることがわかった。
  論文  参考訳（メタデータ） (2023-05-23T08:52:00Z)
• A Vector Quantized Approach for Text to Speech Synthesis on Real-World Spontaneous Speech [94.64927912924087]
  我々は、YouTubeやポッドキャストから現実の音声を使ってTSシステムを訓練する。 最近のText-to-Speechアーキテクチャは、複数のコード生成とモノトニックアライメントのために設計されている。 近年のテキスト・トゥ・スペーチ・アーキテクチャは,いくつかの客観的・主観的尺度において,既存のTSシステムより優れていることを示す。
  論文  参考訳（メタデータ） (2023-02-08T17:34:32Z)
• A Text-to-Speech Pipeline, Evaluation Methodology, and Initial Fine-Tuning Results for Child Speech Synthesis [3.2548794659022398]
  音声合成は、現在のTTS(text-to-speech)モデルが人間の自然な音声を生成できるようになったため、長い道のりを経ている。 本研究では,子どもの音声データセットを用いて,最先端のニューラルネットワークモデルを構築するためのトレーニングパイプラインを開発し,検証した。
  論文  参考訳（メタデータ） (2022-03-22T09:34:21Z)
• EMOVIE: A Mandarin Emotion Speech Dataset with a Simple Emotional Text-to-Speech Model [56.75775793011719]
  音声ファイルを含む9,724のサンプルとその感情ラベル付きアノテーションを含むマンダリン感情音声データセットを導入,公開する。 入力として追加の参照音声を必要とするこれらのモデルとは異なり、我々のモデルは入力テキストから直接感情ラベルを予測し、感情埋め込みに基づいてより表現力のある音声を生成することができる。 実験段階では、まず感情分類タスクによってデータセットの有効性を検証し、次に提案したデータセットに基づいてモデルをトレーニングし、一連の主観評価を行う。
  論文  参考訳（メタデータ） (2021-06-17T08:34:21Z)
• Reinforcement Learning for Emotional Text-to-Speech Synthesis with Improved Emotion Discriminability [82.39099867188547]
  感情的テキスト音声合成(ETTS)は近年大きく進歩している。 i-ETTSと呼ばれるETTSの新しい対話型トレーニングパラダイムを提案する。 i-ETTSの最適化品質を確保するため、強化学習による反復トレーニング戦略を策定します。
  論文  参考訳（メタデータ） (2021-04-03T13:52:47Z)
• Speech Synthesis as Augmentation for Low-Resource ASR [7.2244067948447075]
  音声合成は低リソース音声認識の鍵となるかもしれない。 データ拡張技術は、現代の音声認識トレーニングの重要な部分となっている。 音声合成技術は、人間のような音声を達成するという目標に急速に近づきつつある。
  論文  参考訳（メタデータ） (2020-12-23T22:19:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。