論文の概要: Towards Improving NAM-to-Speech Synthesis Intelligibility using Self-Supervised Speech Models

• arxiv url: http://arxiv.org/abs/2407.18541v1
• Date: Fri, 26 Jul 2024 06:44:01 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-29 14:10:09.972198
• Title: Towards Improving NAM-to-Speech Synthesis Intelligibility using Self-Supervised Speech Models
• Title（参考訳）: 自己教師付き音声モデルを用いたNAM音声合成の信頼性向上に向けて
• Authors: Neil Shah, Shirish Karande, Vineet Gandhi,
• Abstract要約: そこで本研究では,音声変換タスクにおける非可聴型Murmur(NAM)の信頼性を向上するための新しい手法を提案する。 本手法は, 音声合成の自己超越と音声合成に頼っている。 本手法は,Mel-Cepstral Distortion(MCD)測定値の29.08%の改善により,現在のSOTA(State-of-the-art)を上回った。
• 参考スコア（独自算出の注目度）: 24.943609458024596
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We propose a novel approach to significantly improve the intelligibility in the Non-Audible Murmur (NAM)-to-speech conversion task, leveraging self-supervision and sequence-to-sequence (Seq2Seq) learning techniques. Unlike conventional methods that explicitly record ground-truth speech, our methodology relies on self-supervision and speech-to-speech synthesis to simulate ground-truth speech. Despite utilizing simulated speech, our method surpasses the current state-of-the-art (SOTA) by 29.08% improvement in the Mel-Cepstral Distortion (MCD) metric. Additionally, we present error rates and demonstrate our model's proficiency to synthesize speech in novel voices of interest. Moreover, we present a methodology for augmenting the existing CSTR NAM TIMIT Plus corpus, setting a benchmark with a Word Error Rate (WER) of 42.57% to gauge the intelligibility of the synthesized speech. Speech samples can be found at https://nam2speech.github.io/NAM2Speech/
• Abstract（参考訳）: そこで本稿では, 自己超越とシーケンシャル・ツー・シーケンス(Seq2Seq)学習技術を活用して, 非聴覚型Murmur-to-Speech変換タスクにおけるインテリジェンスを著しく向上させる新しい手法を提案する。 提案手法は, 音声の自己超越と音声合成に依拠し, 音素音声を合成する従来の手法と異なり, 音素音声の自己合成と音声合成に依拠する。 提案手法は, 模擬音声を用いたにもかかわらず, メルケプストラル歪み(MCD)測定値の29.08%改善により, 最先端のSOTA(so-of-the-art)を克服する。 さらに,興味のある音声で音声を合成する手法として,誤り率を示し,モデルの有効性を実証する。 さらに,既存のCSTR NAM TIMIT Plusコーパスを拡張し,単語誤り率(WER)を42.57%に設定し,合成音声の可知性を評価する手法を提案する。 音声サンプルはhttps://nam2speech.github.io/NAM2Speech/で見ることができる。

関連論文リスト

• DMDSpeech: Distilled Diffusion Model Surpassing The Teacher in Zero-shot Speech Synthesis via Direct Metric Optimization [12.310318928818546]
  そこで本研究では, 直接的エンドツーエンド評価を用いたTS拡散モデルの蒸留法を提案する。 DMDSpeechは、自然性と話者類似性の両方において、従来の最先端モデルより一貫して上回っていることを示す。 この研究は、音声合成における直接メートル法最適化の可能性を強調し、モデルが人間の聴覚的嗜好とよりよく一致できるようにする。
  論文  参考訳（メタデータ） (2024-10-14T21:17:58Z)
• Evaluating Speech Synthesis by Training Recognizers on Synthetic Speech [34.8899247119748]
  合成音声におけるASRモデルの訓練と実音声における性能評価を含む評価手法を提案する。 提案手法は,SpeechLMScore や MOSNet と比較して,MOS の自然性と MOS の知性の両方に強い相関関係を示す。
  論文  参考訳（メタデータ） (2023-10-01T15:52:48Z)
• SpeechX: Neural Codec Language Model as a Versatile Speech Transformer [57.82364057872905]
  SpeechX は、ゼロショット TTS と様々な音声変換タスクが可能な汎用音声生成モデルである。 実験結果から, ゼロショットTS, ノイズ抑制, ターゲット話者抽出, 音声除去, 背景雑音の有無による音声編集など, 各種タスクにおけるSpeechXの有効性が示された。
  論文  参考訳（メタデータ） (2023-08-14T01:01:19Z)
• Time out of Mind: Generating Rate of Speech conditioned on emotion and speaker [0.0]
  感情によって条件付けされたGANをトレーニングし、与えられた入力テキストに価値ある長さを生成する。 これらの単語長は相対的中性音声であり、テキスト音声システムに提供され、より表現力のある音声を生成する。 我々は,中性音声に対する客観的尺度の精度向上と,アウト・オブ・ボックスモデルと比較した場合の幸福音声に対する時間アライメントの改善を実現した。
  論文  参考訳（メタデータ） (2023-01-29T02:58:01Z)
• Any-speaker Adaptive Text-To-Speech Synthesis with Diffusion Models [65.28001444321465]
  Grad-StyleSpeechは拡散モデルに基づく任意の話者適応型TSフレームワークである。 数秒の参照音声が与えられた場合、ターゲット話者の声と非常によく似た、非常に自然な音声を生成することができる。 英語のベンチマークでは、話者適応型TTSベースラインを著しく上回っている。
  論文  参考訳（メタデータ） (2022-11-17T07:17:24Z)
• Synthesizing Personalized Non-speech Vocalization from Discrete Speech Representations [3.0016140723286457]
  非音声発声モデル(NSV)をテキスト音声タスクとして定式化し,その妥当性を検証した。 具体的には,NSVにおけるHUBERT音声単位の音声表現性を評価し,話者の音色を制御できることを検証した。
  論文  参考訳（メタデータ） (2022-06-25T14:27:10Z)
• TranSpeech: Speech-to-Speech Translation With Bilateral Perturbation [61.564874831498145]
  TranSpeechは、両側摂動を伴う音声から音声への翻訳モデルである。 我々は,非自己回帰S2ST手法を構築し,繰り返しマスキングを行い,単位選択を予測する。 TranSpeechは推論遅延を大幅に改善し、自動回帰技術よりも最大21.4倍のスピードアップを実現している。
  論文  参考訳（メタデータ） (2022-05-25T06:34:14Z)
• Audio-Visual Speech Codecs: Rethinking Audio-Visual Speech Enhancement by Re-Synthesis [67.73554826428762]
  本稿では,AR/VRにおける高忠実度通信のための新しい音声・視覚音声強調フレームワークを提案する。 提案手法は音声・視覚音声の手がかりを利用してニューラル音声のコードを生成することで,ノイズ信号からクリーンでリアルな音声を効率的に合成する。
  論文  参考訳（メタデータ） (2022-03-31T17:57:10Z)
• Towards Language Modelling in the Speech Domain Using Sub-word Linguistic Units [56.52704348773307]
  音節や音素を含む言語単位に基づくLSTMに基づく新しい生成音声LMを提案する。 限られたデータセットでは、現代の生成モデルで要求されるものよりも桁違いに小さいので、我々のモデルはバブリング音声を近似する。 補助的なテキストLM,マルチタスク学習目標,補助的な調音特徴を用いた訓練の効果を示す。
  論文  参考訳（メタデータ） (2021-10-31T22:48:30Z)
• Wav2vec-Switch: Contrastive Learning from Original-noisy Speech Pairs for Robust Speech Recognition [52.71604809100364]
  音声の文脈化表現に雑音のロバスト性をエンコードするwav2vec-Switchを提案する。 具体的には、オリジナルノイズの多い音声ペアを同時にwav2vec 2.0ネットワークに供給する。 既存のコントラスト学習タスクに加えて、原音声と雑音音声の量子化表現を追加の予測対象に切り替える。
  論文  参考訳（メタデータ） (2021-10-11T00:08:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。