論文の概要: MaskCycleGAN-based Whisper to Normal Speech Conversion

• arxiv url: http://arxiv.org/abs/2408.14797v1
• Date: Tue, 27 Aug 2024 06:07:18 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-28 14:54:56.758044
• Title: MaskCycleGAN-based Whisper to Normal Speech Conversion
• Title（参考訳）: MaskCycleGAN-based Whisper to normal Speech Conversion
• Authors: K. Rohith Gupta, K. Ramnath, S. Johanan Joysingh, P. Vijayalakshmi, T. Nagarajan,
• Abstract要約: 本稿では,通常の音声への変換のためのMaskCycleGANアプローチを提案する。 マスクパラメータをチューニングし,音声活動検出器で信号の事前処理を行うことで,性能が向上することがわかった。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Whisper to normal speech conversion is an active area of research. Various architectures based on generative adversarial networks have been proposed in the recent past. Especially, recent study shows that MaskCycleGAN, which is a mask guided, and cyclic consistency keeping, generative adversarial network, performs really well for voice conversion from spectrogram representations. In the current work we present a MaskCycleGAN approach for the conversion of whispered speech to normal speech. We find that tuning the mask parameters, and pre-processing the signal with a voice activity detector provides superior performance when compared to the existing approach. The wTIMIT dataset is used for evaluation. Objective metrics such as PESQ and G-Loss are used to evaluate the converted speech, along with subjective evaluation using mean opinion score. The results show that the proposed approach offers considerable benefits.
• Abstract（参考訳）: 通常の音声変換に対するウィスパーは研究の活発な領域である。 生成的対向ネットワークに基づく様々なアーキテクチャが近年提案されている。 特に最近の研究では、マスクガイドされたMaskCycleGANは、生成的対向ネットワークである循環的整合性維持であり、スペクトル表現からの音声変換に非常に優れていることが示されている。 本研究では,話し言葉を正規語に変換するためのMaskCycleGANアプローチを提案する。 マスクパラメータをチューニングし,音声活動検出器で信号の事前処理を行うことで,既存の手法と比較して優れた性能が得られることがわかった。 wTIMITデータセットは評価に使用される。 PESQ や G-Loss などの客観的指標を用いて、平均的意見スコアを用いた主観的評価を行う。 その結果,提案手法は有意な利益をもたらすことがわかった。

関連論文リスト

• Bridge the Points: Graph-based Few-shot Segment Anything Semantically [79.1519244940518]
  プレトレーニング技術の最近の進歩により、視覚基礎モデルの能力が向上した。 最近の研究はSAMをFew-shot Semantic segmentation (FSS)に拡張している。 本稿では,グラフ解析に基づく簡易かつ効果的な手法を提案する。
  論文  参考訳（メタデータ） (2024-10-09T15:02:28Z)
• MaskSR: Masked Language Model for Full-band Speech Restoration [7.015213589171985]
  音声の復元は,様々な歪みが存在する場合に高品質な音声を復元することを目的としている。 雑音,リバーブ,クリップング,低帯域を考慮したフルバンド44.1kHz音声の復元が可能なマスク付き言語モデルであるMaskSRを提案する。
  論文  参考訳（メタデータ） (2024-06-04T08:23:57Z)
• Audio-visual End-to-end Multi-channel Speech Separation, Dereverberation and Recognition [52.11964238935099]
  本稿では,音声-視覚的多チャンネル音声分離,デバーベレーション,認識手法を提案する。 ビデオ入力は、マスクベースのMVDR音声分離、DNN-WPEまたはスペクトルマッピング(SpecM)ベースの音声残響フロントエンドで一貫して実証される。 オックスフォードLSS2データセットのシミュレーションや再生を用いて合成した重畳および残響音声データについて実験を行った。
  論文  参考訳（メタデータ） (2023-07-06T10:50:46Z)
• Prompt Tuning of Deep Neural Networks for Speaker-adaptive Visual Speech Recognition [66.94463981654216]
  話者適応型視覚音声認識(VSR)のためのディープニューラルネットワーク(DNN)の即時チューニング手法を提案する。 我々は、事前訓練されたモデルパラメータを変更する代わりに、ターゲット話者の適応データを微調整する。 提案手法の有効性を単語レベルのVSRデータベースと文レベルのVSRデータベースで評価した。
  論文  参考訳（メタデータ） (2023-02-16T06:01:31Z)
• Speech segmentation using multilevel hybrid filters [0.0]
  マルチレベルハイブリッド(平均/最小)フィルタ(MHF)に基づく音声分割の新しい手法を提案する。 提案手法はスペクトル変化に基づいて,音声を均質な音響セグメントに分割することを目的としている。 このアルゴリズムは、音声合成された音声コーダに使われ、良好な結果が得られている。
  論文  参考訳（メタデータ） (2022-02-24T00:03:02Z)
• Discretization and Re-synthesis: an alternative method to solve the Cocktail Party Problem [65.25725367771075]
  この研究は、初めて合成に基づくアプローチがこの問題にうまく対応できることを示した。 具体的には,離散シンボルの認識に基づく音声分離/強調モデルを提案する。 離散シンボルの入力による合成モデルを利用することで、離散シンボル列の予測後、各ターゲット音声を再合成することができる。
  論文  参考訳（メタデータ） (2021-12-17T08:35:40Z)
• Gated Recurrent Fusion with Joint Training Framework for Robust End-to-End Speech Recognition [64.9317368575585]
  本稿では,ロバスト・エンド・ツー・エンドASRのためのジョイント・トレーニング・フレームワークを用いたゲート・リカレント・フュージョン(GRF)法を提案する。 GRFアルゴリズムはノイズと拡張された特徴を動的に組み合わせるために使用される。 提案手法は従来の関節強化・変圧器法に比べて10.04%の相対的文字誤り率(CER)低減を実現する。
  論文  参考訳（メタデータ） (2020-11-09T08:52:05Z)
• Are you wearing a mask? Improving mask detection from speech using augmentation by cycle-consistent GANs [24.182791316595576]
  本稿では,音声からのマスク検出のための新しいデータ拡張手法を提案する。 提案手法は (i) GAN(Geneversarative Adrial Networks) の学習に基づく。 我々のデータ拡張アプローチは、他のベースラインや最先端の拡張手法よりも優れた結果をもたらすことを示す。
  論文  参考訳（メタデータ） (2020-06-17T20:46:50Z)
• End-to-End Whisper to Natural Speech Conversion using Modified Transformer Network [0.8399688944263843]
  シーケンス・ツー・シーケンス・アプローチを用いて、whisper-to-natural-speech変換を導入する。 本稿では,メル周波数ケプストラム係数やスムーズなスペクトル特徴などの異なる特徴について検討する。 提案するネットワークは、機能間変換のための教師ありアプローチを用いて、エンドツーエンドで訓練される。
  論文  参考訳（メタデータ） (2020-04-20T14:47:46Z)
• End-to-End Automatic Speech Recognition Integrated With CTC-Based Voice Activity Detection [48.80449801938696]
  本稿では,音声活動検出機能とエンドツーエンドの自動音声認識を統合する。 我々は,コネクショニストの時間的分類(CTC)と,同期/アテンションの拡張に焦点を当てた。 簡単なしきい値を用いた音声区間検出のためのキューとしてラベルを用いる。
  論文  参考訳（メタデータ） (2020-02-03T03:36:34Z)
• Detection of Glottal Closure Instants from Speech Signals: a Quantitative Review [9.351195374919365]
  最先端の5つのGCI検出アルゴリズムを6つのデータベースを用いて比較する。 これらの手法の有効性は, 可読性と精度の両面から, クリーン音声で評価される。 クリーン音声では, SEDREAMS と YAGA が識別率と精度の両面で最良であることを示す。
  論文  参考訳（メタデータ） (2019-12-28T14:12:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。