Fugu-MT 論文翻訳(概要): HiFi-VC: High Quality ASR-Based Voice Conversion

論文の概要: HiFi-VC: High Quality ASR-Based Voice Conversion

arxiv url: http://arxiv.org/abs/2203.16937v1
Date: Thu, 31 Mar 2022 10:45:32 GMT
ステータス: 処理完了
システム内更新日: 2022-04-02 01:14:49.416864
Title: HiFi-VC: High Quality ASR-Based Voice Conversion
Title（参考訳）: HiFi-VC:高品質のASRベースの音声変換
Authors: A. Kashkin, I. Karpukhin, S. Shishkin
Abstract要約: 音声変換パイプラインを新たに提案する。提案手法では,音声認識機能,ピッチ追跡,最先端波形予測モデルを用いる。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by/4.0/
Abstract: The goal of voice conversion (VC) is to convert input voice to match the target speaker's voice while keeping text and prosody intact. VC is usually used in entertainment and speaking-aid systems, as well as applied for speech data generation and augmentation. The development of any-to-any VC systems, which are capable of generating voices unseen during model training, is of particular interest to both researchers and the industry. Despite recent progress, any-to-any conversion quality is still inferior to natural speech. In this work, we propose a new any-to-any voice conversion pipeline. Our approach uses automated speech recognition (ASR) features, pitch tracking, and a state-of-the-art waveform prediction model. According to multiple subjective and objective evaluations, our method outperforms modern baselines in terms of voice quality, similarity and consistency.
Abstract（参考訳）: 音声変換(VC)の目的は、テキストと韻律をそのまま保ちながら、入力音声を対象話者の声に合わせることである。 VCは通常、エンターテイメントや音声支援システムで使われ、音声データ生成や拡張にも使われる。モデルトレーニング中に見つからない声を発生させることのできる、あらゆる対物VCシステムの開発は、研究者と業界の両方にとって特に関心がある。最近の進歩にもかかわらず、あらゆる変換品質は自然言語に劣っている。本研究では,新たな音声変換パイプラインを提案する。提案手法では,自動音声認識(ASR)機能,ピッチ追跡,最先端波形予測モデルを用いる。複数の主観的・客観的評価により,本手法は声質,類似性,一貫性の点で,現代のベースラインを上回っている。

関連論文リスト

SEF-VC: Speaker Embedding Free Zero-Shot Voice Conversion with Cross Attention [24.842378497026154]
SEF-VCは、話者埋め込み自由音声変換モデルである。話者の音色を、強力な位置非依存のクロスアテンション機構を通じて参照音声から学習し、組み込む。 HuBERTセマンティックトークンからの波形を非自己回帰的に再構成する。
論文参考訳（メタデータ） (2023-12-14T06:26:55Z)
Non-Parallel Voice Conversion for ASR Augmentation [23.95732033698818]
音声変換は、ASR性能を改善するためのデータ拡張手法として使用できる。多くの話者を含むにもかかわらず、話者の多様性はASRの品質に制限される可能性がある。
論文参考訳（メタデータ） (2022-09-15T00:40:35Z)
Robust Disentangled Variational Speech Representation Learning for Zero-shot Voice Conversion [34.139871476234205]
自己教師付き不協和音声表現学習の新たな視点からゼロショット音声変換について検討する。任意の話者埋め込みとコンテンツ埋め込みとを逐次変分オートエンコーダ(VAE)デコーダに供給してゼロショット音声変換を行う。 TIMIT と VCTK のデータセットでは,話者の埋め込みとコンテンツ埋め込みに関する話者検証 (SV) と主観的評価,すなわち音声の自然性や類似性を両立させ,ノイズのある音源/ターゲット発話においても頑健である。
論文参考訳（メタデータ） (2022-03-30T23:03:19Z)
StarGANv2-VC: A Diverse, Unsupervised, Non-parallel Framework for Natural-Sounding Voice Conversion [19.74933410443264]
本稿では, StarGAN v2 と呼ばれるGAN (Generative Adversarial Network) を用いた教師なし多人数音声変換手法を提案する。私たちのモデルは20人の英語話者でしか訓練されていません。音声変換タスク、例えば、非対人、言語横断、歌唱などのタスクに一般化する。
論文参考訳（メタデータ） (2021-07-21T23:44:17Z)
On Prosody Modeling for ASR+TTS based Voice Conversion [82.65378387724641]
音声変換において、最新の音声変換チャレンジ(VCC)2020における有望な結果を示すアプローチは、まず、ソース音声を基礎となる言語内容に書き起こすために、自動音声認識(ASR)モデルを使用することである。このようなパラダイムはASR+TTSと呼ばれ、音声の自然性と変換の類似性において重要な役割を果たす韻律のモデル化を見落としている。本稿では,ターゲットテキスト予測(TTP)と呼ばれる,ターゲット話者に依存した言語表現から直接韻律を予測することを提案する。
論文参考訳（メタデータ） (2021-07-20T13:30:23Z)
VQMIVC: Vector Quantization and Mutual Information-Based Unsupervised Speech Representation Disentanglement for One-shot Voice Conversion [54.29557210925752]
ワンショット音声変換は、音声表現のアンタングルメントによって効果的に実現できる。コンテンツエンコーディングにはベクトル量子化(VQ)を使用し、トレーニング中に相互情報(MI)を相関指標として導入する。実験結果は,提案手法が効果的に非絡み合った音声表現を学習する際の優位性を反映している。
論文参考訳（メタデータ） (2021-06-18T13:50:38Z)
Voicy: Zero-Shot Non-Parallel Voice Conversion in Noisy Reverberant Environments [76.98764900754111]
音声変換(Voice Conversion, VC)は, 音源発話の非言語情報を変換し, 話者の同一性を変化させることを目的とした技術である。我々は、特に騒々しいスピーチに適した新しいVCフレームワークであるVoicyを提案する。自動エンコーダフレームワークにインスパイアされた本手法は,4つのエンコーダ(スピーカ,コンテンツ,音声,音響-ASR)と1つのデコーダから構成される。
論文参考訳（メタデータ） (2021-06-16T15:47:06Z)
An Adaptive Learning based Generative Adversarial Network for One-To-One Voice Conversion [9.703390665821463]
本稿では,効率の良い1対1話者VCのための適応学習型GANモデルであるALGAN-VCを提案する。このモデルは、Voice Conversion Challenge (VCC) 2016、2018、2020データセット、および自己準備のスピーチデータセットでテストされています。生成音声サンプルの主観的および客観的評価は,提案モデルが音声変換タスクをエレガントに実行していることを示した。
論文参考訳（メタデータ） (2021-04-25T13:44:32Z)
The Sequence-to-Sequence Baseline for the Voice Conversion Challenge 2020: Cascading ASR and TTS [66.06385966689965]
本稿では,音声変換チャレンジ(VCC)2020におけるSequence-to-Sequence(seq2seq)ベースラインシステムを提案する。本稿では,まず入力音声を自動音声認識 (ASR) モデルで書き起こす,音声変換 (VC) のナイーブなアプローチを検討する。本手法を,オープンソースのエンドツーエンド音声処理ツールキットであるESPnetを用いて,シーケンス・ツー・シーケンス(seq2seq)フレームワークで再検討する。
論文参考訳（メタデータ） (2020-10-06T02:27:38Z)
VQVC+: One-Shot Voice Conversion by Vector Quantization and U-Net architecture [71.45920122349628]
自動エンコーダベースのVC手法は、話者のアイデンティティを付与することなく、入力音声中の話者とコンテンツをアンタングルする。自動エンコーダベースのVCシステムでは,U-Netアーキテクチャを用いて音質を向上する。
論文参考訳（メタデータ） (2020-06-07T14:01:16Z)
VoiceCoach: Interactive Evidence-based Training for Voice Modulation Skills in Public Speaking [55.366941476863644]
ピッチ,ボリューム,速度などの音声特性の変調は,公的な発話を成功させる上で極めて重要である。音声変調スキルの効果的な訓練を容易にする対話型エビデンスに基づくアプローチであるVoiceCoachを提案する。
論文参考訳（メタデータ） (2020-01-22T04:52:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。