論文の概要: Transfer the linguistic representations from TTS to accent conversion with non-parallel data

• arxiv url: http://arxiv.org/abs/2401.03538v1
• Date: Sun, 7 Jan 2024 16:39:34 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-09 18:29:39.061783
• Title: Transfer the linguistic representations from TTS to accent conversion with non-parallel data
• Title（参考訳）: 非並列データを用いたTSからアクセント変換への言語表現の転送
• Authors: Xi Chen, Jiakun Pei, Liumeng Xue, Mingyang Zhang
• Abstract要約: アクセント変換は、話者のアイデンティティを保ちながら、ソース音声のアクセントをターゲットアクセントに変換することを目的としている。 本稿ではアクセントに依存しない言語表現を学習するアクセント変換のための新しい非自己回帰フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 7.376032484438044
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Accent conversion aims to convert the accent of a source speech to a target accent, meanwhile preserving the speaker's identity. This paper introduces a novel non-autoregressive framework for accent conversion that learns accent-agnostic linguistic representations and employs them to convert the accent in the source speech. Specifically, the proposed system aligns speech representations with linguistic representations obtained from Text-to-Speech (TTS) systems, enabling training of the accent voice conversion model on non-parallel data. Furthermore, we investigate the effectiveness of a pretraining strategy on native data and different acoustic features within our proposed framework. We conduct a comprehensive evaluation using both subjective and objective metrics to assess the performance of our approach. The evaluation results highlight the benefits of the pretraining strategy and the incorporation of richer semantic features, resulting in significantly enhanced audio quality and intelligibility.
• Abstract（参考訳）: アクセント変換は、話者のアイデンティティを保ちながら、ソース音声のアクセントをターゲットアクセントに変換することを目的としている。 本稿では,アクセント非依存の言語表現を学習し,そのアクセントを母語音声のアクセントに変換する新しい非自己回帰的アクセント変換フレームワークを提案する。 具体的には、音声表現をテキスト音声変換(TTS)システムから得られる言語表現と整合させ、非並列データ上でアクセント音声変換モデルの訓練を可能にする。 さらに,本提案手法におけるネイティブデータと異なる音響特徴に対する事前学習戦略の有効性について検討した。 主観的指標と客観的指標の両方を用いて包括的評価を行い、アプローチの性能を評価する。 評価結果は、事前学習戦略の利点とよりリッチな意味的特徴の取り入れを強調し、音質と知性を大幅に向上させる。

関連論文リスト

• Improving Pronunciation and Accent Conversion through Knowledge Distillation And Synthetic Ground-Truth from Native TTS [52.89324095217975]
  アクセント変換に対する従来のアプローチは主に非ネイティブ音声をよりネイティブにすることを目的としていた。 我々は、アクセント変換だけでなく、非ネイティブアクセント話者の発音を改善する新しいACアプローチを開発した。
  論文  参考訳（メタデータ） (2024-10-19T06:12:31Z)
• Accent conversion using discrete units with parallel data synthesized from controllable accented TTS [56.18382038512251]
  アクセント変換(AC)の目的は、コンテンツと話者のアイデンティティを保ちながら、アクセントを変換することである。 従来の手法では、推論中に参照発話が必要であったり、話者のアイデンティティを十分に保持していなかったり、ネイティブでないアクセントごとにのみトレーニング可能な1対1のシステムを使用していた。 本稿では,これらの問題を克服するために,多くのアクセントをネイティブに変換する,有望なACモデルを提案する。
  論文  参考訳（メタデータ） (2024-09-30T19:52:10Z)
• Accented Speech Recognition With Accent-specific Codebooks [53.288874858671576]
  音声アクセントは最先端の自動音声認識(ASR)システムに重大な課題をもたらす。 あまり表現されないアクセントによる性能低下は、ASRの包括的採用に対する深刻な抑止力である。 トレーニング可能なコードブックを用いたクロスアテンションを用いた,エンドツーエンドのASRシステムに対するアクセント適応手法を提案する。
  論文  参考訳（メタデータ） (2023-10-24T16:10:58Z)
• Accented Text-to-Speech Synthesis with a Conditional Variational Autoencoder [14.323313455208183]
  本稿では,条件付き変分オートエンコーダに基づくアクセント付きテキスト音声合成のための新しいフレームワークを提案する。 選択された話者の声を合成し、任意のターゲットアクセントに変換することができる。
  論文  参考訳（メタデータ） (2022-11-07T05:36:30Z)
• Cross-lingual Text-To-Speech with Flow-based Voice Conversion for Improved Pronunciation [11.336431583289382]
  本稿では,エンドツーエンドの言語間テキスト合成手法を提案する。 本来の話者の言語によらず、対象言語の発音を維持することを目的としている。
  論文  参考訳（メタデータ） (2022-10-31T12:44:53Z)
• Robust Disentangled Variational Speech Representation Learning for Zero-shot Voice Conversion [34.139871476234205]
  自己教師付き不協和音声表現学習の新たな視点からゼロショット音声変換について検討する。 任意の話者埋め込みとコンテンツ埋め込みとを逐次変分オートエンコーダ(VAE)デコーダに供給してゼロショット音声変換を行う。 TIMIT と VCTK のデータセットでは,話者の埋め込みとコンテンツ埋め込みに関する話者検証 (SV) と主観的評価,すなわち音声の自然性や類似性を両立させ,ノイズのある音源/ターゲット発話においても頑健である。
  論文  参考訳（メタデータ） (2022-03-30T23:03:19Z)
• ASR data augmentation in low-resource settings using cross-lingual multi-speaker TTS and cross-lingual voice conversion [49.617722668505834]
  提案手法は,モデル学習中に1つの話者のみを用いて音声合成と音声変換を行い,ASRシステムの改善を可能にする。 対象言語における1つの実話者のみを用いてデータ拡張法を用いて、有望なASRトレーニング結果を得ることが可能である。
  論文  参考訳（メタデータ） (2022-03-29T11:55:30Z)
• On Prosody Modeling for ASR+TTS based Voice Conversion [82.65378387724641]
  音声変換において、最新の音声変換チャレンジ(VCC)2020における有望な結果を示すアプローチは、まず、ソース音声を基礎となる言語内容に書き起こすために、自動音声認識(ASR)モデルを使用することである。 このようなパラダイムはASR+TTSと呼ばれ、音声の自然性と変換の類似性において重要な役割を果たす韻律のモデル化を見落としている。 本稿では,ターゲットテキスト予測(TTP)と呼ばれる,ターゲット話者に依存した言語表現から直接韻律を予測することを提案する。
  論文  参考訳（メタデータ） (2021-07-20T13:30:23Z)
• VQMIVC: Vector Quantization and Mutual Information-Based Unsupervised Speech Representation Disentanglement for One-shot Voice Conversion [54.29557210925752]
  ワンショット音声変換は、音声表現のアンタングルメントによって効果的に実現できる。 コンテンツエンコーディングにはベクトル量子化(VQ)を使用し、トレーニング中に相互情報(MI)を相関指標として導入する。 実験結果は,提案手法が効果的に非絡み合った音声表現を学習する際の優位性を反映している。
  論文  参考訳（メタデータ） (2021-06-18T13:50:38Z)
• Improving Accent Conversion with Reference Encoder and End-To-End Text-To-Speech [23.30022534796909]
  アクセント変換(AC)は、話者の声の音色を維持しながら、非ネイティブ話者のアクセントをネイティブアクセントに変換する。 本稿では,アクセント変換の適用性の向上と品質向上のためのアプローチを提案する。
  論文  参考訳（メタデータ） (2020-05-19T08:09:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。