論文の概要: Accent conversion using discrete units with parallel data synthesized from controllable accented TTS

• arxiv url: http://arxiv.org/abs/2410.03734v1
• Date: Mon, 30 Sep 2024 19:52:10 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-02 20:18:28.516209
• Title: Accent conversion using discrete units with parallel data synthesized from controllable accented TTS
• Title（参考訳）: 制御可能なアクセントTSから合成した並列データを用いた離散単位のアクセント変換
• Authors: Tuan Nam Nguyen, Ngoc Quan Pham, Alexander Waibel,
• Abstract要約: アクセント変換(AC)の目的は、コンテンツと話者のアイデンティティを保ちながら、アクセントを変換することである。 従来の手法では、推論中に参照発話が必要であったり、話者のアイデンティティを十分に保持していなかったり、ネイティブでないアクセントごとにのみトレーニング可能な1対1のシステムを使用していた。 本稿では,これらの問題を克服するために,多くのアクセントをネイティブに変換する,有望なACモデルを提案する。
• 参考スコア（独自算出の注目度）: 56.18382038512251
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The goal of accent conversion (AC) is to convert speech accents while preserving content and speaker identity. Previous methods either required reference utterances during inference, did not preserve speaker identity well, or used one-to-one systems that could only be trained for each non-native accent. This paper presents a promising AC model that can convert many accents into native to overcome these issues. Our approach utilizes discrete units, derived from clustering self-supervised representations of native speech, as an intermediary target for accent conversion. Leveraging multi-speaker text-to-speech synthesis, it transforms these discrete representations back into native speech while retaining the speaker identity. Additionally, we develop an efficient data augmentation method to train the system without demanding a lot of non-native resources. Our system is proved to improve non-native speaker fluency, sound like a native accent, and preserve original speaker identity well.
• Abstract（参考訳）: アクセント変換(AC)の目的は、コンテンツと話者のアイデンティティを保ちながら、アクセントを変換することである。 従来の手法では、推論中に参照発話が必要であったり、話者のアイデンティティを十分に保持していなかったり、ネイティブでないアクセントごとにのみトレーニング可能な1対1のシステムを使用していた。 本稿では,これらの問題を克服するために,多くのアクセントをネイティブに変換する,有望なACモデルを提案する。 提案手法では,アクセント変換の中間ターゲットとして,ネイティブ音声の自己教師付き表現をクラスタリングした離散単位を用いる。 マルチスピーカーのテキスト音声合成を活用して、話者のアイデンティティを維持しながら、これらの離散表現を母語に変換する。 さらに,非ネイティブなリソースを多く必要とせずに,システムのトレーニングを行う効率的なデータ拡張手法を開発した。 本システムは,非母国語話者のアクセントを改良し,母国語アクセントのように聞こえ,元の話者のアイデンティティを良好に維持することが実証された。

関連論文リスト

• Improving Pronunciation and Accent Conversion through Knowledge Distillation And Synthetic Ground-Truth from Native TTS [52.89324095217975]
  アクセント変換に対する従来のアプローチは主に非ネイティブ音声をよりネイティブにすることを目的としていた。 我々は、アクセント変換だけでなく、非ネイティブアクセント話者の発音を改善する新しいACアプローチを開発した。
  論文  参考訳（メタデータ） (2024-10-19T06:12:31Z)
• Transfer the linguistic representations from TTS to accent conversion with non-parallel data [7.376032484438044]
  アクセント変換は、話者のアイデンティティを保ちながら、ソース音声のアクセントをターゲットアクセントに変換することを目的としている。 本稿ではアクセントに依存しない言語表現を学習するアクセント変換のための新しい非自己回帰フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-01-07T16:39:34Z)
• Accented Speech Recognition With Accent-specific Codebooks [53.288874858671576]
  音声アクセントは最先端の自動音声認識(ASR)システムに重大な課題をもたらす。 あまり表現されないアクセントによる性能低下は、ASRの包括的採用に対する深刻な抑止力である。 トレーニング可能なコードブックを用いたクロスアテンションを用いた,エンドツーエンドのASRシステムに対するアクセント適応手法を提案する。
  論文  参考訳（メタデータ） (2023-10-24T16:10:58Z)
• Self-supervised Fine-tuning for Improved Content Representations by Speaker-invariant Clustering [78.2927924732142]
  話者不変クラスタリング(Spin)を自己教師付き学習手法として提案する。 Spinは、単一のGPU上で45分間の微調整で、スピーカー情報を切り離し、コンテンツ表現を保存する。
  論文  参考訳（メタデータ） (2023-05-18T15:59:36Z)
• Voice-preserving Zero-shot Multiple Accent Conversion [14.218374374305421]
  アクセント変換システムは、話者のアクセントを変更するが、その話者の音声アイデンティティを保持する。 我々は,他の音響特性を維持しつつ,アクセント依存的特徴をアンタングル化するために,対角学習を用いる。 我々のモデルは、ターゲットのアクセントに近づき、元の話者のように聞こえる音声を生成する。
  論文  参考訳（メタデータ） (2022-11-23T19:51:16Z)
• A unified one-shot prosody and speaker conversion system with self-supervised discrete speech units [94.64927912924087]
  既存のシステムは韻律と言語内容の相関を無視し、変換された音声の自然度を低下させる。 自己教師付き離散音声単位を言語表現として活用するカスケードモジュラーシステムを提案する。 実験により,本システムは,自然性,知性,話者伝達性,韻律伝達性において,従来の手法よりも優れていたことがわかった。
  論文  参考訳（メタデータ） (2022-11-12T00:54:09Z)
• VQMIVC: Vector Quantization and Mutual Information-Based Unsupervised Speech Representation Disentanglement for One-shot Voice Conversion [54.29557210925752]
  ワンショット音声変換は、音声表現のアンタングルメントによって効果的に実現できる。 コンテンツエンコーディングにはベクトル量子化(VQ)を使用し、トレーニング中に相互情報(MI)を相関指標として導入する。 実験結果は,提案手法が効果的に非絡み合った音声表現を学習する際の優位性を反映している。
  論文  参考訳（メタデータ） (2021-06-18T13:50:38Z)
• Improving Accent Conversion with Reference Encoder and End-To-End Text-To-Speech [23.30022534796909]
  アクセント変換(AC)は、話者の声の音色を維持しながら、非ネイティブ話者のアクセントをネイティブアクセントに変換する。 本稿では,アクセント変換の適用性の向上と品質向上のためのアプローチを提案する。
  論文  参考訳（メタデータ） (2020-05-19T08:09:58Z)
• AccentDB: A Database of Non-Native English Accents to Assist Neural Speech Recognition [3.028098724882708]
  まず、ロバストなASRシステムのトレーニングとテストのために、非ネイティブアクセントで音声サンプルの精度の高いデータベースを作成するための重要な要件について説明する。 次に、私たちによって収集された4つのインド英語アクセントのサンプルを含む、そのようなデータベースであるAccentDBを紹介します。 アクセント分類モデルをいくつか提示し, アクセントクラスに対して徹底的に評価する。
  論文  参考訳（メタデータ） (2020-05-16T12:38:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。