論文の概要: Discrete Unit based Masking for Improving Disentanglement in Voice Conversion

• arxiv url: http://arxiv.org/abs/2409.11560v1
• Date: Tue, 17 Sep 2024 21:17:59 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-19 19:49:52.785899
• Title: Discrete Unit based Masking for Improving Disentanglement in Voice Conversion
• Title（参考訳）: 離散単位に基づく音声変換におけるアンタングル改善のためのマスキング
• Authors: Philip H. Lee, Ismail Rasim Ulgen, Berrak Sisman,
• Abstract要約: 話者符号化前の入力に新しいマスキング機構を導入し,音素クラスと高い対応性を持つ特定の個別音声単位をマスキングする。 提案手法は,複数のVC手法間の絡み合いと変換性能を44%向上させ,客観的インテリジェンスを相対的に向上させる。
• 参考スコア（独自算出の注目度）: 8.337649176647645
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Voice conversion (VC) aims to modify the speaker's identity while preserving the linguistic content. Commonly, VC methods use an encoder-decoder architecture, where disentangling the speaker's identity from linguistic information is crucial. However, the disentanglement approaches used in these methods are limited as the speaker features depend on the phonetic content of the utterance, compromising disentanglement. This dependency is amplified with attention-based methods. To address this, we introduce a novel masking mechanism in the input before speaker encoding, masking certain discrete speech units that correspond highly with phoneme classes. Our work aims to reduce the phonetic dependency of speaker features by restricting access to some phonetic information. Furthermore, since our approach is at the input level, it is applicable to any encoder-decoder based VC framework. Our approach improves disentanglement and conversion performance across multiple VC methods, showing significant effectiveness, particularly in attention-based method, with 44% relative improvement in objective intelligibility.
• Abstract（参考訳）: 音声変換(VC)は、言語コンテンツを保存しながら話者のアイデンティティを変更することを目的としている。 一般的に、VCメソッドはエンコーダ・デコーダアーキテクチャを使用し、話者のアイデンティティを言語情報から切り離すことが重要である。 しかし, 話者の特徴が発話の音声内容に依存しているため, 絡み合いが制限され, 絡み合いが悪化する。 この依存は注意に基づく手法で増幅される。 これを解決するために,話者符号化前の入力に新しいマスキング機構を導入し,音素クラスと高い対応性を持つ特定の個別音声単位をマスキングする。 本研究は,一部の音声情報へのアクセスを制限することで,話者特徴の音素依存性を低減することを目的としている。 さらに,本手法は入力レベルであるため,任意のエンコーダデコーダベースのVCフレームワークに適用可能である。 提案手法は,複数のVC手法間の絡み合いや変換性能を向上し,特に注意に基づく手法では,客観的なインテリジェンスにおいて44%の相対的な改善が見られた。

関連論文リスト

• SKQVC: One-Shot Voice Conversion by K-Means Quantization with Self-Supervised Speech Representations [12.423959479216895]
  ワンショット音声変換(ワンショット音声変換、英: One-shot Voice conversion、VC)は、単一の話者発話のみを用いて、任意の2つの話者間の変換を可能にする方法である。 K平均量子化(KQ)と自己教師付き学習(SSL)機能を利用した最近の研究は、音声からコンテンツ情報をキャプチャできることを示した。 本稿では,SSLの特徴と音声属性を利用した,シンプルで効果的なワンショットVCモデルを提案する。
  論文  参考訳（メタデータ） (2024-11-25T07:14:26Z)
• Accent conversion using discrete units with parallel data synthesized from controllable accented TTS [56.18382038512251]
  アクセント変換(AC)の目的は、コンテンツと話者のアイデンティティを保ちながら、アクセントを変換することである。 従来の手法では、推論中に参照発話が必要であったり、話者のアイデンティティを十分に保持していなかったり、ネイティブでないアクセントごとにのみトレーニング可能な1対1のシステムを使用していた。 本稿では,これらの問題を克服するために,多くのアクセントをネイティブに変換する,有望なACモデルを提案する。
  論文  参考訳（メタデータ） (2024-09-30T19:52:10Z)
• Towards General-Purpose Text-Instruction-Guided Voice Conversion [84.78206348045428]
  本稿では,「深い声調でゆっくり発声する」や「陽気な少年声で話す」といったテキスト指示によって導かれる,新しい音声変換モデルを提案する。 提案したVCモデルは、離散コード列を処理するニューラルネットワークモデルであり、変換された音声のコード列を生成する。
  論文  参考訳（メタデータ） (2023-09-25T17:52:09Z)
• Adversarial Speaker Disentanglement Using Unannotated External Data for Self-supervised Representation Based Voice Conversion [35.23123094710891]
  SSL表現を入力した高相似性ノン・ワン音声変換法を提案する。 実験の結果,本手法は教師付き手法と同等の類似性と自然性が得られることがわかった。
  論文  参考訳（メタデータ） (2023-05-16T04:52:29Z)
• Robust Disentangled Variational Speech Representation Learning for Zero-shot Voice Conversion [34.139871476234205]
  自己教師付き不協和音声表現学習の新たな視点からゼロショット音声変換について検討する。 任意の話者埋め込みとコンテンツ埋め込みとを逐次変分オートエンコーダ(VAE)デコーダに供給してゼロショット音声変換を行う。 TIMIT と VCTK のデータセットでは,話者の埋め込みとコンテンツ埋め込みに関する話者検証 (SV) と主観的評価,すなわち音声の自然性や類似性を両立させ,ノイズのある音源/ターゲット発話においても頑健である。
  論文  参考訳（メタデータ） (2022-03-30T23:03:19Z)
• VQMIVC: Vector Quantization and Mutual Information-Based Unsupervised Speech Representation Disentanglement for One-shot Voice Conversion [54.29557210925752]
  ワンショット音声変換は、音声表現のアンタングルメントによって効果的に実現できる。 コンテンツエンコーディングにはベクトル量子化(VQ)を使用し、トレーニング中に相互情報(MI)を相関指標として導入する。 実験結果は,提案手法が効果的に非絡み合った音声表現を学習する際の優位性を反映している。
  論文  参考訳（メタデータ） (2021-06-18T13:50:38Z)
• Voicy: Zero-Shot Non-Parallel Voice Conversion in Noisy Reverberant Environments [76.98764900754111]
  音声変換(Voice Conversion, VC)は, 音源発話の非言語情報を変換し, 話者の同一性を変化させることを目的とした技術である。 我々は、特に騒々しいスピーチに適した新しいVCフレームワークであるVoicyを提案する。 自動エンコーダフレームワークにインスパイアされた本手法は,4つのエンコーダ(スピーカ,コンテンツ,音声,音響-ASR)と1つのデコーダから構成される。
  論文  参考訳（メタデータ） (2021-06-16T15:47:06Z)
• VQVC+: One-Shot Voice Conversion by Vector Quantization and U-Net architecture [71.45920122349628]
  自動エンコーダベースのVC手法は、話者のアイデンティティを付与することなく、入力音声中の話者とコンテンツをアンタングルする。 自動エンコーダベースのVCシステムでは,U-Netアーキテクチャを用いて音質を向上する。
  論文  参考訳（メタデータ） (2020-06-07T14:01:16Z)
• Improving Accent Conversion with Reference Encoder and End-To-End Text-To-Speech [23.30022534796909]
  アクセント変換(AC)は、話者の声の音色を維持しながら、非ネイティブ話者のアクセントをネイティブアクセントに変換する。 本稿では,アクセント変換の適用性の向上と品質向上のためのアプローチを提案する。
  論文  参考訳（メタデータ） (2020-05-19T08:09:58Z)
• F0-consistent many-to-many non-parallel voice conversion via conditional autoencoder [53.901873501494606]
  自動エンコーダによる音声変換を改良し,コンテンツ,F0,話者識別を同時に行う。 我々はF0輪郭を制御でき、ターゲット話者と一致したF0音声を生成し、品質と類似性を大幅に向上させることができる。
  論文  参考訳（メタデータ） (2020-04-15T22:00:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。