論文の概要: An analysis on the effects of speaker embedding choice in non auto-regressive TTS

• arxiv url: http://arxiv.org/abs/2307.09898v1
• Date: Wed, 19 Jul 2023 10:57:54 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-20 14:28:36.244483
• Title: An analysis on the effects of speaker embedding choice in non auto-regressive TTS
• Title（参考訳）: 非自己回帰的TSSにおける話者埋め込み選択の効果に関する分析
• Authors: Adriana Stan and Johannah O'Mahony
• Abstract要約: 本稿では,非自己回帰的分解型マルチ話者音声合成アーキテクチャが,異なる話者埋め込みセットに存在する情報をどのように活用するかを理解するための最初の試みを紹介する。 使用済みの埋め込みと学習戦略にかかわらず、ネットワークは様々な話者識別を等しく扱うことができることを示す。
• 参考スコア（独自算出の注目度）: 4.619541348328938
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: In this paper we introduce a first attempt on understanding how a non-autoregressive factorised multi-speaker speech synthesis architecture exploits the information present in different speaker embedding sets. We analyse if jointly learning the representations, and initialising them from pretrained models determine any quality improvements for target speaker identities. In a separate analysis, we investigate how the different sets of embeddings impact the network's core speech abstraction (i.e. zero conditioned) in terms of speaker identity and representation learning. We show that, regardless of the used set of embeddings and learning strategy, the network can handle various speaker identities equally well, with barely noticeable variations in speech output quality, and that speaker leakage within the core structure of the synthesis system is inevitable in the standard training procedures adopted thus far.
• Abstract（参考訳）: 本稿では,非自己回帰分解型マルチ話者音声合成アーキテクチャが,異なる話者埋め込み集合に存在する情報をどのように利用するかを理解するための最初の試みを提案する。 共同学習を行い,事前学習モデルから初期化することで,対象話者の識別精度が向上するかどうかを解析した。 別の分析では、異なる埋め込みセットが、話者のアイデンティティと表現学習の観点から、ネットワークのコア音声抽象化(すなわちゼロ条件付き)にどのように影響するかを調査した。 提案手法は, 組込みや学習戦略によらず, 様々な話者の同一性を扱うことができ, 音声の出力品質にはほとんど目立たない変化があり, 合成システムのコア構造における話者の漏洩は, これまでに採用されている標準訓練手順では避けられないことを示す。

関連論文リスト

• Integrating Audio, Visual, and Semantic Information for Enhanced Multimodal Speaker Diarization [25.213694510527436]
  既存の話者ダイアリゼーションシステムの多くは、単調な音響情報のみに依存している。 本稿では,音声,視覚,意味的手がかりを併用して話者ダイアリゼーションを向上する新しいマルチモーダル手法を提案する。 我々の手法は、最先端の話者ダイアリゼーション法より一貫して優れている。
  論文  参考訳（メタデータ） (2024-08-22T03:34:03Z)
• Learning Disentangled Speech Representations [0.412484724941528]
  SynSpeechは、非絡み合った音声表現の研究を可能にするために設計された、新しい大規模合成音声データセットである。 本稿では, 線形探索と教師付きアンタングル化指標を併用して, アンタングル化表現学習手法を評価する枠組みを提案する。 SynSpeechは、さまざまな要因のベンチマークを促進し、ジェンダーや話し方のようなより単純な機能の切り離しを期待できると同時に、話者アイデンティティのような複雑な属性を分離する際の課題を強調します。
  論文  参考訳（メタデータ） (2023-11-04T04:54:17Z)
• Learning Separable Hidden Unit Contributions for Speaker-Adaptive Lip-Reading [73.59525356467574]
  話者自身の特徴は、ほとんど顔画像や浅いネットワークを持つ単一の画像によって常にうまく表現できる。 話し手によって表現される音声コンテンツに付随するきめ細かい動的特徴には、常に深いシーケンシャルネットワークが必要である。 私たちのアプローチは、既存の方法よりも一貫して優れています。
  論文  参考訳（メタデータ） (2023-10-08T07:48:25Z)
• Improving Speaker Diarization using Semantic Information: Joint Pairwise Constraints Propagation [53.01238689626378]
  本稿では,話者ダイアリゼーションシステムにおける意味情報を活用する新しい手法を提案する。 音声言語理解モジュールを導入し、話者関連意味情報を抽出する。 本稿では,これらの制約を話者ダイアリゼーションパイプラインに統合する新しい枠組みを提案する。
  論文  参考訳（メタデータ） (2023-09-19T09:13:30Z)
• Revisiting Conversation Discourse for Dialogue Disentanglement [88.3386821205896]
  本稿では,対話談話特性を最大限に活用し,対話の絡み合いを高めることを提案する。 我々は,会話の意味的文脈をより良くモデル化するために,リッチな構造的特徴を統合する構造認識フレームワークを開発した。 我々の研究は、より広範なマルチスレッド対話アプリケーションを促進する大きな可能性を秘めている。
  論文  参考訳（メタデータ） (2023-06-06T19:17:47Z)
• Self-supervised Fine-tuning for Improved Content Representations by Speaker-invariant Clustering [78.2927924732142]
  話者不変クラスタリング(Spin)を自己教師付き学習手法として提案する。 Spinは、単一のGPU上で45分間の微調整で、スピーカー情報を切り離し、コンテンツ表現を保存する。
  論文  参考訳（メタデータ） (2023-05-18T15:59:36Z)
• Residual Information in Deep Speaker Embedding Architectures [4.619541348328938]
  本稿では,最新の高性能DNNアーキテクチャを用いて抽出した6組の話者埋め込みについて解析する。 データセットには46人の話者が同じプロンプトを発信し、プロのスタジオや自宅の環境に記録されている。 その結果、解析された埋め込みの識別力は非常に高いが、分析された全てのアーキテクチャにおいて、残余情報は依然として表現の中に存在することがわかった。
  論文  参考訳（メタデータ） (2023-02-06T12:37:57Z)
• Self-supervised Text-independent Speaker Verification using Prototypical Momentum Contrastive Learning [58.14807331265752]
  モーメントの対比学習によって話者埋め込みがより良く学習できることを示す。 自己監視フレームワークを、データのごく一部しかラベル付けされない半監視シナリオに一般化します。
  論文  参考訳（メタデータ） (2020-12-13T23:23:39Z)
• Disentangled Speech Embeddings using Cross-modal Self-supervision [119.94362407747437]
  本研究では,映像における顔と音声の自然な相互同期を生かした自己教師型学習目標を提案する。 我々は,(1)両表現に共通する低レベルの特徴を共有する2ストリームアーキテクチャを構築し,(2)これらの要因を明示的に解消する自然なメカニズムを提供する。
  論文  参考訳（メタデータ） (2020-02-20T14:13:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。