論文の概要: A Comprehensive Study of Content Representations for Speech Synthesis

• arxiv url: http://arxiv.org/abs/2609.30975v1
• Date: Fri, 25 Sep 2026 08:20:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 18:27:51.293719
• Title: A Comprehensive Study of Content Representations for Speech Synthesis
• Title（参考訳）: 音声合成における内容表現に関する総合的研究
• Abstract要約: 本研究では、各表現にのみ依存する生成モデルを訓練し、コンテンツ、話者識別、韻律軸に沿って生成された音声を評価する。 SSL機能、教師付きトークン、後部オーディオコーデック、およびニューラルオーディオコーデックにまたがって、元のオーディオをほぼ再構築する表現と、話者のアイデンティティを効果的にアンタングルする表現の2つの異なる状態を見つけます。
• 参考スコア（独自算出の注目度）: 8.972144370022841
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Speech content representations are central to voice conversion, speech-to-speech translation, and multimodal language models, yet they are rarely compared under a common generative framework that directly measures what each representation contains. We address this by training a generative model conditioned solely on each representation and evaluating the generated audio along the content, speaker identity, and prosody axes. Across SSL features, supervised tokens, posteriorgrams, and neural audio codecs, we find two distinct regimes: representations that nearly reconstruct the original audio, and representations that effectively disentangle speaker identity. These results show that disentanglement depends not on supervision alone, but on the interaction between the training objective and the representation's information capacity: supervised representations only disentangle speaker identity when their capacity is sufficiently constrained.
• Abstract（参考訳）: 音声コンテンツ表現は、音声変換、音声音声変換、マルチモーダル言語モデルの中心であるが、各表現が含んでいるものを直接測定する共通の生成フレームワークの下で比較されることは滅多にない。 本研究では、各表現にのみ依存する生成モデルを訓練し、コンテンツ、話者識別、韻律軸に沿って生成された音声を評価する。 SSL機能、教師付きトークン、後部オーディオコーデック、およびニューラルオーディオコーデックにまたがって、元のオーディオをほぼ再構築する表現と、話者のアイデンティティを効果的にアンタングルする表現の2つの異なる状態を見つけます。 これらの結果から,ディコンタングルメントは,教師のみに依存するのではなく,訓練対象と表現能力の相互作用に依存することが明らかとなった。

関連論文リスト

• Eta-WavLM: Efficient Speaker Identity Removal in Self-Supervised Speech Representations Using a Simple Linear Equation [1.3874486202578669]
  自己教師付き学習(SSL)は、注釈のないデータから意味のある表現を学習することで、音声技術における高価なラベリングへの依存を減らした。 本稿では,SSL表現を話者固有成分と話者非依存成分に線形に分解する新しいアンタングル法を提案する。
  論文  参考訳（メタデータ） (2025-05-25T19:05:26Z)
• Disentangling Voice and Content with Self-Supervision for Speaker Recognition [57.446013973449645]
  本稿では,音声における話者の特性と内容の変動を同時にモデル化するアンタングル化フレームワークを提案する。 実験はVoxCelebとSITWのデータセットで実施され、EERとminDCFの平均減少率は9.56%と8.24%である。
  論文  参考訳（メタデータ） (2023-10-02T12:02:07Z)
• An analysis on the effects of speaker embedding choice in non auto-regressive TTS [4.619541348328938]
  本稿では,非自己回帰的分解型マルチ話者音声合成アーキテクチャが,異なる話者埋め込みセットに存在する情報をどのように活用するかを理解するための最初の試みを紹介する。 使用済みの埋め込みと学習戦略にかかわらず、ネットワークは様々な話者識別を等しく扱うことができることを示す。
  論文  参考訳（メタデータ） (2023-07-19T10:57:54Z)
• ACE-VC: Adaptive and Controllable Voice Conversion using Explicitly Disentangled Self-supervised Speech Representations [12.20522794248598]
  自己教師付き学習で訓練された音声表現を用いたゼロショット音声変換法を提案する。 我々は,発話を言語内容,話者特性,発話スタイルなどの特徴に分解するマルチタスクモデルを開発した。 次に,その表現から音声信号を効果的に再構成できるピッチと時間予測器を備えた合成モデルを開発する。
  論文  参考訳（メタデータ） (2023-02-16T08:10:41Z)
• Towards Disentangled Speech Representations [65.7834494783044]
  本研究では, ASR と TTS の合同モデリングに基づく表現学習タスクを構築する。 本研究は,その部分の音声信号と,その部分の音声信号とをアンタングルする音声表現を学習することを目的とする。 我々は,これらの特性をトレーニング中に強化することにより,WERを平均24.5%向上させることを示す。
  論文  参考訳（メタデータ） (2022-08-28T10:03:55Z)
• VQMIVC: Vector Quantization and Mutual Information-Based Unsupervised Speech Representation Disentanglement for One-shot Voice Conversion [54.29557210925752]
  ワンショット音声変換は、音声表現のアンタングルメントによって効果的に実現できる。 コンテンツエンコーディングにはベクトル量子化(VQ)を使用し、トレーニング中に相互情報(MI)を相関指標として導入する。 実験結果は,提案手法が効果的に非絡み合った音声表現を学習する際の優位性を反映している。
  論文  参考訳（メタデータ） (2021-06-18T13:50:38Z)
• Speech Resynthesis from Discrete Disentangled Self-Supervised Representations [49.48053138928408]
  音声合成作業に自己教師付き離散表現を用いることを提案する。 音声コンテンツ、韻律情報、話者識別のための低ビット表現を抽出する。 得られた表現を使用することで、ベースラインメソッドよりも優れた音声品質を提供しながら、毎秒365ビットのレートが得られる。
  論文  参考訳（メタデータ） (2021-04-01T09:20:33Z)
• Disentangled Speech Embeddings using Cross-modal Self-supervision [119.94362407747437]
  本研究では,映像における顔と音声の自然な相互同期を生かした自己教師型学習目標を提案する。 我々は,(1)両表現に共通する低レベルの特徴を共有する2ストリームアーキテクチャを構築し,(2)これらの要因を明示的に解消する自然なメカニズムを提供する。
  論文  参考訳（メタデータ） (2020-02-20T14:13:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。