論文の概要: Analytic Study of Text-Free Speech Synthesis for Raw Audio using a Self-Supervised Learning Model

• arxiv url: http://arxiv.org/abs/2412.03074v1
• Date: Wed, 04 Dec 2024 06:52:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-05 15:07:17.266650
• Title: Analytic Study of Text-Free Speech Synthesis for Raw Audio using a Self-Supervised Learning Model
• Title（参考訳）: 自己教師付き学習モデルを用いた生音声のテキストフリー音声合成の解析
• Authors: Joonyong Park, Daisuke Saito, Nobuaki Minematsu,
• Abstract要約: 自己教師付き学習(SSL)モデルから得られた生音声のテキストフリー音声表現について検討する。 テキスト表現は意味情報を保存するのに有利である一方、離散的なシンボル表現は音響コンテンツを保存するのに優れていることを示す。
• 参考スコア（独自算出の注目度）: 12.29892010056753
• License:
• Abstract: We examine the text-free speech representations of raw audio obtained from a self-supervised learning (SSL) model by analyzing the synthesized speech using the SSL representations instead of conventional text representations. Since raw audio does not have paired speech representations as transcribed texts do, obtaining speech representations from unpaired speech is crucial for augmenting available datasets for speech synthesis. Specifically, the proposed speech synthesis is conducted using discrete symbol representations from the SSL model in comparison with text representations, and analytical examinations of the synthesized speech have been carried out. The results empirically show that using text representations is advantageous for preserving semantic information, while using discrete symbol representations is superior for preserving acoustic content, including prosodic and intonational information.
• Abstract（参考訳）: 本稿では,従来のテキスト表現の代わりにSSL表現を用いて合成音声を解析することにより,自己教師付き学習(SSL)モデルから得られた生音声のテキスト自由表現について検討する。 生音声は、書き起こしテキストのようにペア音声表現を持たないため、音声合成のために利用可能なデータセットを増補するためには、未読音声から音声表現を取得することが不可欠である。 具体的には、テキスト表現と比較してSSLモデルからの離散的なシンボル表現を用いて音声合成を行い、合成された音声の分析を行った。 その結果、テキスト表現は意味情報を保存するのに有利である一方、離散的なシンボル表現は韻律情報や国際情報を含む音響コンテンツを保存するのに優れていることが実証的に示されている。

関連論文リスト

• CosyVoice: A Scalable Multilingual Zero-shot Text-to-speech Synthesizer based on Supervised Semantic Tokens [49.569695524535454]
  本稿では, ベクトル量子化をエンコーダに挿入することにより, 多言語音声認識モデルから導出される, 教師付きセマンティックトークンを用いた音声表現を提案する。 トークンをベースとした拡張性のあるゼロショットTSシンセサイザーであるCosyVoiceは,テキスト・ツー・ツー・ケン生成のためのLLMと,トークン・ツー・音声合成のための条件付きフローマッチングモデルから構成される。
  論文  参考訳（メタデータ） (2024-07-07T15:16:19Z)
• Audio-Visual Neural Syntax Acquisition [91.14892278795892]
  視覚的音声からの句構造誘導について検討する。 本稿では,音声を聴いたり,画像を見たりすることでフレーズ構造を学習するAV-NSL(Audio-Visual Neural Syntax Learner)について述べる。
  論文  参考訳（メタデータ） (2023-10-11T16:54:57Z)
• EXPRESSO: A Benchmark and Analysis of Discrete Expressive Speech Resynthesis [49.04496602282718]
  テキストなし音声合成のための高品質な表現型音声データセットであるExpressoを紹介する。 このデータセットは、26の自発的表現スタイルで描画された読み上げ音声と即興対話の両方を含む。 自己監督型離散エンコーダの自動計測値を用いて再生品質を評価する。
  論文  参考訳（メタデータ） (2023-08-10T17:41:19Z)
• How Generative Spoken Language Modeling Encodes Noisy Speech: Investigation from Phonetics to Syntactics [33.070158866023]
  生成音声言語モデリング(GSLM)は、音声分析と合成のための音素ではなく、データから派生した学習シンボルを使用する。 本稿では,GSLMの音声・音声レベルにおける符号化と復号化の有効性について述べる。
  論文  参考訳（メタデータ） (2023-06-01T14:07:19Z)
• Zero-shot text-to-speech synthesis conditioned using self-supervised speech representation model [13.572330725278066]
  提案手法の新たなポイントは、大量のデータで訓練された音声表現から組込みベクトルを得るためにSSLモデルを直接利用することである。 この不整合埋め込みにより、未知話者の再生性能が向上し、異なる音声によるリズム伝達が実現される。
  論文  参考訳（メタデータ） (2023-04-24T10:15:58Z)
• DSVAE: Interpretable Disentangled Representation for Synthetic Speech Detection [25.451749986565375]
  合成音声を検出するための音声信号の解釈可能な表現を生成するために,Dis Spectrogram Variational Autoentangle (DSVAE)を提案する。 実験の結果, 未知音声合成者11名中6名中10名中98%が, 高い精度 (>98%) を示した。
  論文  参考訳（メタデータ） (2023-04-06T18:37:26Z)
• Direct speech-to-speech translation with discrete units [64.19830539866072]
  本稿では、中間テキスト生成に頼ることなく、ある言語から別の言語に音声を変換する直接音声音声翻訳(S2ST)モデルを提案する。 そこで本稿では,ラベルなし音声コーパスから学習した自己教師付き離散表現の予測を提案する。 対象のテキスト書き起こしが利用可能となると、同一の推論パスで2つのモード出力(音声とテキスト)を同時に生成できる、共同音声認識とテキストトレーニングを備えたマルチタスク学習フレームワークを設計する。
  論文  参考訳（メタデータ） (2021-07-12T17:40:43Z)
• Speech Resynthesis from Discrete Disentangled Self-Supervised Representations [49.48053138928408]
  音声合成作業に自己教師付き離散表現を用いることを提案する。 音声コンテンツ、韻律情報、話者識別のための低ビット表現を抽出する。 得られた表現を使用することで、ベースラインメソッドよりも優れた音声品質を提供しながら、毎秒365ビットのレートが得られる。
  論文  参考訳（メタデータ） (2021-04-01T09:20:33Z)
• Text-Free Image-to-Speech Synthesis Using Learned Segmental Units [24.657722909094662]
  画像の自然な音声キャプションを直接流用する最初のモデルを提案する。 我々は、画像キャプションモジュールと音声合成モジュールを、独立したサブワード音声ユニットのセットで接続する。 Flickr8k音声キャプションデータセットと、人気のMSCOCOデータセットのために収集された音声キャプションの新しいコーパスについて実験を行います。
  論文  参考訳（メタデータ） (2020-12-31T05:28:38Z)
• STEPs-RL: Speech-Text Entanglement for Phonetically Sound Representation Learning [2.28438857884398]
  本稿では、音声とテキストの絡み合いを利用して単語表現を学習する、新しいマルチモーダルディープニューラルネットワークアーキテクチャを提案する。 STEPs-RLは、対象の音声単語の音声シーケンスを予測するために教師付き方法で訓練される。 我々のモデルにより生成された潜在表現は、89.47%の精度でターゲット音素列を予測することができた。
  論文  参考訳（メタデータ） (2020-11-23T13:29:16Z)
• SPLAT: Speech-Language Joint Pre-Training for Spoken Language Understanding [61.02342238771685]
  音声理解には、入力音響信号を解析してその言語内容を理解し、予測するモデルが必要である。 大規模無注釈音声やテキストからリッチな表現を学習するために,様々な事前学習手法が提案されている。 音声と言語モジュールを協調的に事前学習するための,新しい半教師付き学習フレームワークであるSPLATを提案する。
  論文  参考訳（メタデータ） (2020-10-05T19:29:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。