論文の概要: Phonetic Enhanced Language Modeling for Text-to-Speech Synthesis

• arxiv url: http://arxiv.org/abs/2406.02009v2
• Date: Wed, 12 Jun 2024 01:33:56 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-13 21:55:11.003874
• Title: Phonetic Enhanced Language Modeling for Text-to-Speech Synthesis
• Title（参考訳）: 音声合成のための音声強調言語モデリング
• Authors: Kun Zhou, Shengkui Zhao, Yukun Ma, Chong Zhang, Hao Wang, Dianwen Ng, Chongjia Ni, Nguyen Trung Hieu, Jia Qi Yip, Bin Ma,
• Abstract要約: TTSモデルの性能向上のための音素拡張言語モデリング手法を提案する。 我々は,自己回帰言語モデルの訓練対象として,音声的にリッチな自己教師表現を活用している。
• 参考スコア（独自算出の注目度）: 33.909582975045545
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent language model-based text-to-speech (TTS) frameworks demonstrate scalability and in-context learning capabilities. However, they suffer from robustness issues due to the accumulation of errors in speech unit predictions during autoregressive language modeling. In this paper, we propose a phonetic enhanced language modeling method to improve the performance of TTS models. We leverage self-supervised representations that are phonetically rich as the training target for the autoregressive language model. Subsequently, a non-autoregressive model is employed to predict discrete acoustic codecs that contain fine-grained acoustic details. The TTS model focuses solely on linguistic modeling during autoregressive training, thereby reducing the error propagation that occurs in non-autoregressive training. Both objective and subjective evaluations validate the effectiveness of our proposed method.
• Abstract（参考訳）: 最近の言語モデルに基づくTTS(Text-to-Speech)フレームワークは、スケーラビリティとコンテキスト内学習能力を実証している。 しかし, 自己回帰型言語モデリングにおける音声単位予測における誤りの蓄積により, 頑健性に悩まされる。 本稿では,TSモデルの性能向上のための音素拡張言語モデリング手法を提案する。 我々は,自己回帰言語モデルの訓練対象として,音声的にリッチな自己教師表現を活用している。 その後、非自己回帰モデルを用いて、きめ細かい音響の詳細を含む離散音響コーデックを予測する。 TTSモデルは、自己回帰訓練中の言語モデルにのみ焦点をあて、非自己回帰訓練で発生する誤りの伝播を減らす。 客観評価と主観評価の両方が提案手法の有効性を検証した。

関連論文リスト

• Large Language Model Based Generative Error Correction: A Challenge and Baselines for Speech Recognition, Speaker Tagging, and Emotion Recognition [110.8431434620642]
  生成音声の書き起こし誤り訂正(GenSEC)の課題について紹介する。 この課題は、(i)ASR後の転写補正、(ii)話者タグ付け、(iii)感情認識という、3つのASR後の言語モデリングタスクを含む。 本稿では,ベースライン評価から得られた知見と,今後の評価設計における教訓について論じる。
  論文  参考訳（メタデータ） (2024-09-15T16:32:49Z)
• Scaling Properties of Speech Language Models [4.0142527158949415]
  音声言語モデル(SLM)は、テキストリソースを使わずに、生音声から言語を学ぶことを目的としている。 テキストベース大規模言語モデル(LLM)の英語習熟度を用いて,現在の手法がSLMを生成するスケールを推定する。
  論文  参考訳（メタデータ） (2024-03-31T13:30:12Z)
• SpeechGPT-Gen: Scaling Chain-of-Information Speech Generation [56.913182262166316]
  CoIG(Chain-of-Information Generation)は、大規模音声生成において意味情報と知覚情報を分離する手法である。 SpeechGPT-Genはセマンティックおよび知覚情報モデリングにおいて効率的である。 ゼロショット音声変換、ゼロショット音声変換、音声音声対話に優れる。
  論文  参考訳（メタデータ） (2024-01-24T15:25:01Z)
• Expedited Training of Visual Conditioned Language Generation via Redundancy Reduction [61.16125290912494]
  $textEVL_textGen$は、視覚条件付き言語生成モデルの事前トレーニング用に設計されたフレームワークである。 提案手法は,視覚言語モデルの学習を5倍に加速させるが,全体的な性能に顕著な影響を与えないことを示す。
  論文  参考訳（メタデータ） (2023-10-05T03:40:06Z)
• End-to-End Speech Recognition and Disfluency Removal with Acoustic Language Model Pretraining [0.0]
  2段階モデルとエンドツーエンドモデルのパフォーマンス比較を再考する。 弱自己教師対象を用いて事前訓練された音声ベース言語モデルは、同様に訓練された2段階モデルの性能に適合するか、超えていることがわかった。
  論文  参考訳（メタデータ） (2023-09-08T17:12:14Z)
• Augmentation Invariant Discrete Representation for Generative Spoken Language Modeling [41.733860809136196]
  生成言語モデリングのための頑健な離散音声表現を効果的かつ効率的に学習する手法を提案する。 提案手法は、音声信号に一連の信号変換を適用し、反復的な擬似ラベル方式を用いてモデルを最適化することに基づく。 さらに、スペイン語とフランス語の翻訳を考慮し、音声から音声への翻訳作業における手法の評価を行い、提案手法が評価基準よりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-09-30T14:15:03Z)
• Towards Language Modelling in the Speech Domain Using Sub-word Linguistic Units [56.52704348773307]
  音節や音素を含む言語単位に基づくLSTMに基づく新しい生成音声LMを提案する。 限られたデータセットでは、現代の生成モデルで要求されるものよりも桁違いに小さいので、我々のモデルはバブリング音声を近似する。 補助的なテキストLM,マルチタスク学習目標,補助的な調音特徴を用いた訓練の効果を示す。
  論文  参考訳（メタデータ） (2021-10-31T22:48:30Z)
• Factorized Neural Transducer for Efficient Language Model Adaptation [51.81097243306204]
  空白および語彙予測を分解し,ニューラルトランスデューサの因子化モデルを提案する。 この因子化は、音声認識のためのトランスデューサにスタンドアロン言語モデルの改善を移すことが期待できる。 提案した因子化ニューラルトランスデューサは、言語モデル適応にドメイン外テキストデータを使用する場合、15%から20%のWER改善が得られることを示す。
  論文  参考訳（メタデータ） (2021-09-27T15:04:00Z)
• Efficiently Fusing Pretrained Acoustic and Linguistic Encoders for Low-resource Speech Recognition [9.732767611907068]
  本研究では,前訓練音響エンコーダ(wav2vec2.0)と前訓練言語エンコーダ(bert)をエンドツーエンドasrモデルに融合する。 本モデルは他のエンドツーエンドモデルに比べてcallhomeコーパスの認識性能が(15時間)向上する。
  論文  参考訳（メタデータ） (2021-01-17T16:12:44Z)
• Hierarchical Prosody Modeling for Non-Autoregressive Speech Synthesis [76.39883780990489]
  我々は,異なる韻律モデル設定下での非自己回帰的TSモデルの挙動を解析する。 本稿では,音素レベルの韻律的特徴を単語レベルの韻律的特徴に基づいて予測する階層的アーキテクチャを提案する。
  論文  参考訳（メタデータ） (2020-11-12T16:16:41Z)
• Labeling Explicit Discourse Relations using Pre-trained Language Models [0.0]
  最先端のモデルは手作りの機能を使ってFスコアの45%をわずかに上回っている。 事前訓練された言語モデルは、微調整された場合、言語的特徴を置き換えるのに十分強力であることがわかった。 言語的な特徴を使わずに、モデルが知識集約型モデルより優れているのは、これが初めてである。
  論文  参考訳（メタデータ） (2020-06-21T17:18:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。