論文の概要: Karaoker: Alignment-free singing voice synthesis with speech training data

• arxiv url: http://arxiv.org/abs/2204.04127v1
• Date: Fri, 8 Apr 2022 15:33:59 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-11 14:02:04.895978
• Title: Karaoker: Alignment-free singing voice synthesis with speech training data
• Title（参考訳）: karaoker:音声訓練データを用いたアライメントフリー歌唱音声合成
• Authors: Panos Kakoulidis, Nikolaos Ellinas, Georgios Vamvoukakis, Konstantinos Markopoulos, June Sig Sung, Gunu Jho, Pirros Tsiakoulis, Aimilios Chalamandaris
• Abstract要約: カラオカー (Karaoker) は、タコトロンをベースとした多話者モデルである。 このモデルは、連続データ上に1つの深い畳み込みエンコーダで共同条件付けされている。 特徴再構成,分類,話者識別タスクによるテキスト音声訓練の目的を拡大する。
• 参考スコア（独自算出の注目度）: 3.9795908407245055
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Existing singing voice synthesis models (SVS) are usually trained on singing data and depend on either error-prone time-alignment and duration features or explicit music score information. In this paper, we propose Karaoker, a multispeaker Tacotron-based model conditioned on voice characteristic features that is trained exclusively on spoken data without requiring time-alignments. Karaoker synthesizes singing voice following a multi-dimensional template extracted from a source waveform of an unseen speaker/singer. The model is jointly conditioned with a single deep convolutional encoder on continuous data including pitch, intensity, harmonicity, formants, cepstral peak prominence and octaves. We extend the text-to-speech training objective with feature reconstruction, classification and speaker identification tasks that guide the model to an accurate result. Except for multi-tasking, we also employ a Wasserstein GAN training scheme as well as new losses on the acoustic model's output to further refine the quality of the model.
• Abstract（参考訳）: 既存の歌唱音声合成モデル(SVS)は通常、歌唱データに基づいて訓練され、エラーを起こしやすい時間アライメントと持続時間の特徴または明示的な楽譜情報に依存する。 本稿では,声質特性を条件とした多話者タコトロンモデルであるカラオカーを提案する。 カラオッカーは、未認識話者/シンガーの音源波形から抽出した多次元テンプレートに従って歌声を合成する。 このモデルは、ピッチ、強度、調和性、フォルマント、ケプストラムピークプロミネンス、オクターブを含む連続データに対して、単一の深い畳み込みエンコーダと共同で処理される。 我々は、特徴再構成、分類、話者識別タスクによってテキストから音声への学習目標を拡張し、モデルを正確な結果に導く。 マルチタスクを除くと,wasserstein gan の学習方式と音響モデルの出力に新たな損失を伴い,モデルの質をさらに向上させる。

関連論文リスト

• Low-Resource Cross-Domain Singing Voice Synthesis via Reduced Self-Supervised Speech Representations [41.410556997285326]
  Karaoker-SSLは、音声合成モデルであり、テキストデータと音声データのみに基づいて訓練されている。 ボーコーダも音声データに基づいて訓練されているため、歌唱データをエンドツーエンドで使用しない。
  論文  参考訳（メタデータ） (2024-02-02T16:06:24Z)
• Enhancing the vocal range of single-speaker singing voice synthesis with melody-unsupervised pre-training [82.94349771571642]
  本研究では, メロディ非教師型マルチスピーカ事前学習法を提案し, シングルスピーカの発声域を拡大する。 合成音声のリズム自然性を改善するために、識別可能な持続時間調整器を導入するのは、これが初めてである。 実験により,提案したSVSシステムは,音質と自然性の両方において,ベースラインよりも優れていることを確認した。
  論文  参考訳（メタデータ） (2023-09-01T06:40:41Z)
• MERT: Acoustic Music Understanding Model with Large-Scale Self-supervised Training [74.32603591331718]
  本稿では,MLMスタイルの音響事前学習において,教師モデルと擬似ラベルを組み込んだ大規模自己教師型学習(MERT)を用いた音響音楽理解モデルを提案する。 実験結果から,本モデルでは14曲の楽曲理解タスクを一般化し,性能を向上し,SOTA(State-of-the-art)全体のスコアを達成できることが示唆された。
  論文  参考訳（メタデータ） (2023-05-31T18:27:43Z)
• Make-A-Voice: Unified Voice Synthesis With Discrete Representation [77.3998611565557]
  Make-A-Voiceは、個別表現から音声信号を合成・操作するための統合されたフレームワークである。 我々は,Make-A-Voiceは,競合するベースラインモデルと比較して,音質とスタイルの類似性が優れていることを示す。
  論文  参考訳（メタデータ） (2023-05-30T17:59:26Z)
• A Melody-Unsupervision Model for Singing Voice Synthesis [9.137554315375919]
  トレーニング時間内に時間的アライメントを伴わない音声・歌詞ペアのみを必要とするメロディ・アンスーパービジョンモデルを提案する。 提案手法は音声やテキストのラベルで訓練できるが,推測時間で歌唱音声を生成できることを示す。
  論文  参考訳（メタデータ） (2021-10-13T07:42:35Z)
• Towards High-fidelity Singing Voice Conversion with Acoustic Reference and Contrastive Predictive Coding [6.278338686038089]
  非並列歌唱音声変換システムでは,音声後部グラフに基づく手法が広く普及している。 PPGの音響情報が不足しているため、変換された歌声のスタイルと自然性はまだ限られている。 提案モデルでは,歌声変換の自然性や,対象歌唱者との類似性を大幅に向上させることができる。
  論文  参考訳（メタデータ） (2021-10-10T10:27:20Z)
• DiffSinger: Diffusion Acoustic Model for Singing Voice Synthesis [53.19363127760314]
  DiffSingerは、音楽スコアで調整されたメログラムにノイズを反復的に変換するパラメータ化されたマルコフチェーンです。 中国の歌唱データセットで行った評価は、DiffSingerが最先端のSVSワークを顕著な差で上回っていることを示している。
  論文  参考訳（メタデータ） (2021-05-06T05:21:42Z)
• Unsupervised Cross-Domain Singing Voice Conversion [105.1021715879586]
  任意の同一性から音声変換を行うタスクに対して,wav-to-wav生成モデルを提案する。 提案手法は,自動音声認識のタスクのために訓練された音響モデルとメロディ抽出機能の両方を用いて波形ベースジェネレータを駆動する。
  論文  参考訳（メタデータ） (2020-08-06T18:29:11Z)
• Audio ALBERT: A Lite BERT for Self-supervised Learning of Audio Representation [51.37980448183019]
  本稿では,自己教師型音声表現モデルの簡易版であるAudio ALBERTを提案する。 我々は、Audio ALBERTが、下流タスクにおいて、これらの巨大なモデルと競合する性能を達成することができることを示す。 探索実験において、潜在表現は、最後の層よりも音素と話者のリッチな情報をエンコードすることがわかった。
  論文  参考訳（メタデータ） (2020-05-18T10:42:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。