論文の概要: ConSinger: Efficient High-Fidelity Singing Voice Generation with Minimal Steps

• arxiv url: http://arxiv.org/abs/2410.15342v1
• Date: Sun, 20 Oct 2024 09:32:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-22 13:15:41.088188
• Title: ConSinger: Efficient High-Fidelity Singing Voice Generation with Minimal Steps
• Title（参考訳）: ConSinger: 最小ステップによる高忠実歌声の高効率生成
• Authors: Yulin Song, Guorui Sang, Jing Yu, Chuangbai Xiao,
• Abstract要約: 最小ステップで高忠実度な歌声合成を実現するために,一貫性モデルであるConSingerに基づく歌声合成手法を提案する。 実験の結果,ConSingerは生成速度と品質の点で,ベースラインモデルと非常に競合していることがわかった。
• 参考スコア（独自算出の注目度）: 4.319804315515349
• License:
• Abstract: Singing voice synthesis (SVS) system is expected to generate high-fidelity singing voice from given music scores (lyrics, duration and pitch). Recently, diffusion models have performed well in this field. However, sacrificing inference speed to exchange with high-quality sample generation limits its application scenarios. In order to obtain high quality synthetic singing voice more efficiently, we propose a singing voice synthesis method based on the consistency model, ConSinger, to achieve high-fidelity singing voice synthesis with minimal steps. The model is trained by applying consistency constraint and the generation quality is greatly improved at the expense of a small amount of inference speed. Our experiments show that ConSinger is highly competitive with the baseline model in terms of generation speed and quality. Audio samples are available at https://keylxiao.github.io/consinger.
• Abstract（参考訳）: 歌声合成システム (SVS) は, 与えられた楽譜(歌詞, 持続時間, ピッチ)から高忠実な歌声を生成することが期待されている。 近年,この分野での拡散モデルの性能は良好である。 しかし、高品質なサンプル生成と交換するために推論速度を犠牲にすることで、アプリケーションのシナリオが制限される。 高品質な合成歌唱音声をより効率的に得るために,一貫性モデルであるConSingerに基づく歌唱音声合成法を提案し,最小ステップで高忠実な歌唱音声合成を実現する。 モデルを一貫性制約を適用して訓練し、少量の推論速度を犠牲にして生成品質を大幅に改善する。 実験の結果,ConSingerは生成速度と品質の点で,ベースラインモデルと非常に競合していることがわかった。 オーディオサンプルはhttps://keylxiao.github.io/consinger.comで入手できる。

関連論文リスト

• Prompt-Singer: Controllable Singing-Voice-Synthesis with Natural Language Prompt [50.25271407721519]
  本稿では,歌手の性別,声域,音量を自然言語で制御できる最初のSVS手法であるPrompt-Singerを提案する。 我々は,マルチスケール階層を持つデコーダのみの変換器に基づくモデルアーキテクチャを採用し,レンジメロディデカップリングされたピッチ表現を設計する。 実験により,本モデルは良好な制御能力と音質が得られることが示された。
  論文  参考訳（メタデータ） (2024-03-18T13:39:05Z)
• StyleSinger: Style Transfer for Out-of-Domain Singing Voice Synthesis [63.18764165357298]
  ドメイン外歌唱音声合成(SVS)のためのスタイル転送は、目に見えないスタイルで高品質な歌唱音声を生成することに焦点を当てている。 StyleSingerは、ドメイン外参照音声サンプルのゼロショットスタイル転送のための最初の歌声合成モデルである。 ゼロショット・スタイル・トランスファーにおける評価は、StyleSingerが基準歌唱音声サンプルの音質と類似性の両方でベースライン・モデルより優れていることを不確実に証明している。
  論文  参考訳（メタデータ） (2023-12-17T15:26:16Z)
• Enhancing the vocal range of single-speaker singing voice synthesis with melody-unsupervised pre-training [82.94349771571642]
  本研究では, メロディ非教師型マルチスピーカ事前学習法を提案し, シングルスピーカの発声域を拡大する。 合成音声のリズム自然性を改善するために、識別可能な持続時間調整器を導入するのは、これが初めてである。 実験により,提案したSVSシステムは,音質と自然性の両方において,ベースラインよりも優れていることを確認した。
  論文  参考訳（メタデータ） (2023-09-01T06:40:41Z)
• HiddenSinger: High-Quality Singing Voice Synthesis via Neural Audio Codec and Latent Diffusion Models [25.966328901566815]
  ニューラルオーディオと潜時拡散モデルを用いた高品質な歌声合成システムHiddenSingerを提案する。 さらに,提案手法を教師なし音声学習フレームワークであるHiddenSinger-Uに拡張し,モデルを訓練する。 実験結果から,従来のモデルよりも音質が優れていたことが示唆された。
  論文  参考訳（メタデータ） (2023-06-12T01:21:41Z)
• Make-A-Voice: Unified Voice Synthesis With Discrete Representation [77.3998611565557]
  Make-A-Voiceは、個別表現から音声信号を合成・操作するための統合されたフレームワークである。 我々は,Make-A-Voiceは,競合するベースラインモデルと比較して,音質とスタイルの類似性が優れていることを示す。
  論文  参考訳（メタデータ） (2023-05-30T17:59:26Z)
• CoMoSpeech: One-Step Speech and Singing Voice Synthesis via Consistency Model [41.21042900853639]
  本研究では,単一拡散サンプリングステップによる音声合成を実現する"Co"sistency "Mo"del-based "Speech"合成法,"CoMoSpeech"を提案する。 単一のサンプリングステップで音声録音を生成することで、CoMoSpeechはリアルタイムよりも150倍以上高速な推論速度を実現する。
  論文  参考訳（メタデータ） (2023-05-11T15:51:46Z)
• WeSinger: Data-augmented Singing Voice Synthesis with Auxiliary Losses [13.178747366560534]
  我々はWeSingerという中国語多言語音声合成システムを開発した。 定量的および定性的な評価結果はWeSingerの有効性を精度と自然性の観点から示している。
  論文  参考訳（メタデータ） (2022-03-21T06:42:44Z)
• DiffSinger: Diffusion Acoustic Model for Singing Voice Synthesis [53.19363127760314]
  DiffSingerは、音楽スコアで調整されたメログラムにノイズを反復的に変換するパラメータ化されたマルコフチェーンです。 中国の歌唱データセットで行った評価は、DiffSingerが最先端のSVSワークを顕著な差で上回っていることを示している。
  論文  参考訳（メタデータ） (2021-05-06T05:21:42Z)
• HiFiSinger: Towards High-Fidelity Neural Singing Voice Synthesis [153.48507947322886]
  HiFiSingerは、高忠実な歌声に対するSVSシステムである。 FastSpeechベースの音響モデルとParallel WaveGANベースのボコーダで構成されている。 実験の結果,HiFiSingerは高品質な歌声を合成することがわかった。
  論文  参考訳（メタデータ） (2020-09-03T16:31:02Z)
• Adversarially Trained Multi-Singer Sequence-To-Sequence Singing Synthesizer [11.598416444452619]
  我々は、異なる歌手の既存の歌唱データを全て活用するマルチシンガー・フレームワークを設計する。 我々は、エンコーダ出力が歌手依存を減らすために、シンガー分類の逆タスクを組み込んだ。 提案するシンセサイザーはベースラインよりも高品質な歌唱音声を生成することができる。
  論文  参考訳（メタデータ） (2020-06-18T07:20:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。