論文の概要: SmoothSinger: A Conditional Diffusion Model for Singing Voice Synthesis with Multi-Resolution Architecture

• arxiv url: http://arxiv.org/abs/2506.21478v1
• Date: Thu, 26 Jun 2025 17:07:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-27 19:53:10.20823
• Title: SmoothSinger: A Conditional Diffusion Model for Singing Voice Synthesis with Multi-Resolution Architecture
• Title（参考訳）: SmoothSinger:マルチリゾリューションアーキテクチャによる音声合成のための条件拡散モデル
• Authors: Kehan Sui, Jinxu Xiang, Fang Jin,
• Abstract要約: SmoothSingerは高品質で自然な歌声を合成するための条件拡散モデルである。 低品質の合成オーディオを統一されたフレームワークで直接洗練し、2段階のパイプラインに関連する劣化を緩和する。 大規模な中国語歌唱コーパスであるOpencpopデータセットの実験は、SmoothSingerが最先端の結果を達成することを示した。
• 参考スコア（独自算出の注目度）: 3.7937714754535503
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Singing voice synthesis (SVS) aims to generate expressive and high-quality vocals from musical scores, requiring precise modeling of pitch, duration, and articulation. While diffusion-based models have achieved remarkable success in image and video generation, their application to SVS remains challenging due to the complex acoustic and musical characteristics of singing, often resulting in artifacts that degrade naturalness. In this work, we propose SmoothSinger, a conditional diffusion model designed to synthesize high quality and natural singing voices. Unlike prior methods that depend on vocoders as a final stage and often introduce distortion, SmoothSinger refines low-quality synthesized audio directly in a unified framework, mitigating the degradation associated with two-stage pipelines. The model adopts a reference-guided dual-branch architecture, using low-quality audio from any baseline system as a reference to guide the denoising process, enabling more expressive and context-aware synthesis. Furthermore, it enhances the conventional U-Net with a parallel low-frequency upsampling path, allowing the model to better capture pitch contours and long term spectral dependencies. To improve alignment during training, we replace reference audio with degraded ground truth audio, addressing temporal mismatch between reference and target signals. Experiments on the Opencpop dataset, a large-scale Chinese singing corpus, demonstrate that SmoothSinger achieves state-of-the-art results in both objective and subjective evaluations. Extensive ablation studies confirm its effectiveness in reducing artifacts and improving the naturalness of synthesized voices.
• Abstract（参考訳）: 歌声合成(SVS)は、音高、持続時間、調音の正確なモデリングを必要とせず、楽譜から表現的で高品質な発声を生成することを目的としている。 拡散に基づくモデルは画像生成やビデオ生成において顕著な成功を収めてきたが、歌唱の複雑な音響的・音楽的特性のため、SVSへの応用は依然として困難であり、しばしば自然性を低下させる人工物となる。 本研究では,高品質で自然な歌声を合成する条件拡散モデルであるSmoothSingerを提案する。 最終段階としてボコーダに依存し、しばしば歪みをもたらす従来の方法とは異なり、SmoothSingerは低品質の合成オーディオを直接統合されたフレームワークで洗練し、2段パイプラインに関連する劣化を緩和する。 このモデルは、基準誘導型デュアルブランチアーキテクチャを採用し、任意のベースラインシステムからの低品質オーディオを基準として、より表現力と文脈に配慮した合成を可能にする。 さらに、パラレルな低周波アップサンプリングパスにより従来のU-Netを強化し、ピッチ輪郭や長期スペクトル依存性をよりよく捉えることができる。 トレーニング中のアライメントを改善するため、基準音と目標音の時間的ミスマッチに対処するため、基準音を劣化した真実音に置き換える。 大規模な中国語歌唱コーパスであるOpencpopデータセットの実験は、SmoothSingerが客観的および主観的評価の両方で最先端の結果を達成することを示した。 広範囲にわたるアブレーション研究は、人工骨を減らし、合成音声の自然性を改善する効果を確認している。

関連論文リスト

• SpecDiff-GAN: A Spectrally-Shaped Noise Diffusion GAN for Speech and Music Synthesis [0.0]
  本稿では,HiFi-GANに基づくニューラルボコーダSpecDiff-GANを紹介する。 いくつかのデータセットに対して,提案モデルによる音声合成と音楽合成の利点を示す。
  論文  参考訳（メタデータ） (2024-01-30T09:17:57Z)
• Towards Improving the Expressiveness of Singing Voice Synthesis with BERT Derived Semantic Information [51.02264447897833]
  本稿では、変換器(BERT)から派生したセマンティック埋め込みから双方向エンコーダ表現を用いた、エンドツーエンドの高品質な歌声合成(SVS)システムを提案する。 提案したSVSシステムは、高品質なVISingerで歌声を生成することができる。
  論文  参考訳（メタデータ） (2023-08-31T16:12:01Z)
• HiddenSinger: High-Quality Singing Voice Synthesis via Neural Audio Codec and Latent Diffusion Models [25.966328901566815]
  ニューラルオーディオと潜時拡散モデルを用いた高品質な歌声合成システムHiddenSingerを提案する。 さらに,提案手法を教師なし音声学習フレームワークであるHiddenSinger-Uに拡張し,モデルを訓練する。 実験結果から,従来のモデルよりも音質が優れていたことが示唆された。
  論文  参考訳（メタデータ） (2023-06-12T01:21:41Z)
• Boosting Fast and High-Quality Speech Synthesis with Linear Diffusion [85.54515118077825]
  本稿では, 常微分方程式に基づく線形拡散モデル(LinDiff)を提案する。 計算複雑性を低減するため、LinDiffでは、入力信号を小さなパッチに分割するパッチベースの処理アプローチを採用している。 我々のモデルは、より高速な合成速度で自己回帰モデルに匹敵する品質の音声を合成することができる。
  論文  参考訳（メタデータ） (2023-06-09T07:02:43Z)
• BinauralGrad: A Two-Stage Conditional Diffusion Probabilistic Model for Binaural Audio Synthesis [129.86743102915986]
  我々は、音声を共通部分へ分解することで、異なる視点から合成プロセスを定式化する。 拡散モデルを備えた新しい2段階フレームワークであるBinauralGradを提案する。 実験結果から,BinauralGradは対象評価指標と対象評価指標の両方において,既存のベースラインよりも高い性能を示した。
  論文  参考訳（メタデータ） (2022-05-30T02:09:26Z)
• WeSinger: Data-augmented Singing Voice Synthesis with Auxiliary Losses [13.178747366560534]
  我々はWeSingerという中国語多言語音声合成システムを開発した。 定量的および定性的な評価結果はWeSingerの有効性を精度と自然性の観点から示している。
  論文  参考訳（メタデータ） (2022-03-21T06:42:44Z)
• DiffSinger: Diffusion Acoustic Model for Singing Voice Synthesis [53.19363127760314]
  DiffSingerは、音楽スコアで調整されたメログラムにノイズを反復的に変換するパラメータ化されたマルコフチェーンです。 中国の歌唱データセットで行った評価は、DiffSingerが最先端のSVSワークを顕著な差で上回っていることを示している。
  論文  参考訳（メタデータ） (2021-05-06T05:21:42Z)
• Hierarchical Timbre-Painting and Articulation Generation [92.59388372914265]
  本稿では,f0と大音量に基づく高速かつ高忠実な楽曲生成手法を提案する。 合成音声は、対象楽器の音色及び調音を模倣する。
  論文  参考訳（メタデータ） (2020-08-30T05:27:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。