論文の概要: Sinsy: A Deep Neural Network-Based Singing Voice Synthesis System

• arxiv url: http://arxiv.org/abs/2108.02776v1
• Date: Thu, 5 Aug 2021 17:59:58 GMT
• ステータス: 処理完了
• システム内更新日: 2021-08-06 14:49:20.180794
• Title: Sinsy: A Deep Neural Network-Based Singing Voice Synthesis System
• Title（参考訳）: Sinsy: ディープニューラルネットワークによる歌声合成システム
• Authors: Yukiya Hono, Kei Hashimoto, Keiichiro Oura, Yoshihiko Nankaku, Keiichi Tokuda
• Abstract要約: 本稿では,ディープニューラルネットワーク(DNN)に基づく歌唱音声合成(SVS)システムであるSinsyについて述べる。 提案システムは,時間ラグモデル,持続時間モデル,音響モデル,ボコーダの4つのモジュールから構成される。 実験結果から,より適切なタイミング,より自然なビブラート,正しいピッチで歌唱音声を合成できることが確認された。
• 参考スコア（独自算出の注目度）: 25.573552964889963
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper presents Sinsy, a deep neural network (DNN)-based singing voice synthesis (SVS) system. In recent years, DNNs have been utilized in statistical parametric SVS systems, and DNN-based SVS systems have demonstrated better performance than conventional hidden Markov model-based ones. SVS systems are required to synthesize a singing voice with pitch and timing that strictly follow a given musical score. Additionally, singing expressions that are not described on the musical score, such as vibrato and timing fluctuations, should be reproduced. The proposed system is composed of four modules: a time-lag model, a duration model, an acoustic model, and a vocoder, and singing voices can be synthesized taking these characteristics of singing voices into account. To better model a singing voice, the proposed system incorporates improved approaches to modeling pitch and vibrato and better training criteria into the acoustic model. In addition, we incorporated PeriodNet, a non-autoregressive neural vocoder with robustness for the pitch, into our systems to generate a high-fidelity singing voice waveform. Moreover, we propose automatic pitch correction techniques for DNN-based SVS to synthesize singing voices with correct pitch even if the training data has out-of-tune phrases. Experimental results show our system can synthesize a singing voice with better timing, more natural vibrato, and correct pitch, and it can achieve better mean opinion scores in subjective evaluation tests.
• Abstract（参考訳）: 本稿では,ディープニューラルネットワーク(DNN)に基づく歌唱音声合成(SVS)システムであるSinsyについて述べる。 近年、DNNは統計パラメトリックSVSシステムで利用されており、DNNベースのSVSシステムは従来のマルコフモデルよりも優れた性能を示している。 SVSシステムは、特定の楽譜に厳密に従うピッチとタイミングで歌声を合成する必要がある。 また、ビブラートやタイミングゆらぎなどの楽譜に記載されていない歌唱表現を再生する必要がある。 提案するシステムは4つのモジュールで構成される: タイムラグモデル, 持続時間モデル, 音響モデル, ボコーダであり, 歌唱音声の特徴を考慮した歌唱音声合成が可能である。 歌唱音声のモデル化を改善するため,提案手法ではピッチやビブラートをモデル化する手法が改良され,音響モデルへの訓練基準が向上した。 さらに,ピッチに頑健な非自己回帰型ニューラルボコーダである periodnet をシステムに統合し,高忠実度歌唱音声波形を生成する。 さらに,DNNをベースとしたSVSの自動ピッチ補正手法を提案し,トレーニングデータにアウトオブチューン句がある場合でも,正しいピッチで歌唱音声を合成する。 実験結果から,歌唱音声をより適切なタイミング,より自然なビブラート,正しいピッチで合成し,主観評価試験における平均評価スコアを向上できることが示された。

関連論文リスト

• Prompt-Singer: Controllable Singing-Voice-Synthesis with Natural Language Prompt [50.25271407721519]
  本稿では,歌手の性別,声域,音量を自然言語で制御できる最初のSVS手法であるPrompt-Singerを提案する。 我々は,マルチスケール階層を持つデコーダのみの変換器に基づくモデルアーキテクチャを採用し,レンジメロディデカップリングされたピッチ表現を設計する。 実験により,本モデルは良好な制御能力と音質が得られることが示された。
  論文  参考訳（メタデータ） (2024-03-18T13:39:05Z)
• StyleSinger: Style Transfer for Out-of-Domain Singing Voice Synthesis [63.18764165357298]
  ドメイン外歌唱音声合成(SVS)のためのスタイル転送は、目に見えないスタイルで高品質な歌唱音声を生成することに焦点を当てている。 StyleSingerは、ドメイン外参照音声サンプルのゼロショットスタイル転送のための最初の歌声合成モデルである。 ゼロショット・スタイル・トランスファーにおける評価は、StyleSingerが基準歌唱音声サンプルの音質と類似性の両方でベースライン・モデルより優れていることを不確実に証明している。
  論文  参考訳（メタデータ） (2023-12-17T15:26:16Z)
• Enhancing the vocal range of single-speaker singing voice synthesis with melody-unsupervised pre-training [82.94349771571642]
  本研究では, メロディ非教師型マルチスピーカ事前学習法を提案し, シングルスピーカの発声域を拡大する。 合成音声のリズム自然性を改善するために、識別可能な持続時間調整器を導入するのは、これが初めてである。 実験により,提案したSVSシステムは,音質と自然性の両方において,ベースラインよりも優れていることを確認した。
  論文  参考訳（メタデータ） (2023-09-01T06:40:41Z)
• Towards Improving the Expressiveness of Singing Voice Synthesis with BERT Derived Semantic Information [51.02264447897833]
  本稿では、変換器(BERT)から派生したセマンティック埋め込みから双方向エンコーダ表現を用いた、エンドツーエンドの高品質な歌声合成(SVS)システムを提案する。 提案したSVSシステムは、高品質なVISingerで歌声を生成することができる。
  論文  参考訳（メタデータ） (2023-08-31T16:12:01Z)
• HiddenSinger: High-Quality Singing Voice Synthesis via Neural Audio Codec and Latent Diffusion Models [25.966328901566815]
  ニューラルオーディオと潜時拡散モデルを用いた高品質な歌声合成システムHiddenSingerを提案する。 さらに,提案手法を教師なし音声学習フレームワークであるHiddenSinger-Uに拡張し,モデルを訓練する。 実験結果から,従来のモデルよりも音質が優れていたことが示唆された。
  論文  参考訳（メタデータ） (2023-06-12T01:21:41Z)
• NNSVS: A Neural Network-Based Singing Voice Synthesis Toolkit [30.894603855905828]
  NNSVSは、ニューラルネットワークに基づく歌声合成研究のためのオープンソースソフトウェアである。 Sinsyは、歌声合成研究におけるオープンソースのパイオニアだ。
  論文  参考訳（メタデータ） (2022-10-28T08:37:13Z)
• WeSinger: Data-augmented Singing Voice Synthesis with Auxiliary Losses [13.178747366560534]
  我々はWeSingerという中国語多言語音声合成システムを開発した。 定量的および定性的な評価結果はWeSingerの有効性を精度と自然性の観点から示している。
  論文  参考訳（メタデータ） (2022-03-21T06:42:44Z)
• Learning the Beauty in Songs: Neural Singing Voice Beautifier [69.21263011242907]
  我々は、新しいタスク、歌声美化(SVB)に興味を持っている。 アマチュア歌手の歌声を考えると、SVBは内容と声の音色を保ちながら、声のイントネーションと声のトーンを改善することを目的としている。 SVBタスクを解く最初の生成モデルであるNSVB(Neural Singing Voice Beautifier)を導入する。
  論文  参考訳（メタデータ） (2022-02-27T03:10:12Z)
• DiffSinger: Diffusion Acoustic Model for Singing Voice Synthesis [53.19363127760314]
  DiffSingerは、音楽スコアで調整されたメログラムにノイズを反復的に変換するパラメータ化されたマルコフチェーンです。 中国の歌唱データセットで行った評価は、DiffSingerが最先端のSVSワークを顕著な差で上回っていることを示している。
  論文  参考訳（メタデータ） (2021-05-06T05:21:42Z)
• Adversarially Trained Multi-Singer Sequence-To-Sequence Singing Synthesizer [11.598416444452619]
  我々は、異なる歌手の既存の歌唱データを全て活用するマルチシンガー・フレームワークを設計する。 我々は、エンコーダ出力が歌手依存を減らすために、シンガー分類の逆タスクを組み込んだ。 提案するシンセサイザーはベースラインよりも高品質な歌唱音声を生成することができる。
  論文  参考訳（メタデータ） (2020-06-18T07:20:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。