論文の概要: MBTFNet: Multi-Band Temporal-Frequency Neural Network For Singing Voice Enhancement

• arxiv url: http://arxiv.org/abs/2310.04369v1
• Date: Fri, 6 Oct 2023 16:44:47 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-09 14:59:43.932610
• Title: MBTFNet: Multi-Band Temporal-Frequency Neural Network For Singing Voice Enhancement
• Title（参考訳）: MBTFNet:歌声強調のためのマルチバンド時間周波数ニューラルネットワーク
• Authors: Weiming Xu, Zhouxuan Chen, Zhili Tan, Shubo Lv, Runduo Han, Wenjiang Zhou, Weifeng Zhao, Lei Xie
• Abstract要約: 歌声強調のための新しい時間周波数ニューラルネットワーク(MBTFNet)を提案する。 MBTFNetは、バックグラウンド音楽、ノイズ、さらにはボーカルを歌唱録音から削除する。 実験により,提案モデルがいくつかの最先端SEモデルとMSSモデルより有意に優れていることが示された。
• 参考スコア（独自算出の注目度）: 8.782080886602145
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: A typical neural speech enhancement (SE) approach mainly handles speech and noise mixtures, which is not optimal for singing voice enhancement scenarios. Music source separation (MSS) models treat vocals and various accompaniment components equally, which may reduce performance compared to the model that only considers vocal enhancement. In this paper, we propose a novel multi-band temporal-frequency neural network (MBTFNet) for singing voice enhancement, which particularly removes background music, noise and even backing vocals from singing recordings. MBTFNet combines inter and intra-band modeling for better processing of full-band signals. Dual-path modeling are introduced to expand the receptive field of the model. We propose an implicit personalized enhancement (IPE) stage based on signal-to-noise ratio (SNR) estimation, which further improves the performance of MBTFNet. Experiments show that our proposed model significantly outperforms several state-of-the-art SE and MSS models.
• Abstract（参考訳）: 典型的なニューラルスピーチエンハンスメント(SE)アプローチは主に音声と雑音の混合を扱うが、これは歌声エンハンスメントのシナリオには最適ではない。 音源分離(MSS)モデルは、声帯と様々な伴奏成分を等しく扱い、声帯拡張のみを考慮したモデルに比べて性能が低下する可能性がある。 本稿では,歌声強調のための新しいマルチバンド時間周波数ニューラルネットワーク(MBTFNet)を提案する。 mbtfnetはバンド間モデリングとバンド内モデリングを組み合わせて、フルバンド信号の処理を改善する。 モデルの受容場を拡張するためにデュアルパスモデリングを導入する。 本稿では,SNR推定に基づく暗黙的パーソナライズ・エンハンスメント(IPE)ステージを提案し,MBTFNetの性能をさらに向上させる。 実験により,提案モデルが最先端のseモデルとmssモデルを大きく上回ることを示した。

関連論文リスト

• SPA-SVC: Self-supervised Pitch Augmentation for Singing Voice Conversion [12.454955437047573]
  歌声変換(SPA-SVC)のための自己教師付きピッチ拡張法を提案する。 サイクルピッチシフトトレーニング戦略と構造類似度指数(SSIM)の損失をSVCモデルに導入し,その性能を効果的に向上する。 歌唱データセットM4Singerの実験結果から,提案手法はモデル性能を大幅に向上させることが示された。
  論文  参考訳（メタデータ） (2024-06-09T08:34:01Z)
• Multilingual Audio-Visual Speech Recognition with Hybrid CTC/RNN-T Fast Conformer [59.57249127943914]
  本稿では,複数の改良を加えた多言語音声認識モデルを提案する。 我々は、6つの異なる言語に対する音声視覚訓練データの量を増やし、重複しない多言語データセットの自動書き起こしを生成する。 提案モデルでは, LRS3データセット上での新たな最先端性能を実現し, WERは0.8%に達した。
  論文  参考訳（メタデータ） (2024-03-14T01:16:32Z)
• Enhancing the vocal range of single-speaker singing voice synthesis with melody-unsupervised pre-training [82.94349771571642]
  本研究では, メロディ非教師型マルチスピーカ事前学習法を提案し, シングルスピーカの発声域を拡大する。 合成音声のリズム自然性を改善するために、識別可能な持続時間調整器を導入するのは、これが初めてである。 実験により,提案したSVSシステムは,音質と自然性の両方において,ベースラインよりも優れていることを確認した。
  論文  参考訳（メタデータ） (2023-09-01T06:40:41Z)
• Towards Improving the Expressiveness of Singing Voice Synthesis with BERT Derived Semantic Information [51.02264447897833]
  本稿では、変換器(BERT)から派生したセマンティック埋め込みから双方向エンコーダ表現を用いた、エンドツーエンドの高品質な歌声合成(SVS)システムを提案する。 提案したSVSシステムは、高品質なVISingerで歌声を生成することができる。
  論文  参考訳（メタデータ） (2023-08-31T16:12:01Z)
• Towards Improving Harmonic Sensitivity and Prediction Stability for Singing Melody Extraction [36.45127093978295]
  本稿では,2つの仮定に基づいて,入力特徴量修正と訓練対象量修正を提案する。 後続高調波に対するモデルの感度を高めるため、離散z変換を用いた複合周波数と周期表現を修正した。 我々はこれらの修正を、MSNet、FTANet、ピアノの書き起こしネットワークから修正された新しいモデルPianoNetなど、いくつかのモデルに適用する。
  論文  参考訳（メタデータ） (2023-08-04T21:59:40Z)
• Hierarchical Diffusion Models for Singing Voice Neural Vocoder [21.118585353100634]
  歌声ニューラルボコーダの階層的拡散モデルを提案する。 実験により,複数の歌手に対して高品質な歌唱音声を生成する方法が得られた。
  論文  参考訳（メタデータ） (2022-10-14T04:30:09Z)
• Music Source Separation with Band-split RNN [25.578400006180527]
  本稿では,周波数領域モデルを提案する。このモデルでは,混合物のスペクトルをサブバンドに分割し,インターリーブバンドレベルおよびシーケンスレベルのモデリングを行う。 サブバンドの帯域幅の選択は、対象源の特性に関する事前知識または専門知識によって決定できる。 実験の結果、BSRNNはMUSDB18-HQデータセットのみをトレーニングし、ミュージック・デミキシング(MDX)チャレンジ2021において、いくつかの上位モデルを上回った。
  論文  参考訳（メタデータ） (2022-09-30T01:49:52Z)
• Sinsy: A Deep Neural Network-Based Singing Voice Synthesis System [25.573552964889963]
  本稿では,ディープニューラルネットワーク(DNN)に基づく歌唱音声合成(SVS)システムであるSinsyについて述べる。 提案システムは,時間ラグモデル,持続時間モデル,音響モデル,ボコーダの4つのモジュールから構成される。 実験結果から,より適切なタイミング,より自然なビブラート,正しいピッチで歌唱音声を合成できることが確認された。
  論文  参考訳（メタデータ） (2021-08-05T17:59:58Z)
• DiffSinger: Diffusion Acoustic Model for Singing Voice Synthesis [53.19363127760314]
  DiffSingerは、音楽スコアで調整されたメログラムにノイズを反復的に変換するパラメータ化されたマルコフチェーンです。 中国の歌唱データセットで行った評価は、DiffSingerが最先端のSVSワークを顕著な差で上回っていることを示している。
  論文  参考訳（メタデータ） (2021-05-06T05:21:42Z)
• HiFiSinger: Towards High-Fidelity Neural Singing Voice Synthesis [153.48507947322886]
  HiFiSingerは、高忠実な歌声に対するSVSシステムである。 FastSpeechベースの音響モデルとParallel WaveGANベースのボコーダで構成されている。 実験の結果,HiFiSingerは高品質な歌声を合成することがわかった。
  論文  参考訳（メタデータ） (2020-09-03T16:31:02Z)
• Unsupervised Cross-Domain Singing Voice Conversion [105.1021715879586]
  任意の同一性から音声変換を行うタスクに対して,wav-to-wav生成モデルを提案する。 提案手法は,自動音声認識のタスクのために訓練された音響モデルとメロディ抽出機能の両方を用いて波形ベースジェネレータを駆動する。
  論文  参考訳（メタデータ） (2020-08-06T18:29:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。