論文の概要: Spectral Mapping of Singing Voices: U-Net-Assisted Vocal Segmentation

• arxiv url: http://arxiv.org/abs/2405.20059v1
• Date: Thu, 30 May 2024 13:47:53 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-31 14:18:37.728151
• Title: Spectral Mapping of Singing Voices: U-Net-Assisted Vocal Segmentation
• Title（参考訳）: 歌声のスペクトルマッピング:U-Net-Assisted Vocal Segmentation
• Authors: Adam Sorrenti,
• Abstract要約: 本研究では,音楽スペクトログラムから発声成分を分離する手法を提案する。 我々は、短い時間フーリエ変換(STFT)を用いて、詳細な周波数時間スペクトログラムに音声波を抽出する。 我々は,歌唱音声成分を正確に分析・抽出することを目的とした,スペクトル画像のセグメント化のためのUNetニューラルネットワークを実装した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Separating vocal elements from musical tracks is a longstanding challenge in audio signal processing. This study tackles the distinct separation of vocal components from musical spectrograms. We employ the Short Time Fourier Transform (STFT) to extract audio waves into detailed frequency-time spectrograms, utilizing the benchmark MUSDB18 dataset for music separation. Subsequently, we implement a UNet neural network to segment the spectrogram image, aiming to delineate and extract singing voice components accurately. We achieved noteworthy results in audio source separation using of our U-Net-based models. The combination of frequency-axis normalization with Min/Max scaling and the Mean Absolute Error (MAE) loss function achieved the highest Source-to-Distortion Ratio (SDR) of 7.1 dB, indicating a high level of accuracy in preserving the quality of the original signal during separation. This setup also recorded impressive Source-to-Interference Ratio (SIR) and Source-to-Artifact Ratio (SAR) scores of 25.2 dB and 7.2 dB, respectively. These values significantly outperformed other configurations, particularly those using Quantile-based normalization or a Mean Squared Error (MSE) loss function. Our source code, model weights, and demo material can be found at the project's GitHub repository: https://github.com/mbrotos/SoundSeg
• Abstract（参考訳）: 音楽トラックからボーカル要素を分離することは、音声信号処理における長年の課題である。 本研究では,音楽スペクトログラムから発声成分を分離する手法を提案する。 我々は、短い時間フーリエ変換(STFT)を用いて、音楽分離のためのMUSDB18データセットを用いて、詳細な周波数時間スペクトログラムに音声波を抽出する。 その後,UNetニューラルネットワークを用いてスペクトル画像の分割を行い,歌唱音声成分を正確に抽出する。 U-Netモデルを用いて音源分離を行った。 Min/Maxスケーリングによる周波数軸正規化と平均絶対誤差(MAE)損失関数の組み合わせは、7.1dBのソース・歪み比(SDR)を達成した。 また、SIR(Source-to-Interference Ratio)とSAR(Source-to-Artifact Ratio)のスコアはそれぞれ25.2dBと7.2dBを記録した。 これらの値は、特にQuantileベースの正規化やMean Squared Error(MSE)損失関数を使った場合、他の構成よりも大幅に優れていた。 ソースコード、モデルウェイト、デモ資料はプロジェクトのGitHubリポジトリにある。

関連論文リスト

• A Generalized Bandsplit Neural Network for Cinematic Audio Source Separation [39.45425155123186]
  周波数軸の完全あるいは過剰な分割に対してBandsplit RNNを一般化するモデルを開発する。 信号-雑音比と1-ノルムの空間的プロモーティング特性によって動機付けられた損失関数を提案した。 我々の最良のモデルは、対話幹の理想比マスクよりも高い性能で、Divide and Remasterデータセット上のアートの状態を設定します。
  論文  参考訳（メタデータ） (2023-09-05T19:19:22Z)
• AERO: Audio Super Resolution in the Spectral Domain [15.965382891955771]
  スペクトル領域における音声および音楽信号を処理するオーディオ超解像モデルであるAEROについて述べる。 時間と周波数の両方のドメイン損失関数を用いてモデルを最適化する。 音声と音楽の両方を考慮した幅広いサンプルレートで高い性能を示す。
  論文  参考訳（メタデータ） (2022-11-22T12:37:01Z)
• Music Separation Enhancement with Generative Modeling [11.545349346125743]
  本稿では,音源分離システムの出力向上を目的とした後処理モデル(Make it Sound Good)を提案する。 クラウドソースによる主観評価は,MSGが後処理したベースとドラムの音源推定を人間のリスナーが好んでいることを示している。
  論文  参考訳（メタデータ） (2022-08-26T00:44:37Z)
• Masked Autoencoders that Listen [79.99280830830854]
  本稿では,画像ベースMasked Autoencoders(MAE)の音声スペクトログラムからの自己教師型表現学習への簡単な拡張について検討する。 MAEにおけるTransformer encoder-decoderの設計に続いて、Audio-MAEはまず、ハイマスキング比でオーディオスペクトログラムパッチを符号化し、エンコーダ層を介して非マスキングトークンのみを供給します。 次にデコーダは、入力スペクトログラムを再構築するために、マスクトークンでパッドされたエンコードされたコンテキストを再注文し、デコードする。
  論文  参考訳（メタデータ） (2022-07-13T17:59:55Z)
• SpecGrad: Diffusion Probabilistic Model based Neural Vocoder with Adaptive Noise Spectral Shaping [51.698273019061645]
  SpecGradは拡散雑音に適応し、その時間変化スペクトル包絡が条件付き対数メル分光器に近づく。 時間周波数領域で処理され、計算コストは従来のDDPMベースのニューラルボコーダとほぼ同じである。
  論文  参考訳（メタデータ） (2022-03-31T02:08:27Z)
• Visual Scene Graphs for Audio Source Separation [65.47212419514761]
  視覚的に誘導された音源分離のための最先端のアプローチは、典型的には楽器のような特徴的な音を持つ音源を仮定する。 本稿では,シーンの視覚構造をグラフとして埋め込んだ新しい深層学習モデルであるAudio Visual Scene Graph Segmenter (AVSGS)を提案する。 我々のパイプラインは、人工混合音から視覚グラフを用いて音源を分離する自己教師タスクにより、エンドツーエンドで訓練される。
  論文  参考訳（メタデータ） (2021-09-24T13:40:51Z)
• DiffSinger: Diffusion Acoustic Model for Singing Voice Synthesis [53.19363127760314]
  DiffSingerは、音楽スコアで調整されたメログラムにノイズを反復的に変換するパラメータ化されたマルコフチェーンです。 中国の歌唱データセットで行った評価は、DiffSingerが最先端のSVSワークを顕著な差で上回っていることを示している。
  論文  参考訳（メタデータ） (2021-05-06T05:21:42Z)
• Deep Convolutional and Recurrent Networks for Polyphonic Instrument Classification from Monophonic Raw Audio Waveforms [30.3491261167433]
  サウンドイベント検出とオーディオ分類タスクは、伝統的にスペクトログラムなどのオーディオ信号の時間周波数表現を通じて対処されます。 効率的な特徴抽出器としてのディープニューラルネットワークは、分類目的にオーディオ信号を直接使用可能にする。 生の波形を深層学習モデルに入力するだけで,ポリフォニック・オーディオで楽器を認識する。
  論文  参考訳（メタデータ） (2021-02-13T13:44:46Z)
• Conditioning Trick for Training Stable GANs [70.15099665710336]
  本稿では,GANトレーニング中の不安定性問題に対応するため,ジェネレータネットワークに正規性から逸脱する条件付け手法を提案する。 我々は、生成元をシュア分解のスペクトル領域で計算された実サンプルの正規化関数から逸脱するように強制する。
  論文  参考訳（メタデータ） (2020-10-12T16:50:22Z)
• Hierarchical Timbre-Painting and Articulation Generation [92.59388372914265]
  本稿では,f0と大音量に基づく高速かつ高忠実な楽曲生成手法を提案する。 合成音声は、対象楽器の音色及び調音を模倣する。
  論文  参考訳（メタデータ） (2020-08-30T05:27:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。