論文の概要: Score-informed Music Source Separation: Improving Synthetic-to-real Generalization in Classical Music
- arxiv url: http://arxiv.org/abs/2503.07352v1
- Date: Mon, 10 Mar 2025 14:08:31 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-03-11 15:45:01.215559
- Title: Score-informed Music Source Separation: Improving Synthetic-to-real Generalization in Classical Music
- Title(参考訳): スコアインフォームドな音源分離:クラシック音楽における合成から現実への一般化の改善
- Authors: Eetu Tunturi, David Diaz-Guerra, Archontis Politis, Tuomas Virtanen,
- Abstract要約: 音源分離は、楽器の混合物を構成トラックに分離する作業である。
本稿では,楽譜の分離を支援する2つの方法として,楽譜情報モデルと楽譜情報のみのモデルを提案する。
スコアインフォームドモデルは、ベースラインアプローチと比較して分離結果を改善するが、合成データから実データへの一般化に苦慮する。
- 参考スコア(独自算出の注目度): 8.468436398420764
- License:
- Abstract: Music source separation is the task of separating a mixture of instruments into constituent tracks. Music source separation models are typically trained using only audio data, although additional information can be used to improve the model's separation capability. In this paper, we propose two ways of using musical scores to aid music source separation: a score-informed model where the score is concatenated with the magnitude spectrogram of the audio mixture as the input of the model, and a model where we use only the score to calculate the separation mask. We train our models on synthetic data in the SynthSOD dataset and evaluate our methods on the URMP and Aalto anechoic orchestra datasets, comprised of real recordings. The score-informed model improves separation results compared to a baseline approach, but struggles to generalize from synthetic to real data, whereas the score-only model shows a clear improvement in synthetic-to-real generalization.
- Abstract(参考訳): 音源分離は、楽器の混合物を構成トラックに分離する作業である。
音楽ソース分離モデルは、通常、オーディオデータのみを使用して訓練されるが、モデルの分離能力を改善するために追加情報を使用することができる。
本稿では,楽譜を音源分離に利用する2つの方法を提案する。楽譜と音響混合音の大きさスペクトルとをモデルとして結合した楽譜インフォームドモデルと,楽譜のみを用いて分離マスクを計算するモデルである。
我々は、SynthSODデータセットの合成データに基づいてモデルをトレーニングし、実際の録音からなるURMPおよびAaltoアネコニックオーケストラデータセットの手法を評価する。
スコアインフォームドモデルでは,ベースラインアプローチに比べて分離結果を向上するが,合成データから実データへの一般化に苦慮する一方,スコアオンリーモデルは合成から実データへの一般化において明確な改善を示す。
関連論文リスト
- Separate This, and All of these Things Around It: Music Source Separation via Hyperellipsoidal Queries [53.30852012059025]
音源分離は音声から音声までの検索作業である。
音楽ソース分離における最近の研究は、固定状態パラダイムに挑戦し始めている。
本稿では,超楕円体領域をクエリとして使用することにより,ターゲット(位置)とスプレッドの両方を指定するための直感的かつ容易にパラメトリザブルなアプローチを提案する。
論文 参考訳(メタデータ) (2025-01-27T16:13:50Z) - Universal Sound Separation with Self-Supervised Audio Masked Autoencoder [35.560261097213846]
本稿では,音声マスク付きオートエンコーダ(A-MAE)を汎用的な音声分離システムに統合する自己教師付き事前学習モデルを提案する。
提案手法は,最先端のResUNetベースUSSモデルの分離性能の向上に成功している。
論文 参考訳(メタデータ) (2024-07-16T14:11:44Z) - Naturalistic Music Decoding from EEG Data via Latent Diffusion Models [14.882764251306094]
本研究は,非侵襲的脳波データを用いて,高品質な音楽再生を実現するための最初の試みである。
我々は、パブリックなNMED-Tデータセットでモデルをトレーニングし、ニューラルネットワークベースのメトリクスを提案する定量的評価を行う。
論文 参考訳(メタデータ) (2024-05-15T03:26:01Z) - Self-Supervised Visual Acoustic Matching [63.492168778869726]
音響マッチングは、ターゲットの音響環境に録音されたかのように、音声クリップを再合成することを目的としている。
そこで本研究では,対象のシーン画像と音声のみを含む,視覚的音響マッチングのための自己教師型アプローチを提案する。
提案手法は,条件付きGANフレームワークと新しいメトリクスを用いて,室内音響をアンタングル化し,音をターゲット環境に再合成する方法を共同で学習する。
論文 参考訳(メタデータ) (2023-07-27T17:59:59Z) - Multi-Source Diffusion Models for Simultaneous Music Generation and Separation [17.124189082882395]
私たちは、音楽ソース分離のための標準データセットであるSlakh2100でモデルをトレーニングします。
我々の手法は、生成タスクと分離タスクの両方を処理できる単一のモデルの最初の例である。
論文 参考訳(メタデータ) (2023-02-04T23:18:36Z) - Music Separation Enhancement with Generative Modeling [11.545349346125743]
本稿では,音源分離システムの出力向上を目的とした後処理モデル(Make it Sound Good)を提案する。
クラウドソースによる主観評価は,MSGが後処理したベースとドラムの音源推定を人間のリスナーが好んでいることを示している。
論文 参考訳(メタデータ) (2022-08-26T00:44:37Z) - BinauralGrad: A Two-Stage Conditional Diffusion Probabilistic Model for
Binaural Audio Synthesis [129.86743102915986]
我々は、音声を共通部分へ分解することで、異なる視点から合成プロセスを定式化する。
拡散モデルを備えた新しい2段階フレームワークであるBinauralGradを提案する。
実験結果から,BinauralGradは対象評価指標と対象評価指標の両方において,既存のベースラインよりも高い性能を示した。
論文 参考訳(メタデータ) (2022-05-30T02:09:26Z) - A Unified Model for Zero-shot Music Source Separation, Transcription and
Synthesis [13.263771543118994]
1)混合音源から個々の音源をテキスト化する,2)各音源をMIDI音符に書き起こす,3)分離音源の音色に基づいて新曲を合成する,という3つのタスクの統一モデルを提案する。
このモデルは、人間が音楽を聴くとき、私たちの心は異なる楽器の音を分離できるだけでなく、スコアや音色といったハイレベルな表現も認識できるという事実にインスピレーションを受けています。
論文 参考訳(メタデータ) (2021-08-07T14:28:21Z) - DiffSinger: Diffusion Acoustic Model for Singing Voice Synthesis [53.19363127760314]
DiffSingerは、音楽スコアで調整されたメログラムにノイズを反復的に変換するパラメータ化されたマルコフチェーンです。
中国の歌唱データセットで行った評価は、DiffSingerが最先端のSVSワークを顕著な差で上回っていることを示している。
論文 参考訳(メタデータ) (2021-05-06T05:21:42Z) - Score-informed Networks for Music Performance Assessment [64.12728872707446]
MPAモデルにスコア情報を組み込んだディープニューラルネットワークに基づく手法はまだ研究されていない。
スコアインフォームド性能評価が可能な3つのモデルを提案する。
論文 参考訳(メタデータ) (2020-08-01T07:46:24Z) - VaPar Synth -- A Variational Parametric Model for Audio Synthesis [78.3405844354125]
本稿では,条件付き変分オートエンコーダ(CVAE)を用いた変分パラメトリックシンセサイザVaPar Synthを提案する。
提案するモデルの性能は,ピッチを柔軟に制御した楽器音の再構成と生成によって実証する。
論文 参考訳(メタデータ) (2020-03-30T16:05:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。