論文の概要: Benchmarks and leaderboards for sound demixing tasks
- arxiv url: http://arxiv.org/abs/2305.07489v1
- Date: Fri, 12 May 2023 14:00:26 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-15 12:50:44.290094
- Title: Benchmarks and leaderboards for sound demixing tasks
- Title(参考訳): サウンドデミックスタスクのためのベンチマークとリーダーボード
- Authors: Roman Solovyev, Alexander Stempkovskiy, Tatiana Habruseva
- Abstract要約: 音源分離タスクのための2つの新しいベンチマークを導入する。
これらのベンチマークでは、音のデミックスやアンサンブルなどの人気モデルを比較します。
また,特定の茎に最適な異なるモデルのアンサンブルに基づく,音声分離のための新しいアプローチも開発している。
- 参考スコア(独自算出の注目度): 68.8204255655161
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Music demixing is the task of separating different tracks from the given
single audio signal into components, such as drums, bass, and vocals from the
rest of the accompaniment. Separation of sources is useful for a range of
areas, including entertainment and hearing aids. In this paper, we introduce
two new benchmarks for the sound source separation tasks and compare popular
models for sound demixing, as well as their ensembles, on these benchmarks. For
the models' assessments, we provide the leaderboard at
https://mvsep.com/quality_checker/, giving a comparison for a range of models.
The new benchmark datasets are available for download. We also develop a novel
approach for audio separation, based on the ensembling of different models that
are suited best for the particular stem. The proposed solution was evaluated in
the context of the Music Demixing Challenge 2023 and achieved top results in
different tracks of the challenge. The code and the approach are open-sourced
on GitHub.
- Abstract(参考訳): 音楽のデミックスは、与えられた単一のオーディオ信号から、ドラム、ベース、ボーカルといったコンポーネントに、他の伴奏から異なるトラックを分離するタスクである。
情報源の分離はエンターテイメントや補聴器など様々な分野で有用である。
本稿では、音源分離タスクのための2つの新しいベンチマークを導入し、これらのベンチマークで一般的な音源分離モデルとそれらのアンサンブルを比較した。
モデルの評価については、https://mvsep.com/quality_checker/でリーダボードを提供し、さまざまなモデルの比較を行います。
新しいベンチマークデータセットはダウンロード可能だ。
また,特定の茎に最適な異なるモデルのアンサンブルに基づく,音声分離のための新しいアプローチも開発している。
提案手法は,音楽デミックス課題2023の文脈で評価され,課題の異なるトラックでトップ結果を得た。
コードとアプローチはgithubで公開されている。
関連論文リスト
- AudioFormer: Audio Transformer learns audio feature representations from
discrete acoustic codes [6.375996974877916]
離散音響符号の取得により音声特徴表現を学習するAudioFormerという手法を提案する。
以上の結果から,AudioFormerはモノモーダル音声分類モデルに比べて性能が大幅に向上したことが示された。
論文 参考訳(メタデータ) (2023-08-14T15:47:25Z) - Separate Anything You Describe [55.0784713558149]
言語クエリオーディオソース分離(LASS)は,CASA(Computer auditory scene analysis)の新しいパラダイムである
AudioSepは、自然言語クエリによるオープンドメインオーディオソース分離の基礎モデルである。
論文 参考訳(メタデータ) (2023-08-09T16:09:44Z) - Simple and Controllable Music Generation [94.61958781346176]
MusicGenは単一の言語モデル(LM)であり、圧縮された離散的な音楽表現、すなわちトークンの複数のストリームで動作する。
以前の作業とは異なり、MusicGenはシングルステージのトランスフォーマーLMと効率的なトークンインターリービングパターンで構成されている。
論文 参考訳(メタデータ) (2023-06-08T15:31:05Z) - AudioGen: Textually Guided Audio Generation [116.57006301417306]
記述文キャプションに条件付き音声サンプルを生成する問題に対処する。
本研究では,テキスト入力に条件付き音声サンプルを生成する自動回帰モデルであるAaudioGenを提案する。
論文 参考訳(メタデータ) (2022-09-30T10:17:05Z) - Zero-shot Audio Source Separation through Query-based Learning from
Weakly-labeled Data [26.058278155958668]
本稿では,大規模だがラベルの弱いデータセットであるAudioSetから,ユニバーサルオーディオソースセパレータをトレーニングするための3成分パイプラインを提案する。
提案手法は,複数の音源の音源分離に単一モデルを用い,弱いラベル付きデータにのみ依存する。
提案したオーディオセパレータはゼロショット設定で使用することができ、トレーニングで見たことのない種類のオーディオソースを分離することを学ぶことができる。
論文 参考訳(メタデータ) (2021-12-15T05:13:43Z) - Audio-Visual Synchronisation in the wild [149.84890978170174]
我々は,VGG-Sound Syncという,高い音声・視覚相関を持つテストセットを同定し,キュレートする。
任意の長さの音響信号と視覚信号のモデル化に特化して設計された,トランスフォーマーに基づく多数のアーキテクチャ変種を比較した。
我々は,新しいVGG-Sound Syncビデオデータセットにおいて,160以上の多様なクラスと一般的な音声-視覚同期のための最初のベンチマークを設定した。
論文 参考訳(メタデータ) (2021-12-08T17:50:26Z) - Unsupervised Source Separation By Steering Pretrained Music Models [15.847814664948013]
本稿では、音源分離のための音楽生成と音楽タグ付けのために訓練されたディープモデルを再活用する教師なし手法を紹介する。
入力混合物に音声生成モデルを条件付けし、音声生成に用いる音声の潜時符号化を生成する。
この生成されたオーディオは、ソースラベルを生成する事前訓練された音楽タグに供給される。
論文 参考訳(メタデータ) (2021-10-25T16:08:28Z) - Visual Scene Graphs for Audio Source Separation [65.47212419514761]
視覚的に誘導された音源分離のための最先端のアプローチは、典型的には楽器のような特徴的な音を持つ音源を仮定する。
本稿では,シーンの視覚構造をグラフとして埋め込んだ新しい深層学習モデルであるAudio Visual Scene Graph Segmenter (AVSGS)を提案する。
我々のパイプラインは、人工混合音から視覚グラフを用いて音源を分離する自己教師タスクにより、エンドツーエンドで訓練される。
論文 参考訳(メタデータ) (2021-09-24T13:40:51Z) - Modeling the Compatibility of Stem Tracks to Generate Music Mashups [6.922825755771942]
音楽マッシュアップは、2つ以上の曲のオーディオ要素を組み合わせて新しい作品を作成する。
研究は、オーディオ要素の互換性を予測するアルゴリズムを開発した。
論文 参考訳(メタデータ) (2021-03-26T01:51:11Z) - Leveraging Category Information for Single-Frame Visual Sound Source
Separation [15.26733033527393]
単一のビデオフレームのみを用いて,視覚的音源分離のための簡易かつ効率的なモデルについて検討する。
我々のモデルは分離過程における音源カテゴリの情報を利用することができる。
論文 参考訳(メタデータ) (2020-07-15T20:35:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。