論文の概要: Stem-JEPA: A Joint-Embedding Predictive Architecture for Musical Stem Compatibility Estimation
- arxiv url: http://arxiv.org/abs/2408.02514v1
- Date: Mon, 5 Aug 2024 14:34:40 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-06 12:46:43.191089
- Title: Stem-JEPA: A Joint-Embedding Predictive Architecture for Musical Stem Compatibility Estimation
- Title（参考訳）: Stem-JEPA:音楽のステム適合性推定のための統合組込み予測アーキテクチャ
- Authors: Alain Riou, Stefan Lattner, Gaëtan Hadjeres, Michael Anslow, Geoffroy Peeters,
- Abstract要約: マルチトラックデータセットでトレーニングした新しいJEPA(Joint-Embedding Predictive Architecture)であるStem-JEPAを紹介する。
本モデルでは, エンコーダと予測器の2つのネットワークから構成される。
MUSDB18データセットの検索タスクにおいて、本モデルの性能を評価し、ミキシングから欠落した茎を見つける能力を検証した。
- 参考スコア（独自算出の注目度）: 3.8570045844185237
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This paper explores the automated process of determining stem compatibility by identifying audio recordings of single instruments that blend well with a given musical context. To tackle this challenge, we present Stem-JEPA, a novel Joint-Embedding Predictive Architecture (JEPA) trained on a multi-track dataset using a self-supervised learning approach. Our model comprises two networks: an encoder and a predictor, which are jointly trained to predict the embeddings of compatible stems from the embeddings of a given context, typically a mix of several instruments. Training a model in this manner allows its use in estimating stem compatibility - retrieving, aligning, or generating a stem to match a given mix - or for downstream tasks such as genre or key estimation, as the training paradigm requires the model to learn information related to timbre, harmony, and rhythm. We evaluate our model's performance on a retrieval task on the MUSDB18 dataset, testing its ability to find the missing stem from a mix and through a subjective user study. We also show that the learned embeddings capture temporal alignment information and, finally, evaluate the representations learned by our model on several downstream tasks, highlighting that they effectively capture meaningful musical features.
- Abstract（参考訳）: 本稿では,特定の音環境とうまく融合した単一楽器の音声録音を同定することにより,音質の相違を自動判定する方法について検討する。
この課題に対処するために、自己教師型学習アプローチを用いてマルチトラックデータセットでトレーニングされた、新しいJEPA(Joint-Embedding Predictive Architecture)であるStem-JEPAを紹介した。
我々のモデルは2つのネットワークから構成される:エンコーダと予測器は、与えられた文脈の埋め込み(典型的には複数の楽器の混合)から互換性のある茎の埋め込みを予測するために共同で訓練される。
トレーニングパラダイムでは、モデルが音色、調和、リズムに関連する情報を学ぶ必要があるため、この方法でモデルをトレーニングすることで、幹細胞の互換性を推定する — 特定のミックスにマッチする茎を検索、整列、あるいは生成する — あるいはジャンルや鍵推定といった下流タスクに使用することができる。
MUSDB18データセットの検索タスクにおいて、本モデルの性能を評価し、ミキシングと主観的ユーザスタディを通して、欠落した茎を見つける能力をテストする。
また、学習した埋め込みが時間的アライメント情報をキャプチャし、最後に、我々のモデルが学習した表現を複数の下流タスクで評価し、意味のある音楽的特徴を効果的に捉えていることを示す。
関連論文リスト
- Generating Sample-Based Musical Instruments Using Neural Audio Codec Language Models [2.3749120526936465]
サンプルベース楽器の自動生成のためのニューラルオーディオ言語モデルを提案する。
提案手法は,88キーのスペクトル,速度,テキスト/オーディオの埋め込みを併用した音声合成フレームワークを拡張した。
論文 参考訳（メタデータ） (2024-07-22T13:59:58Z) - Leveraging Pre-Trained Autoencoders for Interpretable Prototype Learning
of Music Audio [10.946347283718923]
本稿では,プロトタイプ学習に基づく音楽音声分類のための解釈可能なモデルPECMAEを提案する。
我々のモデルは,オートエンコーダとプロトタイプネットワークを共同で学習する先行手法であるAPNetに基づいている。
プロトタイプベースのモデルはオートエンコーダの埋め込みによって達成された性能の大部分を保っていることがわかった。
論文 参考訳（メタデータ） (2024-02-14T17:13:36Z) - Noisy Pair Corrector for Dense Retrieval [59.312376423104055]
ノイズペアコレクタ(NPC)と呼ばれる新しい手法を提案する。
NPCは検出モジュールと修正モジュールから構成される。
我々は,テキスト検索ベンチマークのNatural QuestionとTriviaQA,コード検索ベンチマークのStaQCとSO-DSで実験を行った。
論文 参考訳（メタデータ） (2023-11-07T08:27:14Z) - Serenade: A Model for Human-in-the-loop Automatic Chord Estimation [1.6385815610837167]
そこで本研究では,Human-in-the-loopアプローチにより,モデルのみのアプローチよりも高調波解析性能が向上することを示す。
我々は,ポピュラー音楽のデータセットを用いてモデル評価を行い,本手法を用いることで,モデルのみのアプローチよりも高調波解析性能が向上することを示す。
論文 参考訳（メタデータ） (2023-10-17T11:31:29Z) - Exploring the Efficacy of Pre-trained Checkpoints in Text-to-Music
Generation Task [86.72661027591394]
テキスト記述から完全で意味論的に一貫したシンボリック音楽の楽譜を生成する。
テキスト・音楽生成タスクにおける自然言語処理のための公開チェックポイントの有効性について検討する。
実験結果から, BLEUスコアと編集距離の類似性において, 事前学習によるチェックポイントの使用による改善が統計的に有意であることが示唆された。
論文 参考訳（メタデータ） (2022-11-21T07:19:17Z) - Partner-Assisted Learning for Few-Shot Image Classification [54.66864961784989]
人間の視覚能力を模倣し、徹底的な人間のアノテーションを必要とせずに効果的なモデルを学ぶために、わずかなショットラーニングが研究されている。
本稿では,新しいクラスのプロトタイプをラベル付きサンプルから推定できるように,要素表現を得るためのトレーニング戦略の設計に焦点をあてる。
本稿では,まずパートナーエンコーダのペアワイド類似性をモデル化し,ソフトアンカーとして機能する特徴を抽出し,その出力をソフトアンカーと整列させ,分類性能を最大化しようとする2段階トレーニング手法を提案する。
論文 参考訳（メタデータ） (2021-09-15T22:46:19Z) - Layer-wise Analysis of a Self-supervised Speech Representation Model [26.727775920272205]
自己教師付き学習アプローチは、音声表現モデルの事前学習に成功している。
事前訓練された表現そのものに符号化された情報のタイプや範囲についてはあまり研究されていない。
論文 参考訳（メタデータ） (2021-07-10T02:13:25Z) - Using Data Assimilation to Train a Hybrid Forecast System that Combines
Machine-Learning and Knowledge-Based Components [52.77024349608834]
利用可能なデータがノイズの多い部分測定の場合,カオスダイナミクスシステムのデータ支援予測の問題を検討する。
動的システムの状態の部分的測定を用いることで、不完全な知識ベースモデルによる予測を改善するために機械学習モデルを訓練できることを示す。
論文 参考訳（メタデータ） (2021-02-15T19:56:48Z) - Interpretable Multi-dataset Evaluation for Named Entity Recognition [110.64368106131062]
本稿では,名前付きエンティティ認識(NER)タスクに対する一般的な評価手法を提案する。
提案手法は,モデルとデータセットの違いと,それらの間の相互作用を解釈することを可能にする。
分析ツールを利用可能にすることで、将来の研究者が同様の分析を実行し、この分野の進歩を促進することができる。
論文 参考訳（メタデータ） (2020-11-13T10:53:27Z) - Score-informed Networks for Music Performance Assessment [64.12728872707446]
MPAモデルにスコア情報を組み込んだディープニューラルネットワークに基づく手法はまだ研究されていない。
スコアインフォームド性能評価が可能な3つのモデルを提案する。
論文 参考訳（メタデータ） (2020-08-01T07:46:24Z) - COALA: Co-Aligned Autoencoders for Learning Semantically Enriched Audio
Representations [32.456824945999465]
本稿では,学習した音声とその関連タグの潜在表現を調整し,音声表現を学習する手法を提案する。
組込みモデルの性能評価を行い,その性能を3つの異なるタスクにおける特徴抽出器として評価した。
論文 参考訳（メタデータ） (2020-06-15T13:17:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。