論文の概要: Show Me the Instruments: Musical Instrument Retrieval from Mixture Audio
- arxiv url: http://arxiv.org/abs/2211.07951v1
- Date: Tue, 15 Nov 2022 07:32:39 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-16 16:13:25.472081
- Title: Show Me the Instruments: Musical Instrument Retrieval from Mixture Audio
- Title（参考訳）: 楽器を見せてくれ:混合オーディオからの楽器の検索
- Authors: Kyungsu Kim, Minju Park, Haesun Joung, Yunkee Chae, Yeongbeom Hong,
Seonghyeon Go and Kyogu Lee
- Abstract要約: これを「楽器検索」と呼ぶ。
本稿では,クエリーとして参照音楽の混合を用いて,所望の楽器を検索する手法を提案する。
提案モデルは,畳み込みニューラルネットワークに基づくシングルインスツルメンツとマルチインスツルメンツで構成されている。
- 参考スコア（独自算出の注目度）: 11.941510958668557
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: As digital music production has become mainstream, the selection of
appropriate virtual instruments plays a crucial role in determining the quality
of music. To search the musical instrument samples or virtual instruments that
make one's desired sound, music producers use their ears to listen and compare
each instrument sample in their collection, which is time-consuming and
inefficient. In this paper, we call this task as Musical Instrument Retrieval
and propose a method for retrieving desired musical instruments using reference
music mixture as a query. The proposed model consists of the Single-Instrument
Encoder and the Multi-Instrument Encoder, both based on convolutional neural
networks. The Single-Instrument Encoder is trained to classify the instruments
used in single-track audio, and we take its penultimate layer's activation as
the instrument embedding. The Multi-Instrument Encoder is trained to estimate
multiple instrument embeddings using the instrument embeddings computed by the
Single-Instrument Encoder as a set of target embeddings. For more generalized
training and realistic evaluation, we also propose a new dataset called Nlakh.
Experimental results showed that the Single-Instrument Encoder was able to
learn the mapping from the audio signal of unseen instruments to the instrument
embedding space and the Multi-Instrument Encoder was able to extract multiple
embeddings from the mixture of music and retrieve the desired instruments
successfully. The code used for the experiment and audio samples are available
at: https://github.com/minju0821/musical_instrument_retrieval
- Abstract（参考訳）: デジタル音楽の制作が主流になると、適切な仮想楽器の選択は音楽の質を決定する上で重要な役割を果たす。
好みの音を出す楽器のサンプルや仮想楽器を探索するために、音楽プロデューサーは耳を使ってそれぞれの楽器のサンプルを聴いて比較する。
本稿では,この課題を楽器検索と呼び,レファレンス・ミュージック・ミキシングを問合せとして,所望の楽器を検索する方法を提案する。
提案モデルは,畳み込みニューラルネットワークに基づくシングルインスツルメンツエンコーダとマルチインスツルメンツエンコーダで構成されている。
single-instrumentエンコーダは、シングルトラックオーディオで使用される楽器を分類するために訓練され、そのペナルティメート層のアクティベーションを楽器埋め込みとしてとらえる。
マルチインストゥルメントエンコーダは、シングルインスツルメントエンコーダによって計算されたインスツルメントエンコーダを対象埋め込みの集合として、複数のインスツルメントエンコーダを推定するように訓練される。
より一般化されたトレーニングと現実的な評価のために、Nlakhと呼ばれる新しいデータセットも提案する。
実験の結果,シングルインスツルメンツエンコーダは楽器の音響信号から楽器の埋め込み空間へのマッピングを学習することができ,マルチインツルメンツエンコーダは音楽の混合から複数の埋め込みを抽出し,目的の楽器をうまく回収することができた。
実験とオーディオサンプルに使われるコードは、https://github.com/minju0821/musical_instrument_retrieval.comで公開されている。
関連論文リスト
- Toward a More Complete OMR Solution [49.74172035862698]
光音楽認識は、音楽の表記をデジタル形式に変換することを目的としている。
OMRに取り組む1つのアプローチは、画像内の視覚音楽の表記要素を最初に検出するマルチステージパイプラインである。
YOLOv8に基づく音楽オブジェクト検出器を導入し,検出性能を向上する。
第2に、検出出力に基づいて記法組立段階を完了する教師付きトレーニングパイプラインを導入する。
論文 参考訳（メタデータ） (2024-08-31T01:09:12Z) - Toward Deep Drum Source Separation [52.01259769265708]
本稿では,独立した単一構造ドラムステムの大規模オーディオデータセットであるStemGMDを紹介する。
合計1224時間、StemGMDはドラムのオーディオデータセットとしてこれまでで最大である。
我々は、StemGMDを利用して、新しいディープドラムソース分離モデルであるLarsNetを開発した。
論文 参考訳（メタデータ） (2023-12-15T10:23:07Z) - InstrumentGen: Generating Sample-Based Musical Instruments From Text [3.4447129363520337]
本稿では,テキストプロンプトに基づくサンプルベース楽器の生成を目的とした,テキスト・ツー・ストラクチャメント・タスクを提案する。
本研究では,テキストプロジェクティブ・オーディオ・フレームワークを,楽器群,ソースタイプ,ピッチ(88キースペクトル全体),速度,共同テキスト/オーディオの埋め込みに拡張するモデルであるInstrumentGenを提案する。
論文 参考訳（メタデータ） (2023-11-07T20:45:59Z) - Simple and Controllable Music Generation [94.61958781346176]
MusicGenは単一の言語モデル(LM)であり、圧縮された離散的な音楽表現、すなわちトークンの複数のストリームで動作する。
以前の作業とは異なり、MusicGenはシングルステージのトランスフォーマーLMと効率的なトークンインターリービングパターンで構成されている。
論文 参考訳（メタデータ） (2023-06-08T15:31:05Z) - iQuery: Instruments as Queries for Audio-Visual Sound Separation [21.327023637480284]
現在の音声-視覚分離方式は、オーディオエンコーダ・デコーダネットワークがエンコーダボトルネックの視覚的符号化機能と融合した標準的なアーキテクチャ設計を共有している。
視覚-音分離タスクを再構成し、柔軟なクエリ拡張機構を備えたインスツルメンツ・アズ・クエリー(iQuery)を提案する。
当社のアプローチは, クロスモーダル整合性とクロスインストラクションの絡み合いを保証する。
論文 参考訳（メタデータ） (2022-12-07T17:55:06Z) - Symphony Generation with Permutation Invariant Language Model [57.75739773758614]
変分不変言語モデルに基づくシンフォニーネットという記号的シンフォニー音楽生成ソリューションを提案する。
シンフォニートークンの超長いシーケンスをモデル化するためのバックボーンとして、新しいトランスフォーマーデコーダアーキテクチャが導入された。
実験結果から,提案手法は人間の構成と比べ,コヒーレント,新規,複雑,調和的な交響曲を生成できることが示唆された。
論文 参考訳（メタデータ） (2022-05-10T13:08:49Z) - Towards Automatic Instrumentation by Learning to Separate Parts in
Symbolic Multitrack Music [33.679951600368405]
演奏中のソロ音楽の音符に楽器を動的に割り当てる自動楽器の実現可能性について検討する。
オンラインでリアルタイムに使用可能なパフォーマンスユースケースの設定に加えて、自動インスツルメンテーションはオフライン環境での補助的な構成ツールのアプリケーションも見つけることができる。
我々は,パート分離の課題を逐次多クラス分類問題として捉え,音符のシーケンスをパートラベルのシーケンスにマッピングするために機械学習を採用する。
論文 参考訳（メタデータ） (2021-07-13T08:34:44Z) - Deep Neural Network for Musical Instrument Recognition using MFCCs [0.6445605125467573]
楽器認識は、その音響によって楽器の識別を行うタスクである。
本稿では,20種類の楽器の分類を訓練した人工ニューラルネットワーク(ann)モデルを用いた。
論文 参考訳（メタデータ） (2021-05-03T15:10:34Z) - Multi-Instrumentalist Net: Unsupervised Generation of Music from Body
Movements [20.627164135805852]
本研究では、楽器を演奏するミュージシャンの入力体の動きを取り入れ、教師なしの環境で音楽を生成する新しいシステムを提案する。
ログ・スペクトログラムから様々な楽器音楽の離散的な潜在表現を学習するパイプライン「Multi-instrumentalistNet」を構築した。
Midiは、パイプラインがビデオ内の楽器によって演奏される音楽の正確なコンテンツを生成するように、潜在空間をさらに調整できることを示しています。
論文 参考訳（メタデータ） (2020-12-07T06:54:10Z) - Fast accuracy estimation of deep learning based multi-class musical
source separation [79.10962538141445]
本稿では,ニューラルネットワークのトレーニングやチューニングを行うことなく,任意のデータセットにおける楽器の分離性を評価する手法を提案する。
理想的な比マスクを持つオラクルの原理に基づいて、我々の手法は最先端のディープラーニング手法の分離性能を推定するための優れたプロキシである。
論文 参考訳（メタデータ） (2020-10-19T13:05:08Z) - Vector-Quantized Timbre Representation [53.828476137089325]
本稿では, スペクトル特性の近似分解を生成的特徴の集合で学習することにより, 個々の音色をより柔軟に合成することを目的とする。
音量分布の量子化表現を学習するために、大音量から切り離された離散潜在空間を持つオートエンコーダを導入する。
オーケストラ楽器と歌唱音声間の音声の翻訳結果と、ボーカルの模倣音から楽器への変換結果について詳述する。
論文 参考訳（メタデータ） (2020-07-13T12:35:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。