論文の概要: Towards Automatic Instrumentation by Learning to Separate Parts in Symbolic Multitrack Music

• arxiv url: http://arxiv.org/abs/2107.05916v1
• Date: Tue, 13 Jul 2021 08:34:44 GMT
• ステータス: 処理完了
• システム内更新日: 2021-07-14 14:50:32.658251
• Title: Towards Automatic Instrumentation by Learning to Separate Parts in Symbolic Multitrack Music
• Title（参考訳）: シンボリック・マルチトラック音楽の部品分割学習による自動インスツルメンテーション
• Authors: Hao-Wen Dong, Chris Donahue, Taylor Berg-Kirkpatrick, Julian McAuley
• Abstract要約: 演奏中のソロ音楽の音符に楽器を動的に割り当てる自動楽器の実現可能性について検討する。 オンラインでリアルタイムに使用可能なパフォーマンスユースケースの設定に加えて、自動インスツルメンテーションはオフライン環境での補助的な構成ツールのアプリケーションも見つけることができる。 我々は,パート分離の課題を逐次多クラス分類問題として捉え,音符のシーケンスをパートラベルのシーケンスにマッピングするために機械学習を採用する。
• 参考スコア（独自算出の注目度）: 33.679951600368405
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Modern keyboards allow a musician to play multiple instruments at the same time by assigning zones -- fixed pitch ranges of the keyboard -- to different instruments. In this paper, we aim to further extend this idea and examine the feasibility of automatic instrumentation -- dynamically assigning instruments to notes in solo music during performance. In addition to the online, real-time-capable setting for performative use cases, automatic instrumentation can also find applications in assistive composing tools in an offline setting. Due to the lack of paired data of original solo music and their full arrangements, we approach automatic instrumentation by learning to separate parts (e.g., voices, instruments and tracks) from their mixture in symbolic multitrack music, assuming that the mixture is to be played on a keyboard. We frame the task of part separation as a sequential multi-class classification problem and adopt machine learning to map sequences of notes into sequences of part labels. To examine the effectiveness of our proposed models, we conduct a comprehensive empirical evaluation over four diverse datasets of different genres and ensembles -- Bach chorales, string quartets, game music and pop music. Our experiments show that the proposed models outperform various baselines. We also demonstrate the potential for our proposed models to produce alternative convincing instrumentations for an existing arrangement by separating its mixture into parts. All source code and audio samples can be found at https://salu133445.github.io/arranger/ .
• Abstract（参考訳）: 現代のキーボードは、ミュージシャンがキーボードの固定ピッチ範囲であるゾーンを異なる楽器に割り当てることで、複数の楽器を同時に演奏することができる。 本稿では,この考え方をさらに拡張し,演奏中に楽器を音符に動的に割り当てる自動楽器化の実現可能性を検討することを目的とする。 オンラインでリアルタイムに使用できるパフォーマンスユースケースの設定に加えて、自動インスツルメンテーションはオフライン環境での補助的な構成ツールのアプリケーションも見つけることができる。 オリジナル・ソロ・ミュージックと全編のペア・データの欠如により、楽器がキーボードで演奏されることを前提に、曲の混合部分(例えば、声、楽器、トラック)とシンボリック・マルチトラック・ミュージックの混合部分とを分離して学習し、自動楽器化にアプローチする。 パート分離のタスクを逐次的多クラス分類問題としてモデル化し,ノートのシーケンスを部分ラベルのシーケンスにマッピングする機械学習を採用する。 提案モデルの有効性を検討するため,Bach合唱曲,弦楽四重奏曲,ゲーム音楽,ポップ音楽の4つの異なるジャンルとアンサンブルのデータセットを総合的に評価した。 実験の結果,提案モデルが様々なベースラインを上回ることがわかった。 また,提案したモデルが,その混合物を部品に分離することで,既存の配置に対する代替の説得器具を生産する可能性を実証する。 すべてのソースコードとオーディオサンプルはhttps://salu133445.github.io/arranger/ で見ることができる。

関連論文リスト

• Subtractive Training for Music Stem Insertion using Latent Diffusion Models [35.91945598575059]
  本稿では,他の楽器を文脈として与えた個々の楽器茎を合成する方法であるSubtractive Trainingを提案する。 以上の結果から,既存のトラックとシームレスにブレンドしたドラムステムを創り出すためのサブトラクティブトレーニングの有効性が示された。 我々はこの技術をMIDIフォーマットに拡張し、不完全なアレンジメントのために、互換性のあるベース、ドラム、ギター部品をうまく生成する。
  論文  参考訳（メタデータ） (2024-06-27T16:59:14Z)
• Simple and Controllable Music Generation [94.61958781346176]
  MusicGenは単一の言語モデル(LM)であり、圧縮された離散的な音楽表現、すなわちトークンの複数のストリームで動作する。 以前の作業とは異なり、MusicGenはシングルステージのトランスフォーマーLMと効率的なトークンインターリービングパターンで構成されている。
  論文  参考訳（メタデータ） (2023-06-08T15:31:05Z)
• Show Me the Instruments: Musical Instrument Retrieval from Mixture Audio [11.941510958668557]
  これを「楽器検索」と呼ぶ。 本稿では,クエリーとして参照音楽の混合を用いて,所望の楽器を検索する手法を提案する。 提案モデルは,畳み込みニューラルネットワークに基づくシングルインスツルメンツとマルチインスツルメンツで構成されている。
  論文  参考訳（メタデータ） (2022-11-15T07:32:39Z)
• Jointist: Joint Learning for Multi-instrument Transcription and Its Applications [15.921536323391226]
  ジョイントリスト(Jointist)は、複数の楽器を音声クリップから書き起こし、認識し、分離することのできる、楽器を意識した多構成のフレームワークである。 ジョイントリストは、他のモジュールを条件付ける楽器認識モジュールと、楽器固有のピアノロールを出力する転写モジュールと、楽器情報と転写結果を利用する音源分離モジュールから構成される。
  論文  参考訳（メタデータ） (2022-06-22T02:03:01Z)
• Symphony Generation with Permutation Invariant Language Model [57.75739773758614]
  変分不変言語モデルに基づくシンフォニーネットという記号的シンフォニー音楽生成ソリューションを提案する。 シンフォニートークンの超長いシーケンスをモデル化するためのバックボーンとして、新しいトランスフォーマーデコーダアーキテクチャが導入された。 実験結果から,提案手法は人間の構成と比べ,コヒーレント,新規,複雑,調和的な交響曲を生成できることが示唆された。
  論文  参考訳（メタデータ） (2022-05-10T13:08:49Z)
• Quantized GAN for Complex Music Generation from Dance Videos [48.196705493763986]
  D2M-GAN(Dance2Music-GAN, D2M-GAN, D2M-GAN)は、ダンスビデオに条件付けされた楽曲のサンプルを生成する新しいマルチモーダルフレームワークである。 提案フレームワークは,ダンスビデオフレームと人体の動きを入力とし,対応する入力に付随する音楽サンプルを生成することを学習する。
  論文  参考訳（メタデータ） (2022-04-01T17:53:39Z)
• SeCo: Separating Unknown Musical Visual Sounds with Consistency Guidance [88.0355290619761]
  この作品は未知の楽器の分離に焦点を当てている。 本稿では,未知のカテゴリを分離できるセコ(SeCo)フレームワークを提案する。 本手法は,新たな楽曲カテゴリに適応する能力を示し,基本手法を顕著なマージンで上回る性能を示す。
  論文  参考訳（メタデータ） (2022-03-25T09:42:11Z)
• Multi-Instrumentalist Net: Unsupervised Generation of Music from Body Movements [20.627164135805852]
  本研究では、楽器を演奏するミュージシャンの入力体の動きを取り入れ、教師なしの環境で音楽を生成する新しいシステムを提案する。 ログ・スペクトログラムから様々な楽器音楽の離散的な潜在表現を学習するパイプライン「Multi-instrumentalistNet」を構築した。 Midiは、パイプラインがビデオ内の楽器によって演奏される音楽の正確なコンテンツを生成するように、潜在空間をさらに調整できることを示しています。
  論文  参考訳（メタデータ） (2020-12-07T06:54:10Z)
• Music Gesture for Visual Sound Separation [121.36275456396075]
  ミュージック・ジェスチャ(Music Gesture)は、音楽演奏時の演奏者の身体と指の動きを明示的にモデル化するキーポイントに基づく構造化表現である。 まず、コンテキスト対応グラフネットワークを用いて、視覚的コンテキストと身体力学を統合し、その後、身体の動きと対応する音声信号とを関連付けるために、音声-視覚融合モデルを適用する。
  論文  参考訳（メタデータ） (2020-04-20T17:53:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。