論文の概要: Composer's Assistant 2: Interactive Multi-Track MIDI Infilling with Fine-Grained User Control

• arxiv url: http://arxiv.org/abs/2407.14700v1
• Date: Fri, 19 Jul 2024 23:28:09 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-23 21:23:47.538122
• Title: Composer's Assistant 2: Interactive Multi-Track MIDI Infilling with Fine-Grained User Control
• Title（参考訳）: Composerのアシスタント2:細粒度ユーザ制御による対話型マルチトラックMIDIインフィル
• Authors: Martin E. Malandro,
• Abstract要約: ComposerのAssistant 2は、REAPERデジタルオーディオワークステーションにおける人間とコンピュータの対話的な合成システムである。 新しいコントロールは、システムの出力を細かく制御する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We introduce Composer's Assistant 2, a system for interactive human-computer composition in the REAPER digital audio workstation. Our work upgrades the Composer's Assistant system (which performs multi-track infilling of symbolic music at the track-measure level) with a wide range of new controls to give users fine-grained control over the system's outputs. Controls introduced in this work include two types of rhythmic conditioning controls, horizontal and vertical note onset density controls, several types of pitch controls, and a rhythmic interest control. We train a T5-like transformer model to implement these controls and to serve as the backbone of our system. With these controls, we achieve a dramatic improvement in objective metrics over the original system. We also study how well our model understands the meaning of our controls, and we conduct a listening study that does not find a significant difference between real music and music composed in a co-creative fashion with our system. We release our complete system, consisting of source code, pretrained models, and REAPER scripts.
• Abstract（参考訳）: 本稿では,REAPERデジタルオーディオワークステーションにおいて,対話型人-コンピュータ合成システムであるComposer's Assistant 2を紹介する。 当社の作業では,コンストラクタのアシスタントシステム(トラック計測レベルでシンボリック音楽のマルチトラックインフィルを行う)を改良し,ユーザがシステム出力をきめ細かな制御を行うようにした。 本研究で導入された制御には、2種類のリズミカルコンディショニング制御、水平および垂直のノートオンセット密度制御、複数種類のピッチ制御、リズミカル関心制御が含まれる。 我々は、これらの制御を実装し、システムのバックボーンとして機能するために、T5ライクなトランスフォーマーモデルを訓練する。 これらの制御により、元のシステムよりも客観的なメトリクスが劇的に改善される。 また,我々のモデルがコントロールの意味をいかによく理解しているかを考察し,本システムと協調して構成される実際の音楽と音楽の間に有意な違いを見出さないリスニング研究を行う。 我々は、ソースコード、事前訓練されたモデル、REAPERスクリプトからなる完全なシステムをリリースする。

関連論文リスト

• BandControlNet: Parallel Transformers-based Steerable Popular Music Generation with Fine-Grained Spatiotemporal Features [19.284531698181116]
  BandControlNetは、複数の音楽シーケンスに対処し、与えられた時間的制御機能に合わせた高品質な音楽サンプルを生成するように設計されている。 提案したBandControlNetは、ほとんどの客観的指標において、忠実度と推論速度の点で他の条件付き音楽生成モデルよりも優れている。 短いデータセットでトレーニングされた主観評価は、最先端のモデルに匹敵する品質の音楽を生成できるが、BandControlNetでは大幅にパフォーマンスが向上する。
  論文  参考訳（メタデータ） (2024-07-15T06:33:25Z)
• MuseBarControl: Enhancing Fine-Grained Control in Symbolic Music Generation through Pre-Training and Counterfactual Loss [51.85076222868963]
  制御信号と対応する音楽トークンを直接リンクする事前学習タスクを導入する。 次に、生成した音楽と制御プロンプトとの整合性を向上する新たな対実的損失を実現する。
  論文  参考訳（メタデータ） (2024-07-05T08:08:22Z)
• ControlSpeech: Towards Simultaneous Zero-shot Speaker Cloning and Zero-shot Language Style Control With Decoupled Codec [56.85376465258286]
  話者の声を完全に模倣し,任意の発話スタイルの制御と調整を可能にするTTSシステムであるControlSpeechを提案する。 以前のゼロショットTSモデルとコントロール可能なTSモデルは、さらなる制御と調整機能なしでスピーカーの声を模倣することしかできず、スピーカー固有の音声生成とは無関係であった。
  論文  参考訳（メタデータ） (2024-06-03T11:15:16Z)
• Prompt-Singer: Controllable Singing-Voice-Synthesis with Natural Language Prompt [50.25271407721519]
  本稿では,歌手の性別,声域,音量を自然言語で制御できる最初のSVS手法であるPrompt-Singerを提案する。 我々は,マルチスケール階層を持つデコーダのみの変換器に基づくモデルアーキテクチャを採用し,レンジメロディデカップリングされたピッチ表現を設計する。 実験により,本モデルは良好な制御能力と音質が得られることが示された。
  論文  参考訳（メタデータ） (2024-03-18T13:39:05Z)
• Content-based Controls For Music Large Language Modeling [6.17674772485321]
  Coco-Mullaは、音楽大言語モデリングのためのコンテンツベースの制御方法である。 トランスフォーマーベースのオーディオモデルに適したパラメータ効率細調整法(PEFT)を用いる。 提案手法は,低リソース半教師付き学習による高品質な音楽生成を実現する。
  論文  参考訳（メタデータ） (2023-10-26T05:24:38Z)
• Anticipatory Music Transformer [77.29752896976116]
  本稿では、時間点過程の制御可能な生成モデルを構築する方法である予測を導入する。 コントロールはイベント自体のサブセットであるので、コントロールタスクの充実に重点を置いています。 大規模かつ多様なLakh MIDI音楽データセットを用いて予測入出力モデルを訓練する。
  論文  参考訳（メタデータ） (2023-06-14T16:27:53Z)
• Simple and Controllable Music Generation [94.61958781346176]
  MusicGenは単一の言語モデル(LM)であり、圧縮された離散的な音楽表現、すなわちトークンの複数のストリームで動作する。 以前の作業とは異なり、MusicGenはシングルステージのトランスフォーマーLMと効率的なトークンインターリービングパターンで構成されている。
  論文  参考訳（メタデータ） (2023-06-08T15:31:05Z)
• Composer's Assistant: An Interactive Transformer for Multi-Track MIDI Infilling [0.0]
  Composer's Assistantは、REAPERデジタルオーディオワークステーションにおける対話型ヒューマンコンピュータ合成システムである。 マルチトラックMIDIインフィルのタスクを達成するために,T5ライクなモデルをトレーニングする。 ComposerのAssistantは、REAPERのモデルとのインタラクションを可能にするスクリプトとともに、このモデルで構成されている。
  論文  参考訳（メタデータ） (2023-01-29T19:45:10Z)
• MusIAC: An extensible generative framework for Music Infilling Applications with multi-level Control [11.811562596386253]
  埋め込み(いんふ)とは、周囲のマルチトラック音楽に与えられた音楽セクションを生成する作業のこと。 提案するフレームワークは、バーごとのトーン張力やポリフォニーレベルの追跡といった制御トークンの追加として、新しい制御トークンである。 インタラクティブな生成を可能にするために,Google Colabノートブックにモデルを提示する。
  論文  参考訳（メタデータ） (2022-02-11T10:02:21Z)
• Learning a Contact-Adaptive Controller for Robust, Efficient Legged Locomotion [95.1825179206694]
  四足歩行ロボットのためのロバストコントローラを合成するフレームワークを提案する。 高レベルコントローラは、環境の変化に応じてプリミティブのセットを選択することを学習する。 確立された制御方法を使用してプリミティブを堅牢に実行する低レベルコントローラ。
  論文  参考訳（メタデータ） (2020-09-21T16:49:26Z)
• MMM : Exploring Conditional Multi-Track Music Generation with the Transformer [9.569049935824227]
  マルチトラック音楽を生成することができるトランスフォーマーアーキテクチャに基づく生成システムを提案する。 我々は、各トラックといくつかのトラックについて、時間順に順序付けされた音楽イベントのシーケンスを1つのシーケンスに生成する。 これによりTransformerの注意機構が利用でき、長期的依存関係を十分に処理できる。
  論文  参考訳（メタデータ） (2020-08-13T02:36:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。