論文の概要: PIANOTREE VAE: Structured Representation Learning for Polyphonic Music
- arxiv url: http://arxiv.org/abs/2008.07118v1
- Date: Mon, 17 Aug 2020 06:48:59 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-28 03:16:51.917804
- Title: PIANOTREE VAE: Structured Representation Learning for Polyphonic Music
- Title(参考訳): PIANOTREE VAE:ポリフォニック音楽のための構造化表現学習
- Authors: Ziyu Wang, Yiyi Zhang, Yixiao Zhang, Junyan Jiang, Ruihan Yang, Junbo
Zhao (Jake), Gus Xia
- Abstract要約: ポリフォニック音楽学習に適合することを目的とした,新たな木構造拡張であるPanoTree VAEを提案する。
実験により, ポリフォニックセグメントに対して, (i) 意味論的に有意な潜在符号を用いたピアノトレーVAEの有効性が証明された。 (ii) 潜在空間で学習された適切な幾何学の他に, (iii) 下流音楽生成におけるこのモデルの利点は, より満足できる。
- 参考スコア(独自算出の注目度): 9.428027257059469
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The dominant approach for music representation learning involves the deep
unsupervised model family variational autoencoder (VAE). However, most, if not
all, viable attempts on this problem have largely been limited to monophonic
music. Normally composed of richer modality and more complex musical
structures, the polyphonic counterpart has yet to be addressed in the context
of music representation learning. In this work, we propose the PianoTree VAE, a
novel tree-structure extension upon VAE aiming to fit the polyphonic music
learning. The experiments prove the validity of the PianoTree VAE via
(i)-semantically meaningful latent code for polyphonic segments; (ii)-more
satisfiable reconstruction aside of decent geometry learned in the latent
space; (iii)-this model's benefits to the variety of the downstream music
generation.
- Abstract(参考訳): 音楽表現学習における主流のアプローチは、深い教師なしモデルファミリー変動オートエンコーダ(VAE)である。
しかし、この問題に対する現実的な試みは、すべてではないが、ほとんどはモノフォニック音楽に限られている。
通常、より豊かなモダリティとより複雑な音楽構造で構成されているが、音楽表現学習の文脈ではまだ対応していない。
本研究では,ポリフォニック音楽学習に適合することを目的とした,新たな木構造拡張であるPanoTree VAEを提案する。
実験はピアノTree VAEの妥当性を証明した。
(i)ポリフォニックセグメントの理論的に有意義な潜在コード
(ii)潜伏空間で学んだまともな幾何学以外の、より満足できる再構築
(iii)-このモデルが下流の音楽世代の多様性に恩恵をもたらす。
関連論文リスト
- ComposerX: Multi-Agent Symbolic Music Composition with LLMs [51.68908082829048]
音楽の構成は、長い依存と調和の制約で情報を理解し、生成する能力を必要とする複雑なタスクである。
現在のLLMは、このタスクで簡単に失敗し、In-Context-LearningやChain-of-Thoughtsといったモダンな技術が組み込まれても、不適切な曲を生成する。
エージェントベースのシンボリック音楽生成フレームワークであるComposerXを提案する。
論文 参考訳(メタデータ) (2024-04-28T06:17:42Z) - Multi-view MidiVAE: Fusing Track- and Bar-view Representations for Long
Multi-track Symbolic Music Generation [50.365392018302416]
長い多トラックのシンボリック・ミュージックを効果的にモデル化・生成するVAE手法の先駆者の一つであるMulti-view MidiVAEを提案する。
我々は,ハイブリッドな変分符号化・復号化戦略を用いて,楽器の特徴と調和,および楽曲のグローバルおよびローカルな情報に焦点をあてる。
論文 参考訳(メタデータ) (2024-01-15T08:41:01Z) - Graph-based Polyphonic Multitrack Music Generation [9.701208207491879]
本稿では,音楽のための新しいグラフ表現と,音楽グラフの構造と内容を別々に生成する深部変分オートエンコーダを提案する。
音楽グラフの構造と内容を分離することにより、特定のタイミングでどの楽器が演奏されているかを指定することで条件生成が可能となる。
論文 参考訳(メタデータ) (2023-07-27T15:18:50Z) - MERT: Acoustic Music Understanding Model with Large-Scale Self-supervised Training [74.32603591331718]
本稿では,MLMスタイルの音響事前学習において,教師モデルと擬似ラベルを組み込んだ大規模自己教師型学習(MERT)を用いた音響音楽理解モデルを提案する。
実験結果から,本モデルでは14曲の楽曲理解タスクを一般化し,性能を向上し,SOTA(State-of-the-art)全体のスコアを達成できることが示唆された。
論文 参考訳(メタデータ) (2023-05-31T18:27:43Z) - Quantized GAN for Complex Music Generation from Dance Videos [48.196705493763986]
D2M-GAN(Dance2Music-GAN, D2M-GAN, D2M-GAN)は、ダンスビデオに条件付けされた楽曲のサンプルを生成する新しいマルチモーダルフレームワークである。
提案フレームワークは,ダンスビデオフレームと人体の動きを入力とし,対応する入力に付随する音楽サンプルを生成することを学習する。
論文 参考訳(メタデータ) (2022-04-01T17:53:39Z) - BacHMMachine: An Interpretable and Scalable Model for Algorithmic
Harmonization for Four-part Baroque Chorales [23.64897650817862]
BacHMMachineは、音楽作曲の原則によって導かれる「理論駆動」の枠組みを採用している。
与えられた旋律線から鍵変調と和音の進行を学習するための確率的フレームワークを提供する。
これにより計算負荷が大幅に減少し、解釈可能性も向上する。
論文 参考訳(メタデータ) (2021-09-15T23:39:45Z) - Calliope -- A Polyphonic Music Transformer [9.558051115598657]
ポリフォニック音楽のマルチトラックシーケンスを効率的にモデル化するためのトランスフォーマーに基づく新しいオートエンコーダモデルCalliopeを提案する。
実験により,我々のモデルは,音楽シーケンスの再構築と生成における技術状況を改善することができることが示された。
論文 参考訳(メタデータ) (2021-07-08T08:18:57Z) - Learning Interpretable Representation for Controllable Polyphonic Music
Generation [5.01266258109807]
我々は、ポリフォニック音楽の2つの解釈可能な潜在要素である和音とテクスチャを効果的に学習する新しいアーキテクチャを設計する。
このようなコード・テクスチャ・ディコンタングルメントは,広い範囲の応用につながる制御可能な生成経路を提供することを示す。
論文 参考訳(メタデータ) (2020-08-17T07:11:16Z) - Music Gesture for Visual Sound Separation [121.36275456396075]
ミュージック・ジェスチャ(Music Gesture)は、音楽演奏時の演奏者の身体と指の動きを明示的にモデル化するキーポイントに基づく構造化表現である。
まず、コンテキスト対応グラフネットワークを用いて、視覚的コンテキストと身体力学を統合し、その後、身体の動きと対応する音声信号とを関連付けるために、音声-視覚融合モデルを適用する。
論文 参考訳(メタデータ) (2020-04-20T17:53:46Z) - RL-Duet: Online Music Accompaniment Generation Using Deep Reinforcement
Learning [69.20460466735852]
本稿では,オンライン伴奏生成のための深層強化学習アルゴリズムを提案する。
提案アルゴリズムは人体に応答し,メロディック,ハーモニック,多種多様な機械部品を生成する。
論文 参考訳(メタデータ) (2020-02-08T03:53:52Z) - Modeling Musical Structure with Artificial Neural Networks [0.0]
音楽構造モデリングのさまざまな側面に対する人工知能の適用について検討する。
Gated Autoencoder(GAE)というコネクショナリストモデルを用いて,楽曲の断片間の変換を学習する方法を示す。
本稿では,ポリフォニック・ミュージックを区間の連続として表現するGAEの特別な予測訓練を提案する。
論文 参考訳(メタデータ) (2020-01-06T18:35:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。