論文の概要: XMusic: Towards a Generalized and Controllable Symbolic Music Generation Framework

• arxiv url: http://arxiv.org/abs/2501.08809v1
• Date: Wed, 15 Jan 2025 14:08:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-16 15:51:36.328429
• Title: XMusic: Towards a Generalized and Controllable Symbolic Music Generation Framework
• Title（参考訳）: XMusic: 一般化・制御可能なシンボリック音楽生成フレームワークを目指して
• Authors: Sida Tian, Can Zhang, Wei Yuan, Wei Tan, Wenjie Zhu,
• Abstract要約: 本稿では,一般化されたシンボリック音楽生成フレームワークであるXMusicについて述べる。 XMusicは柔軟なプロンプト(画像、ビデオ、テキスト、タグ、ハミング)をサポートし、感情的に制御可能で高品質な象徴音楽を生成する。 XMusicは、現在の最先端の手法と、印象的な音楽クオリティを著しく上回っている。
• 参考スコア（独自算出の注目度）: 11.30520050417368
• License:
• Abstract: In recent years, remarkable advancements in artificial intelligence-generated content (AIGC) have been achieved in the fields of image synthesis and text generation, generating content comparable to that produced by humans. However, the quality of AI-generated music has not yet reached this standard, primarily due to the challenge of effectively controlling musical emotions and ensuring high-quality outputs. This paper presents a generalized symbolic music generation framework, XMusic, which supports flexible prompts (i.e., images, videos, texts, tags, and humming) to generate emotionally controllable and high-quality symbolic music. XMusic consists of two core components, XProjector and XComposer. XProjector parses the prompts of various modalities into symbolic music elements (i.e., emotions, genres, rhythms and notes) within the projection space to generate matching music. XComposer contains a Generator and a Selector. The Generator generates emotionally controllable and melodious music based on our innovative symbolic music representation, whereas the Selector identifies high-quality symbolic music by constructing a multi-task learning scheme involving quality assessment, emotion recognition, and genre recognition tasks. In addition, we build XMIDI, a large-scale symbolic music dataset that contains 108,023 MIDI files annotated with precise emotion and genre labels. Objective and subjective evaluations show that XMusic significantly outperforms the current state-of-the-art methods with impressive music quality. Our XMusic has been awarded as one of the nine Highlights of Collectibles at WAIC 2023. The project homepage of XMusic is https://xmusic-project.github.io.
• Abstract（参考訳）: 近年、画像合成やテキスト生成の分野で人工知能生成コンテンツ(AIGC)の顕著な進歩が達成され、人間に匹敵するコンテンツが生み出されている。 しかし、AIが生成する音楽の品質は、音楽の感情を効果的に制御し、高品質な出力を確保するという課題のために、まだこの基準に達していない。 本稿では, フレキシブルなプロンプト(画像, ビデオ, テキスト, タグ, ハミング)をサポートして, 感情的に制御可能な, 高品質なシンボリック音楽を生成する, 一般化されたシンボリック音楽生成フレームワークXMusicを提案する。 XMusicは2つのコアコンポーネント、XProjectorとXComposerで構成されている。 Xプロジェクターは、様々なモダリティのプロンプトをプロジェクション空間内のシンボリック音楽要素(感情、ジャンル、リズム、ノートなど)に解析し、一致する音楽を生成する。 XComposer にはgenerator と Selector が含まれている。 一方、セレクタは、品質評価、感情認識、ジャンル認識タスクを含むマルチタスク学習スキームを構築することにより、高品質な象徴音楽を特定する。 XMIDIは108,023個のMIDIファイルに正確な感情とジャンルのラベルを付加した大規模シンボリック・ミュージック・データセットである。 客観的・主観的な評価は、XMusicが現在の最先端の手法と印象的な音楽品質を著しく上回っていることを示している。 私たちのXMusicは、WAIC 2023で9つのコレクションのハイライトの1つに選ばれました。 XMusicのプロジェクトのホームページはhttps://xmusic-project.github.io.comである。

関連論文リスト

• MuVi: Video-to-Music Generation with Semantic Alignment and Rhythmic Synchronization [52.498942604622165]
  本稿では,ビデオコンテンツに合わせた音楽を生成するためのフレームワークであるMuViについて述べる。 MuViは、特別に設計された視覚適応器を通じて映像コンテンツを分析し、文脈的および時間的に関係のある特徴を抽出する。 音声品質と時間同期の両方において, MuVi が優れた性能を示すことを示す。
  論文  参考訳（メタデータ） (2024-10-16T18:44:56Z)
• MMT-BERT: Chord-aware Symbolic Music Generation Based on Multitrack Music Transformer and MusicBERT [44.204383306879095]
  シンボリック・マルチトラック音楽生成に特化して設計された新しいシンボリック・ミュージック表現とジェネレーティブ・アディバーショナル・ネットワーク(GAN)フレームワークを提案する。 頑健なマルチトラック・ミュージック・ジェネレータを構築するため,事前学習したMusicBERTモデルを微調整して判別器として機能し,相対論的標準損失を取り入れた。
  論文  参考訳（メタデータ） (2024-09-02T03:18:56Z)
• MusiConGen: Rhythm and Chord Control for Transformer-Based Text-to-Music Generation [19.878013881045817]
  MusiConGenは、一時条件付きトランスフォーマーベースのテキスト-音楽モデルである。 条件信号として自動的に抽出されたリズムとコードを統合する。 MusiConGenは,特定の条件に整合したリアルなバックトラック音楽を生成することができることを示す。
  論文  参考訳（メタデータ） (2024-07-21T05:27:53Z)
• Arrange, Inpaint, and Refine: Steerable Long-term Music Audio Generation and Editing via Content-based Controls [6.176747724853209]
  LLM(Large Language Models)は、高品質な音楽を生成する上で有望であるが、自動回帰生成に焦点をあてることで、音楽編集タスクにおける有用性を制限している。 本稿では,パラメータ効率の高いヘテロジニアスアダプタとマスキングトレーニングスキームを組み合わせた新しいアプローチを提案する。 提案手法は, フレームレベルのコンテンツベース制御を統合し, トラックコンディショニングとスコアコンディショニングによる音楽アレンジメントを容易にする。
  論文  参考訳（メタデータ） (2024-02-14T19:00:01Z)
• Simple and Controllable Music Generation [94.61958781346176]
  MusicGenは単一の言語モデル(LM)であり、圧縮された離散的な音楽表現、すなわちトークンの複数のストリームで動作する。 以前の作業とは異なり、MusicGenはシングルステージのトランスフォーマーLMと効率的なトークンインターリービングパターンで構成されている。
  論文  参考訳（メタデータ） (2023-06-08T15:31:05Z)
• GETMusic: Generating Any Music Tracks with a Unified Representation and Diffusion Framework [58.64512825534638]
  シンボリック・ミュージック・ジェネレーションは、ユーザーが音楽を作るのに役立つ音符を作成することを目的としている。 私たちは「GETMusic」と呼ばれるフレームワークを紹介します。「GET'」は「GEnerate Music Tracks」の略です。 GETScoreは、音符をトークンとして表現し、2D構造でトークンを整理する。 提案する表現は,非自己回帰生成モデルと組み合わせて,任意のソース・ターゲットトラックの組み合わせでGETMusicに音楽を生成する。
  論文  参考訳（メタデータ） (2023-05-18T09:53:23Z)
• Museformer: Transformer with Fine- and Coarse-Grained Attention for Music Generation [138.74751744348274]
  本研究では,音楽生成に新たな細粒度・粗粒度対応トランスフォーマーであるMuseformerを提案する。 具体的には、細かな注意を払って、特定のバーのトークンは、音楽構造に最も関係のあるバーのトークンに、直接参加する。 粗い注意を払って、トークンは計算コストを減らすために、それぞれのトークンではなく他のバーの要約にのみ参加する。
  論文  参考訳（メタデータ） (2022-10-19T07:31:56Z)
• Quantized GAN for Complex Music Generation from Dance Videos [48.196705493763986]
  D2M-GAN(Dance2Music-GAN, D2M-GAN, D2M-GAN)は、ダンスビデオに条件付けされた楽曲のサンプルを生成する新しいマルチモーダルフレームワークである。 提案フレームワークは,ダンスビデオフレームと人体の動きを入力とし,対応する入力に付随する音楽サンプルを生成することを学習する。
  論文  参考訳（メタデータ） (2022-04-01T17:53:39Z)
• A Novel Multi-Task Learning Method for Symbolic Music Emotion Recognition [76.65908232134203]
  Symbolic Music Emotion Recognition(SMER)は、MIDIやMusicXMLなどのシンボリックデータから音楽の感情を予測すること。 本稿では、感情認識タスクを他の感情関連補助タスクに組み込む、SMERのためのシンプルなマルチタスクフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-01-15T07:45:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。