論文の概要: Integrating Text-to-Music Models with Language Models: Composing Long Structured Music Pieces
- arxiv url: http://arxiv.org/abs/2410.00344v2
- Date: Wed, 02 Oct 2024 04:06:59 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-03 15:19:40.785420
- Title: Integrating Text-to-Music Models with Language Models: Composing Long Structured Music Pieces
- Title(参考訳): テキスト・ツー・ミュージック・モデルと言語モデルの統合:長い構造を持つ楽曲を合成する
- Authors: Lilac Atassi,
- Abstract要約: 本稿では,テキスト・ツー・ミュージック・モデルと大規模言語モデルを統合することにより,形式付き音楽を生成することを提案する。
実験の結果,提案手法は,高度に構造化され,組織化され,結合性が高い2.5分間の楽曲を生成できることがわかった。
- 参考スコア(独自算出の注目度): 0.0
- License:
- Abstract: Recent music generation methods based on transformers have a context window of up to a minute. The music generated by these methods are largely unstructured beyond the context window. With a longer context window, learning long scale structures from musical data is a prohibitively challenging problem. This paper proposes integrating a text-to-music model with a large language model to generate music with form. We discuss our solutions to the challenges of such integration. The experimental results show that the proposed method can generate 2.5-minute-long music that is highly structured, strongly organized, and cohesive.
- Abstract(参考訳): 変圧器に基づく最近の音楽生成手法は,最大1分間のコンテキストウィンドウを有する。
これらの方法によって生成される音楽は、コンテキストウィンドウを超えてほとんど構造化されていない。
より長いコンテキストウィンドウでは、音楽データから長期構造を学ぶことは、極めて難しい問題である。
本稿では,テキスト・ツー・ミュージック・モデルと大規模言語モデルを統合することにより,形式付き音楽を生成することを提案する。
このような統合の課題に対する解決策について議論する。
実験の結果,提案手法は,高度に構造化され,組織化され,結合性が高い2.5分間の楽曲を生成できることがわかった。
関連論文リスト
- The Interpretation Gap in Text-to-Music Generation Models [1.2565093324944228]
本稿では,制御の表現,解釈,実行を含む音楽対話プロセスを記述する枠組みを提案する。
既存のテキスト-音楽モデルとミュージシャンの主なギャップは、モデルがミュージシャンの制御を解釈する能力に欠ける解釈段階にある、と我々は主張する。
論文 参考訳(メタデータ) (2024-07-14T20:51:08Z) - MeLFusion: Synthesizing Music from Image and Language Cues using Diffusion Models [57.47799823804519]
私たちは、ミュージシャンが映画の脚本だけでなく、視覚化を通して音楽を作る方法にインスピレーションを受けています。
本稿では,テキスト記述と対応する画像からの手がかりを効果的に利用して音楽を合成するモデルであるMeLFusionを提案する。
音楽合成パイプラインに視覚情報を加えることで、生成した音楽の質が大幅に向上することを示す。
論文 参考訳(メタデータ) (2024-06-07T06:38:59Z) - Instruct-MusicGen: Unlocking Text-to-Music Editing for Music Language Models via Instruction Tuning [24.6866990804501]
Instruct-MusicGenは、事前訓練されたMusicGenモデルを微調整して、効率的に編集命令に従う新しいアプローチである。
注目すべきは、Instruct-MusicGenはオリジナルのMusicGenモデルに8%新しいパラメータを導入し、5Kステップでのみ列車を走らせることだ。
論文 参考訳(メタデータ) (2024-05-28T17:27:20Z) - MuPT: A Generative Symbolic Music Pretrained Transformer [56.09299510129221]
音楽の事前学習におけるLarge Language Models (LLM) の適用について検討する。
生成過程の異なるトラックからの不整合対策に関連する課題に対処するために,SMT-ABC Notation(Synchronized Multi-Track ABC Notation)を提案する。
私たちのコントリビューションには、最大8192個のトークンを処理可能な一連のモデルが含まれており、トレーニングセットの象徴的な音楽データの90%をカバーしています。
論文 参考訳(メタデータ) (2024-04-09T15:35:52Z) - MusicMagus: Zero-Shot Text-to-Music Editing via Diffusion Models [24.582948932985726]
本稿では,テキスト・ツー・ミュージック・モデルによって生成される音楽の編集に対する新しいアプローチを提案する。
本手法は,テキスト編集をテキストテンプレート空間操作に変換するとともに,一貫性を強制する余分な制約を加える。
実験により, ゼロショットと特定の教師付きベースラインの双方に対して, スタイルおよび音色伝達評価において優れた性能を示した。
論文 参考訳(メタデータ) (2024-02-09T04:34:08Z) - Musical Form Generation [0.0]
本稿では,任意の長さの楽曲を任意に生成する手法を提案する。
このアプローチの中心は、条件付き生成モデルを用いた音楽セグメントの作成である。
ハイレベルな構成を決定するプロンプトの生成は、より微細で低レベルな詳細の作成とは異なる。
論文 参考訳(メタデータ) (2023-10-30T08:02:08Z) - ERNIE-Music: Text-to-Waveform Music Generation with Diffusion Models [67.66825818489406]
本稿では拡散モデルの利用を基盤としたテキストから波形への音楽生成モデルを提案する。
本手法は,波形生成プロセスの指針となる条件因子として,自由形式のテキストプロンプトの革新的導入を前提としている。
波形領域における我々の生成した音楽は、多様性、品質、およびテキスト音楽の関連性において、以前の作品よりも大きなマージンで優れていたことを実証する。
論文 参考訳(メタデータ) (2023-02-09T06:27:09Z) - Noise2Music: Text-conditioned Music Generation with Diffusion Models [73.74580231353684]
本研究では,テキストプロンプトから高品質な30秒音楽クリップを生成するために,一連の拡散モデルを訓練するNoss2Musicを紹介する。
生成した音声は、ジャンル、テンポ、楽器、ムード、時代など、テキストプロンプトの重要な要素を忠実に反映できるだけでなく、テキストプロンプトを忠実に反映できる。
トレーニングセットのオーディオのためにペア化されたテキストを生成し、拡散モデルによって取り込まれたテキストプロンプトの埋め込みを抽出するために使用される。
論文 参考訳(メタデータ) (2023-02-08T07:27:27Z) - Melody Infilling with User-Provided Structural Context [37.55332319528369]
本稿では,楽譜入力のためのトランスフォーマーを用いた新しいモデルを提案する。
提案モデルでは,構造情報を効果的に活用し,高品質なポップスタイルのメロディを生成可能であることを示す。
論文 参考訳(メタデータ) (2022-10-06T11:37:04Z) - Lets Play Music: Audio-driven Performance Video Generation [58.77609661515749]
オーディオ駆動型パーパフォーマンスビデオ生成(APVG)という新しいタスクを提案する。
APVGは、特定の音楽オーディオクリップでガイドされた特定の楽器を演奏する人のビデオを合成することを目的としている。
論文 参考訳(メタデータ) (2020-11-05T03:13:46Z) - SongNet: Rigid Formats Controlled Text Generation [51.428634666559724]
この問題に対処するために,SongNetというシンプルでエレガントなフレームワークを提案する。
フレームワークのバックボーンは、Transformerベースの自動回帰言語モデルである。
事前学習および微調整のフレームワークは、生成品質をさらに向上するために設計されている。
論文 参考訳(メタデータ) (2020-04-17T01:40:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。