Fugu-MT 論文翻訳(概要): Integrating Text-to-Music Models with Language Models: Composing Long Structured Music Pieces

論文の概要: Integrating Text-to-Music Models with Language Models: Composing Long Structured Music Pieces

arxiv url: http://arxiv.org/abs/2410.00344v2
Date: Sat, 5 Oct 2024 19:31:33 GMT
ステータス: 処理完了
システム内更新日: 2024-11-05 06:16:28.731127
Title: Integrating Text-to-Music Models with Language Models: Composing Long Structured Music Pieces
Title（参考訳）: テキスト・ツー・ミュージック・モデルと言語モデルの統合:長い構造を持つ楽曲を合成する
Authors: Lilac Atassi,
Abstract要約: 本稿では,テキスト・ツー・ミュージック・モデルと大規模言語モデルを統合することにより,形式付き音楽を生成することを提案する。実験の結果,提案手法は,高度に構造化され,組織化され,結合性が高い2.5分間の楽曲を生成できることがわかった。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Recent music generation methods based on transformers have a context window of up to a minute. The music generated by these methods are largely unstructured beyond the context window. With a longer context window, learning long scale structures from musical data is a prohibitively challenging problem. This paper proposes integrating a text-to-music model with a large language model to generate music with form. We discuss our solutions to the challenges of such integration. The experimental results show that the proposed method can generate 2.5-minute-long music that is highly structured, strongly organized, and cohesive.
Abstract（参考訳）: 変圧器に基づく最近の音楽生成手法は,最大1分間のコンテキストウィンドウを有する。これらの方法によって生成される音楽は、コンテキストウィンドウを超えてほとんど構造化されていない。より長いコンテキストウィンドウでは、音楽データから長期構造を学ぶことは、極めて難しい問題である。本稿では,テキスト・ツー・ミュージック・モデルと大規模言語モデルを統合することにより,形式付き音楽を生成することを提案する。このような統合の課題に対する解決策について議論する。実験の結果,提案手法は,高度に構造化され,組織化され,結合性が高い2.5分間の楽曲を生成できることがわかった。

関連論文リスト

CLaMP 2: Multimodal Music Information Retrieval Across 101 Languages Using Large Language Models [51.03510073676228]
CLaMP 2は、音楽情報検索用の101言語に対応するシステムである。大規模言語モデルを活用することで,大規模に洗練され一貫した多言語記述が得られる。 CLaMP 2は、多言語セマンティックサーチとモーダル間の音楽分類において、最先端の結果を得る。
論文参考訳（メタデータ） (2024-10-17T06:43:54Z)
CoLLAP: Contrastive Long-form Language-Audio Pretraining with Musical Temporal Structure Augmentation [17.41880273107978]
Contrastive Long-form Language-Audio Pretraining (textbfCoLLAP) 入力音声(最大5分)と言語記述(250語)の認識窓を著しく拡張するコントラストロングフォーム言語事前学習(textbfCoLLAP)を提案する。大規模なAudioSetトレーニングデータセットから51.3Kのオーディオテキストペアを収集し,平均オーディオ長が288秒に達する。
論文参考訳（メタデータ） (2024-10-03T07:46:51Z)
Instruct-MusicGen: Unlocking Text-to-Music Editing for Music Language Models via Instruction Tuning [24.6866990804501]
Instruct-MusicGenは、事前訓練されたMusicGenモデルを微調整して、効率的に編集命令に従う新しいアプローチである。注目すべきは、Instruct-MusicGenはオリジナルのMusicGenモデルに8%新しいパラメータを導入し、5Kステップでのみ列車を走らせることだ。
論文参考訳（メタデータ） (2024-05-28T17:27:20Z)
MusicMagus: Zero-Shot Text-to-Music Editing via Diffusion Models [24.582948932985726]
本稿では,テキスト・ツー・ミュージック・モデルによって生成される音楽の編集に対する新しいアプローチを提案する。本手法は,テキスト編集をテキストテンプレート空間操作に変換するとともに,一貫性を強制する余分な制約を加える。実験により, ゼロショットと特定の教師付きベースラインの双方に対して, スタイルおよび音色伝達評価において優れた性能を示した。
論文参考訳（メタデータ） (2024-02-09T04:34:08Z)
Musical Form Generation [0.0]
本稿では,任意の長さの楽曲を任意に生成する手法を提案する。このアプローチの中心は、条件付き生成モデルを用いた音楽セグメントの作成である。ハイレベルな構成を決定するプロンプトの生成は、より微細で低レベルな詳細の作成とは異なる。
論文参考訳（メタデータ） (2023-10-30T08:02:08Z)
Unsupervised Melody-to-Lyric Generation [91.29447272400826]
本稿では,メロディ・歌詞データを学習することなく高品質な歌詞を生成する手法を提案する。我々は、メロディと歌詞のセグメンテーションとリズムアライメントを利用して、与えられたメロディをデコード制約にコンパイルする。我々のモデルは、強いベースラインよりもオントピー的、歌いやすく、知性があり、一貫性のある高品質な歌詞を生成することができる。
論文参考訳（メタデータ） (2023-05-30T17:20:25Z)
ERNIE-Music: Text-to-Waveform Music Generation with Diffusion Models [67.66825818489406]
本稿では拡散モデルの利用を基盤としたテキストから波形への音楽生成モデルを提案する。本手法は,波形生成プロセスの指針となる条件因子として,自由形式のテキストプロンプトの革新的導入を前提としている。波形領域における我々の生成した音楽は、多様性、品質、およびテキスト音楽の関連性において、以前の作品よりも大きなマージンで優れていたことを実証する。
論文参考訳（メタデータ） (2023-02-09T06:27:09Z)
Noise2Music: Text-conditioned Music Generation with Diffusion Models [73.74580231353684]
本研究では,テキストプロンプトから高品質な30秒音楽クリップを生成するために,一連の拡散モデルを訓練するNoss2Musicを紹介する。生成した音声は、ジャンル、テンポ、楽器、ムード、時代など、テキストプロンプトの重要な要素を忠実に反映できるだけでなく、テキストプロンプトを忠実に反映できる。トレーニングセットのオーディオのためにペア化されたテキストを生成し、拡散モデルによって取り込まれたテキストプロンプトの埋め込みを抽出するために使用される。
論文参考訳（メタデータ） (2023-02-08T07:27:27Z)
Melody Infilling with User-Provided Structural Context [37.55332319528369]
本稿では,楽譜入力のためのトランスフォーマーを用いた新しいモデルを提案する。提案モデルでは,構造情報を効果的に活用し,高品質なポップスタイルのメロディを生成可能であることを示す。
論文参考訳（メタデータ） (2022-10-06T11:37:04Z)
Lets Play Music: Audio-driven Performance Video Generation [58.77609661515749]
オーディオ駆動型パーパフォーマンスビデオ生成(APVG)という新しいタスクを提案する。 APVGは、特定の音楽オーディオクリップでガイドされた特定の楽器を演奏する人のビデオを合成することを目的としている。
論文参考訳（メタデータ） (2020-11-05T03:13:46Z)
SongNet: Rigid Formats Controlled Text Generation [51.428634666559724]
この問題に対処するために,SongNetというシンプルでエレガントなフレームワークを提案する。フレームワークのバックボーンは、Transformerベースの自動回帰言語モデルである。事前学習および微調整のフレームワークは、生成品質をさらに向上するために設計されている。
論文参考訳（メタデータ） (2020-04-17T01:40:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。