論文の概要: Multimodal Music Generation with Explicit Bridges and Retrieval Augmentation

• arxiv url: http://arxiv.org/abs/2412.09428v1
• Date: Thu, 12 Dec 2024 16:33:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-13 13:30:50.194961
• Title: Multimodal Music Generation with Explicit Bridges and Retrieval Augmentation
• Title（参考訳）: 明示的なブリッジと検索拡張によるマルチモーダル音楽生成
• Authors: Baisen Wang, Le Zhuo, Zhaokai Wang, Chenxi Bao, Wu Chengjing, Xuecheng Nie, Jiao Dai, Jizhong Han, Yue Liao, Si Liu,
• Abstract要約: マルチモーダル音楽生成は、テキスト、ビデオ、画像を含む様々な入力モダリティから音楽を生成することを目的としている。 既存の方法は、マルチモーダル融合に共通の埋め込み空間を用いる。 本稿では,テキストと音楽の明示的なブリッジを多モードアライメントに用いることで,これらの問題に対処する。
• 参考スコア（独自算出の注目度）: 21.359220595049788
• License:
• Abstract: Multimodal music generation aims to produce music from diverse input modalities, including text, videos, and images. Existing methods use a common embedding space for multimodal fusion. Despite their effectiveness in other modalities, their application in multimodal music generation faces challenges of data scarcity, weak cross-modal alignment, and limited controllability. This paper addresses these issues by using explicit bridges of text and music for multimodal alignment. We introduce a novel method named Visuals Music Bridge (VMB). Specifically, a Multimodal Music Description Model converts visual inputs into detailed textual descriptions to provide the text bridge; a Dual-track Music Retrieval module that combines broad and targeted retrieval strategies to provide the music bridge and enable user control. Finally, we design an Explicitly Conditioned Music Generation framework to generate music based on the two bridges. We conduct experiments on video-to-music, image-to-music, text-to-music, and controllable music generation tasks, along with experiments on controllability. The results demonstrate that VMB significantly enhances music quality, modality, and customization alignment compared to previous methods. VMB sets a new standard for interpretable and expressive multimodal music generation with applications in various multimedia fields. Demos and code are available at https://github.com/wbs2788/VMB.
• Abstract（参考訳）: マルチモーダル音楽生成は、テキスト、ビデオ、画像を含む様々な入力モダリティから音楽を生成することを目的としている。 既存の方法は、マルチモーダル融合に共通の埋め込み空間を用いる。 他のモダリティにおける効果にもかかわらず、マルチモーダル音楽生成への応用は、データ不足、弱いクロスモーダルアライメント、制限された制御性といった課題に直面している。 本稿では,テキストと音楽の明示的なブリッジを多モードアライメントに用いることで,これらの問題に対処する。 そこで我々は Visuals Music Bridge (VMB) という新しい手法を提案する。 具体的には、マルチモーダル音楽記述モデルにより、視覚的な入力を詳細なテキスト記述に変換してテキストブリッジを提供する。 最後に、2つのブリッジをベースとした音楽を生成するための明示的条件付き音楽生成フレームワークを設計する。 我々は,映像から音楽へ,映像から音楽へ,テキストから音楽へ,そして制御可能な音楽生成タスクの実験を行い,制御性の実験を行った。 その結果,VMBは従来の手法に比べて音楽の質,モダリティ,カスタマイズのアライメントを著しく向上させることがわかった。 VMBは、様々なマルチメディア分野の応用により、解釈可能で表現可能なマルチモーダル音楽生成のための新しい標準を定めている。 デモとコードは https://github.com/wbs2788/VMB.org で公開されている。

関連論文リスト

• DeepResonance: Enhancing Multimodal Music Understanding via Music-centric Multi-way Instruction Tuning [20.072410431003142]
  DeepResonanceは、マルチウェイアライメント音楽、テキスト、画像、ビデオデータ向けに微調整されたマルチモーダル音楽理解モデルである。 我々は、DeepResonanceが視覚的およびテキスト的音楽特徴コンテンツを統合できるように設計されたデータセットを構築する。 本モデルは6つの音楽理解課題にまたがる最先端の演奏を実現する。
  論文  参考訳（メタデータ） (2025-02-18T08:09:42Z)
• Learning Musical Representations for Music Performance Question Answering [10.912207282129753]
  マルチモーダル学習法は音楽演奏の基本的問題に対処できない。 私たちのメインのバックボーンは、音楽データのコンテキストにマルチモーダルインタラクションを組み込むように設計されています。 本実験は,音楽AVQAデータセットに対する最先端効果を示す。
  論文  参考訳（メタデータ） (2025-02-10T17:41:57Z)
• UniMuMo: Unified Text, Music and Motion Generation [57.72514622935806]
  任意のテキスト,音楽,動作データを入力条件として取り込んで,3つのモードすべてにまたがる出力を生成する,統一型マルチモーダルモデルUniMuMoを導入する。 音楽、動き、テキストをトークンベースの表現に変換することで、我々のモデルはエンコーダ・デコーダ・トランスフォーマアーキテクチャを通じてこれらのモダリティをブリッジする。
  論文  参考訳（メタデータ） (2024-10-06T16:04:05Z)
• VidMuse: A Simple Video-to-Music Generation Framework with Long-Short-Term Modeling [71.01050359126141]
  ビデオ入力に対応する音楽を生成するためのフレームワークであるVidMuseを提案する。 VidMuseは、ビデオと音響的、意味的に一致した高忠実な音楽を生成する。
  論文  参考訳（メタデータ） (2024-06-06T17:58:11Z)
• Mozart's Touch: A Lightweight Multi-modal Music Generation Framework Based on Pre-Trained Large Models [9.311353871322325]
  Mozart's Touchは、画像、ビデオ、テキストなどのクロスプラットフォーム入力と整合した音楽を生成することができるフレームワークである。 従来のエンド・ツー・エンドの手法とは異なり、モーツァルト・タッチはLPMを使って音楽生成モデルの訓練や微調整を必要とせず、視覚要素を正確に解釈する。
  論文  参考訳（メタデータ） (2024-05-05T03:15:52Z)
• MuPT: A Generative Symbolic Music Pretrained Transformer [56.09299510129221]
  音楽の事前学習におけるLarge Language Models (LLM) の適用について検討する。 生成過程の異なるトラックからの不整合対策に関連する課題に対処するために,SMT-ABC Notation(Synchronized Multi-Track ABC Notation)を提案する。 私たちのコントリビューションには、最大8192個のトークンを処理可能な一連のモデルが含まれており、トレーニングセットの象徴的な音楽データの90%をカバーしています。
  論文  参考訳（メタデータ） (2024-04-09T15:35:52Z)
• Video2Music: Suitable Music Generation from Videos using an Affective Multimodal Transformer model [32.801213106782335]
  我々は、提供されたビデオにマッチできる生成型音楽AIフレームワーク、Video2Musicを開発した。 そこで本研究では,映像コンテンツにマッチする楽曲を感情的に生成する手法を提案する。
  論文  参考訳（メタデータ） (2023-11-02T03:33:00Z)
• Simple and Controllable Music Generation [94.61958781346176]
  MusicGenは単一の言語モデル(LM)であり、圧縮された離散的な音楽表現、すなわちトークンの複数のストリームで動作する。 以前の作業とは異なり、MusicGenはシングルステージのトランスフォーマーLMと効率的なトークンインターリービングパターンで構成されている。
  論文  参考訳（メタデータ） (2023-06-08T15:31:05Z)
• Quantized GAN for Complex Music Generation from Dance Videos [48.196705493763986]
  D2M-GAN(Dance2Music-GAN, D2M-GAN, D2M-GAN)は、ダンスビデオに条件付けされた楽曲のサンプルを生成する新しいマルチモーダルフレームワークである。 提案フレームワークは,ダンスビデオフレームと人体の動きを入力とし,対応する入力に付随する音楽サンプルを生成することを学習する。
  論文  参考訳（メタデータ） (2022-04-01T17:53:39Z)
• MusIAC: An extensible generative framework for Music Infilling Applications with multi-level Control [11.811562596386253]
  埋め込み(いんふ)とは、周囲のマルチトラック音楽に与えられた音楽セクションを生成する作業のこと。 提案するフレームワークは、バーごとのトーン張力やポリフォニーレベルの追跡といった制御トークンの追加として、新しい制御トークンである。 インタラクティブな生成を可能にするために,Google Colabノートブックにモデルを提示する。
  論文  参考訳（メタデータ） (2022-02-11T10:02:21Z)
• PopMAG: Pop Music Accompaniment Generation [190.09996798215738]
  単一シーケンスでの同時マルチトラック生成が可能なMUlti-track MIDI表現(MuMIDI)を提案する。 MuMIDIはシーケンス長を拡大し、長期音楽モデリングの新しい課題をもたらす。 我々は,ポップミュージックの伴奏生成をPopMAGと呼ぶ。
  論文  参考訳（メタデータ） (2020-08-18T02:28:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。