論文の概要: Mo\^usai: Text-to-Music Generation with Long-Context Latent Diffusion

• arxiv url: http://arxiv.org/abs/2301.11757v2
• Date: Mon, 30 Jan 2023 17:53:24 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-31 20:19:04.301305
• Title: Mo\^usai: Text-to-Music Generation with Long-Context Latent Diffusion
• Title（参考訳）: Mo\^usai: 長期遅延拡散によるテキスト・音楽生成
• Authors: Flavio Schneider, Zhijing Jin, Bernhard Sch\"olkopf
• Abstract要約: 本稿では,テキスト条件音楽生成のための拡散モデルの可能性について検討する。 テキスト記述から48kHzで高品質なステレオ音楽の複数分間を生成できるカスケード潜時拡散法を開発した。 トレーニングされたモデルに加えて、この分野における今後の作業を促進するために、オープンソースライブラリのコレクションを提供しています。
• 参考スコア（独自算出の注目度）: 12.87908637462772
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The recent surge in popularity of diffusion models for image generation has brought new attention to the potential of these models in other areas of media synthesis. One area that has yet to be fully explored is the application of diffusion models to music generation. Music generation requires to handle multiple aspects, including the temporal dimension, long-term structure, multiple layers of overlapping sounds, and nuances that only trained listeners can detect. In our work, we investigate the potential of diffusion models for text-conditional music generation. We develop a cascading latent diffusion approach that can generate multiple minutes of high-quality stereo music at 48kHz from textual descriptions. For each model, we make an effort to maintain reasonable inference speed, targeting real-time on a single consumer GPU. In addition to trained models, we provide a collection of open-source libraries with the hope of facilitating future work in the field. We open-source the following: Music samples for this paper: https://bit.ly/anonymous-mousai; all music samples for all models: https://bit.ly/audio-diffusion; and codes: https://github.com/archinetai/audio-diffusion-pytorch
• Abstract（参考訳）: 画像生成のための拡散モデルの普及は、メディア合成の他の分野におけるこれらのモデルの可能性に新たな注目を集めている。 まだ十分に検討されていない分野の1つは、音楽生成への拡散モデルの適用である。 音楽生成には、時間次元、長期構造、重なり合う複数の音の層、訓練されたリスナーだけが検出できるニュアンスなど、複数の側面を扱う必要がある。 本研究では,テキスト条件音楽生成における拡散モデルの可能性について検討する。 テキスト記述から48kHzで高品質なステレオ音楽の複数分間を生成できるカスケード潜時拡散法を開発した。 各モデルに対して、単一のコンシューマGPU上でリアルタイムにターゲットとする、合理的な推論速度の維持に努めます。 トレーニングされたモデルに加えて、この分野の今後の作業を促進することを期待して、オープンソースライブラリのコレクションを提供します。 本論文の音楽サンプル: https://bit.ly/anonymous-mousai; すべてのモデルのすべての音楽サンプル: https://bit.ly/audio-diffusion; and codes: https://github.com/archinetai/audio-diffusion-pytorch

関連論文リスト

• MusicFlow: Cascaded Flow Matching for Text Guided Music Generation [53.63948108922333]
  MusicFlowは、フローマッチングに基づくケースドテキストから音楽への生成モデルである。 学習目的としてマスク予測を活用することで,音楽の充実や継続といった他のタスクにモデルを一般化することができる。
  論文  参考訳（メタデータ） (2024-10-27T15:35:41Z)
• MeLFusion: Synthesizing Music from Image and Language Cues using Diffusion Models [57.47799823804519]
  私たちは、ミュージシャンが映画の脚本だけでなく、視覚化を通して音楽を作る方法にインスピレーションを受けています。 本稿では,テキスト記述と対応する画像からの手がかりを効果的に利用して音楽を合成するモデルであるMeLFusionを提案する。 音楽合成パイプラインに視覚情報を加えることで、生成した音楽の質が大幅に向上することを示す。
  論文  参考訳（メタデータ） (2024-06-07T06:38:59Z)
• Tango 2: Aligning Diffusion-based Text-to-Audio Generations through Direct Preference Optimization [70.13218512896032]
  テキストプロンプトから音声を生成することは、音楽や映画産業におけるそのようなプロセスの重要な側面である。 我々の仮説は、これらのオーディオ生成の側面が、限られたデータの存在下でのオーディオ生成性能をどのように改善するかに焦点を当てている。 我々は、各プロンプトが勝者の音声出力と、拡散モデルが学習するための敗者音声出力を持つ選好データセットを合成的に作成する。
  論文  参考訳（メタデータ） (2024-04-15T17:31:22Z)
• Content-based Controls For Music Large Language Modeling [6.17674772485321]
  Coco-Mullaは、音楽大言語モデリングのためのコンテンツベースの制御方法である。 トランスフォーマーベースのオーディオモデルに適したパラメータ効率細調整法(PEFT)を用いる。 提案手法は,低リソース半教師付き学習による高品質な音楽生成を実現する。
  論文  参考訳（メタデータ） (2023-10-26T05:24:38Z)
• Simple and Controllable Music Generation [94.61958781346176]
  MusicGenは単一の言語モデル(LM)であり、圧縮された離散的な音楽表現、すなわちトークンの複数のストリームで動作する。 以前の作業とは異なり、MusicGenはシングルステージのトランスフォーマーLMと効率的なトークンインターリービングパターンで構成されている。
  論文  参考訳（メタデータ） (2023-06-08T15:31:05Z)
• ERNIE-Music: Text-to-Waveform Music Generation with Diffusion Models [67.66825818489406]
  本稿では拡散モデルの利用を基盤としたテキストから波形への音楽生成モデルを提案する。 本手法は,波形生成プロセスの指針となる条件因子として,自由形式のテキストプロンプトの革新的導入を前提としている。 波形領域における我々の生成した音楽は、多様性、品質、およびテキスト音楽の関連性において、以前の作品よりも大きなマージンで優れていたことを実証する。
  論文  参考訳（メタデータ） (2023-02-09T06:27:09Z)
• Noise2Music: Text-conditioned Music Generation with Diffusion Models [73.74580231353684]
  本研究では,テキストプロンプトから高品質な30秒音楽クリップを生成するために,一連の拡散モデルを訓練するNoss2Musicを紹介する。 生成した音声は、ジャンル、テンポ、楽器、ムード、時代など、テキストプロンプトの重要な要素を忠実に反映できるだけでなく、テキストプロンプトを忠実に反映できる。 トレーニングセットのオーディオのためにペア化されたテキストを生成し、拡散モデルによって取り込まれたテキストプロンプトの埋め込みを抽出するために使用される。
  論文  参考訳（メタデータ） (2023-02-08T07:27:27Z)
• ArchiSound: Audio Generation with Diffusion [0.0]
  本研究では,音声生成のための拡散モデルの可能性について検討する。 重畳した1次元U-Netを用いたテキスト条件付き潜在音声拡散手法を提案する。 各モデルに対して、単一のコンシューマGPU上でリアルタイムにターゲットとする、合理的な推論速度の維持に取り組みます。
  論文  参考訳（メタデータ） (2023-01-30T20:23:26Z)
• Contrastive Audio-Language Learning for Music [13.699088044513562]
  MusCALLは音楽コントラスト学習のためのフレームワークである。 本手法は,音楽音声と記述文のペアのアライメントを学習するデュアルエンコーダアーキテクチャで構成されている。
  論文  参考訳（メタデータ） (2022-08-25T16:55:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。