論文の概要: Efficient Neural Music Generation

• arxiv url: http://arxiv.org/abs/2305.15719v1
• Date: Thu, 25 May 2023 05:02:35 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-26 17:25:20.937591
• Title: Efficient Neural Music Generation
• Title（参考訳）: 効率的なニューラルミュージック生成
• Authors: Max W. Y. Lam, Qiao Tian, Tang Li, Zongyu Yin, Siyuan Feng, Ming Tu, Yuliang Ji, Rui Xia, Mingbo Ma, Xuchen Song, Jitong Chen, Yuping Wang, Yuxuan Wang
• Abstract要約: 本稿では,最先端品質の音楽オーディオを生成するLM誘導拡散モデルであるMeLoDy(音楽用M,LM用L,拡散用D)を提案する。 MeLoDyは、マンティックモデリングのためにMusicLMから最高レベルのLMを継承し、新しいデュアルパス拡散(DPD)モデルとオーディオVAE-GANを適用して、条件付きセマンティックトークンを波形に効率的に復号する。
• 参考スコア（独自算出の注目度）: 42.39082326446739
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Recent progress in music generation has been remarkably advanced by the state-of-the-art MusicLM, which comprises a hierarchy of three LMs, respectively, for semantic, coarse acoustic, and fine acoustic modelings. Yet, sampling with the MusicLM requires processing through these LMs one by one to obtain the fine-grained acoustic tokens, making it computationally expensive and prohibitive for a real-time generation. Efficient music generation with a quality on par with MusicLM remains a significant challenge. In this paper, we present MeLoDy (M for music; L for LM; D for diffusion), an LM-guided diffusion model that generates music audios of state-of-the-art quality meanwhile reducing 95.7% or 99.6% forward passes in MusicLM, respectively, for sampling 10s or 30s music. MeLoDy inherits the highest-level LM from MusicLM for semantic modeling, and applies a novel dual-path diffusion (DPD) model and an audio VAE-GAN to efficiently decode the conditioning semantic tokens into waveform. DPD is proposed to simultaneously model the coarse and fine acoustics by incorporating the semantic information into segments of latents effectively via cross-attention at each denoising step. Our experimental results suggest the superiority of MeLoDy, not only in its practical advantages on sampling speed and infinitely continuable generation, but also in its state-of-the-art musicality, audio quality, and text correlation. Our samples are available at https://Efficient-MeLoDy.github.io/.
• Abstract（参考訳）: 近年,3つのLMの階層構造を持つ最先端のMusicLMによって,意味的,粗い音響的,微妙な音響的モデリングにおいて,音楽生成の進歩が著しく進んでいる。 しかし、musiclmによるサンプリングには、細粒度の音響トークンを取得するために、これらのlmsを1つずつ処理する必要がある。 MusicLMと同等品質の効率的な音楽生成は依然として大きな課題である。 本稿では,MusicLMにおける95.7%,99.6%の前方パスを削減しつつ,最先端品質の音楽オーディオを生成するLM誘導拡散モデルであるMeLoDy(音楽用M,LM用L,拡散用D,拡散用D)を提案する。 メロディは、セマンティクスモデリングのためにmusiclmから最高レベルのlmを継承し、新しいデュアルパス拡散(dpd)モデルとオーディオvae-ganを適用し、コンディショニングセマンティクストークンを波形に効率的に復号する。 DPDは, 各聴覚ステップにおいて, 係り受けのセグメントに意味情報を効果的に組み込むことにより, 粗音と微音を同時にモデル化することを提案する。 実験結果から,サンプリング速度と無限連続生成におけるMeLoDyの実用的優位性だけでなく,最先端の音楽性,音質,テキスト相関性にも優位性があることが示唆された。 サンプルはhttps://Efficient-MeLoDy.github.io/で公開しています。

関連論文リスト

• Text-to-Audio Generation using Instruction-Tuned LLM and Latent Diffusion Model [23.058939018350603]
  大型言語モデル(LLM)は、命令やチェーン・オブ・シンクベースの微調整など、多くの興味深い特性を実現する。 我々は、テキスト・トゥ・オーディオ(TTA)生成のためのテキストエンコーダとして、命令調整型LLM Flan-T5を採用する。 我々のアプローチであるTANGOは、ほとんどのメトリクスで最先端のAudioLDMより優れており、AudioCapsテストセットで他と同等です。
  論文  参考訳（メタデータ） (2023-04-24T07:45:28Z)
• Leveraging Pre-trained AudioLDM for Sound Generation: A Benchmark Study [51.42020333199243]
  本稿では,AudioLDMを用いた音声生成における事前学習のメリットについて検討する。 本研究では,事前学習したAudioLDMの利点,特にデータ共有シナリオの利点を実証する。 様々な頻繁に使用されるデータセットに対して,音生成タスクをベンチマークする。
  論文  参考訳（メタデータ） (2023-03-07T12:49:45Z)
• MM-Diffusion: Learning Multi-Modal Diffusion Models for Joint Audio and Video Generation [70.74377373885645]
  本稿では,視聴体験と視聴体験を同時に実現する,初の共同音声ビデオ生成フレームワークを提案する。 MM拡散(MM-Diffusion)は、設計による共同記述プロセスのための連続的なマルチモーダルなU-Netで構成されている。 実験は、無条件のオーディオビデオ生成とゼロショット条件付タスクにおいて優れた結果を示す。
  論文  参考訳（メタデータ） (2022-12-19T14:11:52Z)
• AudioLM: a Language Modeling Approach to Audio Generation [55.78632108082774]
  本稿では,長期的整合性を有する高品質オーディオ生成フレームワークであるAudioLMを紹介する。 本稿では,既存の音声トークンが,再建品質と長期構造との間に異なるトレードオフをもたらすことを示す。 我々は,コヒーレントピアノ音楽の継続を生成することによって,我々のアプローチが音声を超えてどのように拡張されるかを実証する。
  論文  参考訳（メタデータ） (2022-09-07T13:40:08Z)
• BigVGAN: A Universal Neural Vocoder with Large-Scale Training [49.16254684584935]
  ゼロショット設定において、様々な未知条件下でよく一般化する普遍的なボコーダであるBigVGANを提案する。 生成器に周期的非線形性とアンチエイリアス表現を導入し、波形に所望の帰納バイアスをもたらす。 我々はGANボコーダを最大1億2200万のパラメータで訓練する。
  論文  参考訳（メタデータ） (2022-06-09T17:56:10Z)
• Deep Performer: Score-to-Audio Music Performance Synthesis [30.95307878579825]
  Deep Performer(ディープ・パーフォーマー)は、音楽の楽譜合成のための新しいシステムである。 音声とは異なり、音楽はポリフォニーや長い音符を含むことが多い。 提案モデルでは, 鮮明なポリフォニーとハーモニック構造で楽曲を合成できることが示されている。
  論文  参考訳（メタデータ） (2022-02-12T10:36:52Z)
• MSTRE-Net: Multistreaming Acoustic Modeling for Automatic Lyrics Transcription [8.669338893753885]
  本稿では,自動翻訳(ALT)研究にいくつかの貢献を行う。 我々の主な貢献はMSTRE-Netと呼ばれるMultistreaming Time-Delay Neural Network (MTDNN)アーキテクチャの新しい変種である。 本稿では,ALTで使用されている既存のデータセットと比較して,かなり大きなサイズと高い音楽的変動性を持つ新しいテストセットを提案する。
  論文  参考訳（メタデータ） (2021-08-05T13:59:11Z)
• DiffSinger: Diffusion Acoustic Model for Singing Voice Synthesis [53.19363127760314]
  DiffSingerは、音楽スコアで調整されたメログラムにノイズを反復的に変換するパラメータ化されたマルコフチェーンです。 中国の歌唱データセットで行った評価は、DiffSingerが最先端のSVSワークを顕著な差で上回っていることを示している。
  論文  参考訳（メタデータ） (2021-05-06T05:21:42Z)
• MP3net: coherent, minute-long music generation from raw audio with a simple convolutional GAN [0.0]
  我々は、長距離コヒーレンスで高品質のオーディオサンプルを生成する深い畳み込みGANを紹介します。 人間の耳の聴覚マスキングと心理音響知覚の限界を利用して、真の分布を広げる。 私たちは、単一のクラウドTPUv2で250hのトレーニング後に22kHzのサンプルレートで95sのステレオトラックを作成するためにMP3netを使用します。
  論文  参考訳（メタデータ） (2021-01-12T22:37:21Z)
• COALA: Co-Aligned Autoencoders for Learning Semantically Enriched Audio Representations [32.456824945999465]
  本稿では,学習した音声とその関連タグの潜在表現を調整し,音声表現を学習する手法を提案する。 組込みモデルの性能評価を行い,その性能を3つの異なるタスクにおける特徴抽出器として評価した。
  論文  参考訳（メタデータ） (2020-06-15T13:17:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。