論文の概要: VampNet: Music Generation via Masked Acoustic Token Modeling
- arxiv url: http://arxiv.org/abs/2307.04686v2
- Date: Wed, 12 Jul 2023 17:06:41 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-13 10:21:25.347665
- Title: VampNet: Music Generation via Masked Acoustic Token Modeling
- Title（参考訳）: VampNet:masked Acoustic Token Modelingによる音楽生成
- Authors: Hugo Flores Garcia, Prem Seetharaman, Rithesh Kumar, Bryan Pardo
- Abstract要約: VampNetは、音楽合成、圧縮、塗装、変奏のためのマスク付き音響トークンモデリング手法である。
VampNetは非自己回帰的であり、フォワードパス内のすべてのトークンに対応する双方向トランスフォーマーアーキテクチャを活用する。
VampNetを様々な方法で促すことで、音楽圧縮、インペイント、アウトペイント、継続、変化を伴うループリングといったタスクに適用できることを示します。
- 参考スコア（独自算出の注目度）: 11.893826325744055
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We introduce VampNet, a masked acoustic token modeling approach to music
synthesis, compression, inpainting, and variation. We use a variable masking
schedule during training which allows us to sample coherent music from the
model by applying a variety of masking approaches (called prompts) during
inference. VampNet is non-autoregressive, leveraging a bidirectional
transformer architecture that attends to all tokens in a forward pass. With
just 36 sampling passes, VampNet can generate coherent high-fidelity musical
waveforms. We show that by prompting VampNet in various ways, we can apply it
to tasks like music compression, inpainting, outpainting, continuation, and
looping with variation (vamping). Appropriately prompted, VampNet is capable of
maintaining style, genre, instrumentation, and other high-level aspects of the
music. This flexible prompting capability makes VampNet a powerful music
co-creation tool. Code and audio samples are available online.
- Abstract（参考訳）: 本稿では,音楽合成,圧縮,インパインティング,変奏に対するマスク音響トークンモデリング手法であるvampnetを紹介する。
トレーニング中に,様々なマスキング手法(プロンプトと呼ばれる)を適用することで,モデルからコヒーレントな音楽のサンプリングを可能にする可変マスキングスケジュールを使用する。
VampNetは非自己回帰的であり、フォワードパス内のすべてのトークンに対応する双方向トランスフォーマーアーキテクチャを活用する。
わずか36回のサンプリングパスで、VampNetはコヒーレントな高忠実な音楽波形を生成することができる。
様々な方法でvampnetを起動することで、音楽圧縮、インペインティング、アウトペインティング、継続、可変ループ(vamping)といったタスクに適用できることを示します。
当然のことながら、VampNetは音楽のスタイル、ジャンル、楽器、その他のハイレベルな側面を維持できる。
この柔軟なプロンプト機能により、VampNetは強力な音楽共同制作ツールとなる。
コードとオーディオサンプルはオンラインで入手できる。
関連論文リスト
- MusicFlow: Cascaded Flow Matching for Text Guided Music Generation [53.63948108922333]
MusicFlowは、フローマッチングに基づくケースドテキストから音楽への生成モデルである。
学習目的としてマスク予測を活用することで,音楽の充実や継続といった他のタスクにモデルを一般化することができる。
論文 参考訳（メタデータ） (2024-10-27T15:35:41Z) - WavTokenizer: an Efficient Acoustic Discrete Codec Tokenizer for Audio Language Modeling [65.30937248905958]
言語モデルの重要な構成要素は、高次元の自然信号を低次元の離散トークンに圧縮するトークン化器である。
本稿では,従来の音響領域におけるSOTA音響モデルよりもいくつかの利点があるWavTokenizerを紹介する。
WavTokenizerは、優れたUTMOSスコアを持つ最先端の再構築品質を実現し、本質的によりリッチなセマンティック情報を含んでいる。
論文 参考訳（メタデータ） (2024-08-29T13:43:36Z) - Arrange, Inpaint, and Refine: Steerable Long-term Music Audio Generation and Editing via Content-based Controls [6.176747724853209]
LLM(Large Language Models)は、高品質な音楽を生成する上で有望であるが、自動回帰生成に焦点をあてることで、音楽編集タスクにおける有用性を制限している。
本稿では,パラメータ効率の高いヘテロジニアスアダプタとマスキングトレーニングスキームを組み合わせた新しいアプローチを提案する。
提案手法は, フレームレベルのコンテンツベース制御を統合し, トラックコンディショニングとスコアコンディショニングによる音楽アレンジメントを容易にする。
論文 参考訳（メタデータ） (2024-02-14T19:00:01Z) - Video2Music: Suitable Music Generation from Videos using an Affective
Multimodal Transformer model [32.801213106782335]
我々は、提供されたビデオにマッチできる生成型音楽AIフレームワーク、Video2Musicを開発した。
そこで本研究では,映像コンテンツにマッチする楽曲を感情的に生成する手法を提案する。
論文 参考訳（メタデータ） (2023-11-02T03:33:00Z) - InstructME: An Instruction Guided Music Edit And Remix Framework with
Latent Diffusion Models [42.2977676825086]
本稿では,遅延拡散モデルに基づくインストラクションガイド付き音楽編集・リミックスフレームワークであるInstructMEを開発する。
本フレームワークは,編集前後の一貫性を維持するため,U-Netをマルチスケールアグリゲーションで強化する。
提案手法は, 音質, テキスト関連性, 調和性において, 先行するシステムを大幅に上回っている。
論文 参考訳（メタデータ） (2023-08-28T07:11:42Z) - Simple and Controllable Music Generation [94.61958781346176]
MusicGenは単一の言語モデル(LM)であり、圧縮された離散的な音楽表現、すなわちトークンの複数のストリームで動作する。
以前の作業とは異なり、MusicGenはシングルステージのトランスフォーマーLMと効率的なトークンインターリービングパターンで構成されている。
論文 参考訳（メタデータ） (2023-06-08T15:31:05Z) - Symphony Generation with Permutation Invariant Language Model [57.75739773758614]
変分不変言語モデルに基づくシンフォニーネットという記号的シンフォニー音楽生成ソリューションを提案する。
シンフォニートークンの超長いシーケンスをモデル化するためのバックボーンとして、新しいトランスフォーマーデコーダアーキテクチャが導入された。
実験結果から,提案手法は人間の構成と比べ,コヒーレント,新規,複雑,調和的な交響曲を生成できることが示唆された。
論文 参考訳（メタデータ） (2022-05-10T13:08:49Z) - MuseMorphose: Full-Song and Fine-Grained Music Style Transfer with Just
One Transformer VAE [36.9033909878202]
トランスフォーマーと可変オートエンコーダ(VAE)は、シンボリック(例えばMIDI)ドメイン音楽生成に広く採用されている。
本稿では,両強みを示す単一のモデルを構築するために,この2つをまとめることに興味がある。
実験により、musemorphoseはrecurrent neural network(rnn)よりも多くのスタイル転送タスクで広く使われているメトリクスを先行技術で上回っていることが示されている。
論文 参考訳（メタデータ） (2021-05-10T03:44:03Z) - Multi-Instrumentalist Net: Unsupervised Generation of Music from Body
Movements [20.627164135805852]
本研究では、楽器を演奏するミュージシャンの入力体の動きを取り入れ、教師なしの環境で音楽を生成する新しいシステムを提案する。
ログ・スペクトログラムから様々な楽器音楽の離散的な潜在表現を学習するパイプライン「Multi-instrumentalistNet」を構築した。
Midiは、パイプラインがビデオ内の楽器によって演奏される音楽の正確なコンテンツを生成するように、潜在空間をさらに調整できることを示しています。
論文 参考訳（メタデータ） (2020-12-07T06:54:10Z) - Foley Music: Learning to Generate Music from Videos [115.41099127291216]
Foley Musicは、楽器を演奏する人々に関するサイレントビデオクリップのために、可愛らしい音楽を合成できるシステムだ。
まず、ビデオから音楽生成に成功するための2つの重要な中間表現、すなわち、ビデオからのボディーキーポイントと、オーディオ録音からのMIDIイベントを識別する。
身体の動きに応じてMIDIイベントシーケンスを正確に予測できるグラフ$-$Transformerフレームワークを提案する。
論文 参考訳（メタデータ） (2020-07-21T17:59:06Z) - Jukebox: A Generative Model for Music [75.242747436901]
Jukebox(ジュークボックス)は、生のオーディオドメインで歌いながら音楽を生成するモデルである。
複数スケールのVQ-VAEを用いて生音声の長いコンテキストに取り組み,それを離散コードに圧縮する。
複数分間のコヒーレンスで高忠実で多様な曲を生成できることを示す。
論文 参考訳（メタデータ） (2020-04-30T09:02:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。