論文の概要: Controllable Music Production with Diffusion Models and Guidance Gradients

• arxiv url: http://arxiv.org/abs/2311.00613v1
• Date: Wed, 1 Nov 2023 16:01:01 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-02 13:05:45.708152
• Title: Controllable Music Production with Diffusion Models and Guidance Gradients
• Title（参考訳）: 拡散モデルと誘導勾配を用いた制御可能な音楽制作
• Authors: Mark Levy, Bruno Di Giorgi, Floris Weers, Angelos Katharopoulos, Tom Nickson
• Abstract要約: 44.1kHzステレオオーディオにおいて,拡散モデルから条件付き生成を用いて,様々な現実的なタスクに対処する方法を実証する。 このシナリオには、継続性、音楽オーディオのインペイントと再生、2つの異なる音楽トラック間のスムーズな遷移の生成、既存のオーディオクリップへの所望のスタイル特性の転送などが含まれる。
• 参考スコア（独自算出の注目度）: 3.187381965457262
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: We demonstrate how conditional generation from diffusion models can be used to tackle a variety of realistic tasks in the production of music in 44.1kHz stereo audio with sampling-time guidance. The scenarios we consider include continuation, inpainting and regeneration of musical audio, the creation of smooth transitions between two different music tracks, and the transfer of desired stylistic characteristics to existing audio clips. We achieve this by applying guidance at sampling time in a simple framework that supports both reconstruction and classification losses, or any combination of the two. This approach ensures that generated audio can match its surrounding context, or conform to a class distribution or latent representation specified relative to any suitable pre-trained classifier or embedding model.
• Abstract（参考訳）: 本研究では,44.1kHzのステレオオーディオにおいて,拡散モデルから条件付き生成を行うことで,様々な現実的な課題に対処できることを示す。 私たちが考えるシナリオは、音楽オーディオの継続、インペインティング、再生、2つの異なる音楽トラック間のスムーズな遷移の作成、望ましいスタイル特性の既存のオーディオクリップへの転送です。 本研究は,再編成と分類損失の両立を支援する単純なフレームワークを用いて,サンプリング時にガイダンスを適用することで実現した。 このアプローチは、生成されたオーディオが周囲のコンテキストにマッチすること、あるいは適切な事前学習された分類器や埋め込みモデルに対して指定されたクラス分布や潜在表現に適合することを保証する。

関連論文リスト

• MusicFlow: Cascaded Flow Matching for Text Guided Music Generation [53.63948108922333]
  MusicFlowは、フローマッチングに基づくケースドテキストから音楽への生成モデルである。 学習目的としてマスク予測を活用することで,音楽の充実や継続といった他のタスクにモデルを一般化することができる。
  論文  参考訳（メタデータ） (2024-10-27T15:35:41Z)
• Combining audio control and style transfer using latent diffusion [1.705371629600151]
  本稿では,単一モデル内での明示的な制御とスタイル転送を統一することを目的とする。 我々のモデルは、明示的な制御または他のオーディオ例を通して構造を指定しながら、音色ターゲットにマッチする音声を生成することができる。 本手法は,異なるジャンルのターゲットオーディオのスタイルにリズミカル・メロディックなコンテンツを転送することで,完全な楽曲のカバーバージョンを生成することができることを示す。
  論文  参考訳（メタデータ） (2024-07-31T23:27:27Z)
• Frieren: Efficient Video-to-Audio Generation Network with Rectified Flow Matching [51.70360630470263]
  Video-to-audio (V2A) は、サイレントビデオからコンテンツマッチング音声を合成することを目的としている。 本稿では,修正フローマッチングに基づくV2AモデルであるFrierenを提案する。 実験により、フリーレンは世代品質と時間的アライメントの両方で最先端のパフォーマンスを達成することが示された。
  論文  参考訳（メタデータ） (2024-06-01T06:40:22Z)
• Bass Accompaniment Generation via Latent Diffusion [0.0]
  任意の長さのミキシングに付随する単一茎を生成する制御可能なシステムを提案する。 本手法のコアとなるのは、音声波形サンプルを効率よく非可逆な潜在表現に圧縮するオーディオオートエンコーダである。 制御可能な条件付きオーディオ生成フレームワークは、音楽制作においてミュージシャンを支援するための生成AIツールを作成する上で、大きな前進となる。
  論文  参考訳（メタデータ） (2024-02-02T13:44:47Z)
• Simple and Controllable Music Generation [94.61958781346176]
  MusicGenは単一の言語モデル(LM)であり、圧縮された離散的な音楽表現、すなわちトークンの複数のストリームで動作する。 以前の作業とは異なり、MusicGenはシングルステージのトランスフォーマーLMと効率的なトークンインターリービングパターンで構成されている。
  論文  参考訳（メタデータ） (2023-06-08T15:31:05Z)
• AudioLM: a Language Modeling Approach to Audio Generation [59.19364975706805]
  本稿では,長期的整合性を有する高品質オーディオ生成フレームワークであるAudioLMを紹介する。 本稿では,既存の音声トークンが,再建品質と長期構造との間に異なるトレードオフをもたらすことを示す。 我々は,コヒーレントピアノ音楽の継続を生成することによって,我々のアプローチが音声を超えてどのように拡張されるかを実証する。
  論文  参考訳（メタデータ） (2022-09-07T13:40:08Z)
• Learning music audio representations via weak language supervision [14.335950077921435]
  我々は,一連のプロキシタスクによって最適化された音楽と言語事前学習(MuLaP)のためのマルチモーダルアーキテクチャを設計する。 弱い監督は、トラックの全体的な音楽内容を伝える、騒々しい自然言語記述の形で提供される。 提案手法の有効性を,同一のオーディオバックボーンが生成する音声表現の性能と,異なる学習戦略とを比較して示す。
  論文  参考訳（メタデータ） (2021-12-08T10:30:52Z)
• Strumming to the Beat: Audio-Conditioned Contrastive Video Textures [112.6140796961121]
  コントラスト学習を通して学習した表現を用いた無限ビデオテクスチャ合成のための非パラメトリック手法を提案する。 ビデオテクスチャから着想を得た結果、新しいビデオは1つのビデオから、新しくて一貫性のある順序でフレームを縫い合わせることで生成できることがわかった。 我々のモデルは人間の知覚スコアのベースラインを上回り、多様な入力ビデオを扱うことができ、音声信号とよく同期する映像を合成するために意味と音声の視覚的手がかりを組み合わせることができる。
  論文  参考訳（メタデータ） (2021-04-06T17:24:57Z)
• Unsupervised Cross-Domain Singing Voice Conversion [105.1021715879586]
  任意の同一性から音声変換を行うタスクに対して,wav-to-wav生成モデルを提案する。 提案手法は,自動音声認識のタスクのために訓練された音響モデルとメロディ抽出機能の両方を用いて波形ベースジェネレータを駆動する。
  論文  参考訳（メタデータ） (2020-08-06T18:29:11Z)
• Generative Modelling for Controllable Audio Synthesis of Expressive Piano Performance [6.531546527140474]
  ガウス混合変分オートエンコーダ(GM-VAE)に基づく可制御型ニューラルオーディオシンセサイザー そこで本研究では,モデルが音声に対してきめ細かな形態変化を適用可能であることを実証する。
  論文  参考訳（メタデータ） (2020-06-16T12:54:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。