論文の概要: Diff-A-Riff: Musical Accompaniment Co-creation via Latent Diffusion Models

• arxiv url: http://arxiv.org/abs/2406.08384v2
• Date: Wed, 30 Oct 2024 14:33:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-31 13:57:18.326561
• Title: Diff-A-Riff: Musical Accompaniment Co-creation via Latent Diffusion Models
• Title（参考訳）: Diff-A-Riff:潜在拡散モデルによる音楽伴奏共創
• Authors: Javier Nistal, Marco Pasini, Cyran Aouameur, Maarten Grachten, Stefan Lattner,
• Abstract要約: ディフ・A・リフ(Diff-A-Riff)は、あらゆる音楽的文脈に適応する高品質な楽器を生成するために設計された潜在拡散モデルである。 48kHzの擬似ステレオオーディオを生成し、推論時間とメモリ使用量を大幅に削減する。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: Recent advancements in deep generative models present new opportunities for music production but also pose challenges, such as high computational demands and limited audio quality. Moreover, current systems frequently rely solely on text input and typically focus on producing complete musical pieces, which is incompatible with existing workflows in music production. To address these issues, we introduce "Diff-A-Riff," a Latent Diffusion Model designed to generate high-quality instrumental accompaniments adaptable to any musical context. This model offers control through either audio references, text prompts, or both, and produces 48kHz pseudo-stereo audio while significantly reducing inference time and memory usage. We demonstrate the model's capabilities through objective metrics and subjective listening tests, with extensive examples available on the accompanying website: sonycslparis.github.io/diffariff-companion/
• Abstract（参考訳）: 近年の深層生成モデルの進歩は、音楽制作の新たな機会を提供する一方で、高い計算要求やオーディオ品質の制限といった課題も生んでいる。 さらに、現在のシステムはテキスト入力のみに頼り、通常、既存の音楽制作のワークフローと互換性のない完全な音楽作品の制作に重点を置いている。 これらの問題に対処するために,任意の音環境に適応した高品質な楽器伴奏を生成するために設計された潜時拡散モデル「Diff-A-Riff」を導入する。 このモデルは、オーディオ参照、テキストプロンプト、または両方を通じて制御を提供し、48kHzの擬似ステレオオーディオを生成し、推論時間とメモリ使用量を大幅に削減する。 我々は、客観的なメトリクスと主観的なリスニングテストを通じてモデルの能力を実証し、付随するWebサイト(sonycslparis.github.io/diffariff-companion/)で広範囲の例を挙げる。

関連論文リスト

• Music Consistency Models [31.415900049111023]
  本稿では,音楽クリップのメル-スペクトログラムを効率よく合成するために,一貫性モデルの概念を活用する音楽一貫性モデル(textttMusicCM)を提案する。 既存のテキストから音楽への拡散モデルに基づいて、textttMusicCMモデルは、一貫性の蒸留と逆微分器の訓練を取り入れている。 実験結果から, 計算効率, 忠実度, 自然性の観点から, モデルの有効性が明らかとなった。
  論文  参考訳（メタデータ） (2024-04-20T11:52:30Z)
• Tango 2: Aligning Diffusion-based Text-to-Audio Generations through Direct Preference Optimization [70.13218512896032]
  テキストプロンプトから音声を生成することは、音楽や映画産業におけるそのようなプロセスの重要な側面である。 我々の仮説は、これらのオーディオ生成の側面が、限られたデータの存在下でのオーディオ生成性能をどのように改善するかに焦点を当てている。 我々は、各プロンプトが勝者の音声出力と、拡散モデルが学習するための敗者音声出力を持つ選好データセットを合成的に作成する。
  論文  参考訳（メタデータ） (2024-04-15T17:31:22Z)
• StemGen: A music generation model that listens [9.489938613869864]
  音楽の文脈に耳を傾けたり反応したりできる音楽生成モデルを作成するための代替パラダイムを提案する。 本稿では,非自己回帰型トランスフォーマーモデルアーキテクチャを用いて,そのようなモデルを構築する方法について述べる。 得られたモデルは、最先端のテキスト条件付きモデルの音質に到達し、その文脈と強い音楽的コヒーレンスを示す。
  論文  参考訳（メタデータ） (2023-12-14T08:09:20Z)
• Controllable Music Production with Diffusion Models and Guidance Gradients [3.187381965457262]
  44.1kHzステレオオーディオにおいて,拡散モデルから条件付き生成を用いて,様々な現実的なタスクに対処する方法を実証する。 このシナリオには、継続性、音楽オーディオのインペイントと再生、2つの異なる音楽トラック間のスムーズな遷移の生成、既存のオーディオクリップへの所望のスタイル特性の転送などが含まれる。
  論文  参考訳（メタデータ） (2023-11-01T16:01:01Z)
• From Discrete Tokens to High-Fidelity Audio Using Multi-Band Diffusion [84.138804145918]
  深層生成モデルは、様々な種類の表現で条件付けられた高忠実度オーディオを生成することができる。 これらのモデルは、条件付けに欠陥がある場合や不完全な場合、可聴アーチファクトを生成する傾向がある。 低ビットレート離散表現から任意の種類のオーディオモダリティを生成する高忠実度マルチバンド拡散ベースフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-08-02T22:14:29Z)
• HiddenSinger: High-Quality Singing Voice Synthesis via Neural Audio Codec and Latent Diffusion Models [25.966328901566815]
  ニューラルオーディオと潜時拡散モデルを用いた高品質な歌声合成システムHiddenSingerを提案する。 さらに,提案手法を教師なし音声学習フレームワークであるHiddenSinger-Uに拡張し,モデルを訓練する。 実験結果から,従来のモデルよりも音質が優れていたことが示唆された。
  論文  参考訳（メタデータ） (2023-06-12T01:21:41Z)
• Simple and Controllable Music Generation [94.61958781346176]
  MusicGenは単一の言語モデル(LM)であり、圧縮された離散的な音楽表現、すなわちトークンの複数のストリームで動作する。 以前の作業とは異なり、MusicGenはシングルステージのトランスフォーマーLMと効率的なトークンインターリービングパターンで構成されている。
  論文  参考訳（メタデータ） (2023-06-08T15:31:05Z)
• MERT: Acoustic Music Understanding Model with Large-Scale Self-supervised Training [74.32603591331718]
  本稿では,MLMスタイルの音響事前学習において,教師モデルと擬似ラベルを組み込んだ大規模自己教師型学習(MERT)を用いた音響音楽理解モデルを提案する。 実験結果から,本モデルでは14曲の楽曲理解タスクを一般化し,性能を向上し,SOTA(State-of-the-art)全体のスコアを達成できることが示唆された。
  論文  参考訳（メタデータ） (2023-05-31T18:27:43Z)
• Discrete Diffusion Probabilistic Models for Symbolic Music Generation [6.617487928813374]
  本研究は,D3PMを用いたポリフォニックシンボリック音楽の直接生成について述べる。 現在の定量的評価指標によると,本モデルは最先端のサンプル品質を示す。 また,音楽サンプルの品質の定量的評価について,統計的指標を用いて批判的考察を行い,簡単なアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-05-16T14:43:38Z)
• Make-An-Audio: Text-To-Audio Generation with Prompt-Enhanced Diffusion Models [65.18102159618631]
  マルチモーダル生成モデリングは、テキスト・ツー・イメージとテキスト・ツー・ビデオ生成においてマイルストーンを生み出した。 高品質のテキストオーディオペアを備えた大規模データセットの欠如、長期連続的なオーディオデータのモデリングの複雑さ、という2つの主な理由から、オーディオへの適用は依然として遅れている。 本稿では,これらのギャップに対処する急激な拡散モデルを用いたMake-An-Audioを提案する。
  論文  参考訳（メタデータ） (2023-01-30T04:44:34Z)
• DiffTalk: Crafting Diffusion Models for Generalized Audio-Driven Portraits Animation [78.08004432704826]
  我々は、音声による時間的コヒーレントな認知過程(DiffTalk)としてのトーキングヘッド生成をモデル化する。 本稿では,話し顔の制御機構について検討し,人格認識型一般化合成の条件として,参照顔画像とランドマークを取り入れた。 我々のDiffTalkは、無視できる余分な計算コストで高分解能な合成に適しています。
  論文  参考訳（メタデータ） (2023-01-10T05:11:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。