論文の概要: An End-to-End Approach for Chord-Conditioned Song Generation

• arxiv url: http://arxiv.org/abs/2409.06307v1
• Date: Tue, 10 Sep 2024 08:07:43 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-11 18:40:09.121138
• Title: An End-to-End Approach for Chord-Conditioned Song Generation
• Title（参考訳）: 和音合成のためのエンドツーエンドアプローチ
• Authors: Shuochen Gao, Shun Lei, Fan Zhuo, Hangyu Liu, Feng Liu, Boshi Tang, Qiaochu Huang, Shiyin Kang, Zhiyong Wu,
• Abstract要約: 歌唱課題は、歌詞から声楽と伴奏からなる音楽を合成することを目的としている。 この問題を軽減するため,コードから曲生成ネットワークまで,音楽作曲から重要な概念を導入する。 そこで本研究では,CSG(Chord-Conditioned Song Generator)と呼ばれる新しいモデルを提案する。
• 参考スコア（独自算出の注目度）: 14.951089833579063
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The Song Generation task aims to synthesize music composed of vocals and accompaniment from given lyrics. While the existing method, Jukebox, has explored this task, its constrained control over the generations often leads to deficiency in music performance. To mitigate the issue, we introduce an important concept from music composition, namely chords, to song generation networks. Chords form the foundation of accompaniment and provide vocal melody with associated harmony. Given the inaccuracy of automatic chord extractors, we devise a robust cross-attention mechanism augmented with dynamic weight sequence to integrate extracted chord information into song generations and reduce frame-level flaws, and propose a novel model termed Chord-Conditioned Song Generator (CSG) based on it. Experimental evidence demonstrates our proposed method outperforms other approaches in terms of musical performance and control precision of generated songs.
• Abstract（参考訳）: 歌生成課題は、歌詞から声楽と伴奏からなる音楽を合成することを目的としている。 既存の手法であるJukeboxは、この課題を探求しているが、世代に対する制約のある制御は、しばしば音楽演奏の欠如につながる。 この問題を緩和するため,曲生成ネットワークにおいて,曲構成,すなわち和音から重要な概念を導入する。 和音は伴奏の基礎を形成し、関連する調和を伴う声の旋律を提供する。 自動コード抽出器の不正確さを考慮し、動的重み付けを付加した頑健なクロスアテンション機構を考案し、抽出したコード情報を歌の生成とフレームレベルの欠陥を低減し、それに基づく新しいモデルであるコードコンディション・ソングジェネレータ(CSG)を提案する。 実験的な証拠は,提案手法が曲の演奏性や制御精度において他の手法よりも優れていることを示している。

関連論文リスト

• SongGen: A Single Stage Auto-regressive Transformer for Text-to-Song Generation [75.86473375730392]
  SongGenは、コントロール可能な曲を生成するための、完全なオープンソースでシングルステージの自動回帰トランスフォーマーである。 音声と伴奏の混合を生成する混合モードと、それらを別々に合成するデュアルトラックモードの2つの出力モードをサポートする。 コミュニティの関与と今後の研究を促進するため、私たちは、モデルの重み付け、トレーニングコード、注釈付きデータ、前処理パイプラインをリリースします。
  論文  参考訳（メタデータ） (2025-02-18T18:52:21Z)
• SongCreator: Lyrics-based Universal Song Generation [53.248473603201916]
  SongCreatorは、声楽と伴奏の両方で曲を生成するという課題に取り組むために設計された曲生成システムである。 モデルには2つの新しいデザインがある: ボーカルの情報と伴奏を収録するための巧妙に設計された二重系列言語モデル (M) と、DSLMのための一連の注意マスク戦略である。 実験では,8つのタスクすべてに対して,最先端ないし競争的なパフォーマンスを実現することにより,SongCreatorの有効性を示す。
  論文  参考訳（メタデータ） (2024-09-09T19:37:07Z)
• MuDiT & MuSiT: Alignment with Colloquial Expression in Description-to-Song Generation [18.181382408551574]
  本稿では,口語記述から歌声生成への新たな課題を提案する。 生成されたコンテンツと口語的人間の表現の整合性に焦点を当てている。 この課題は、AIモデル内の言語理解と聴覚表現のギャップを埋めることを目的としている。
  論文  参考訳（メタデータ） (2024-07-03T15:12:36Z)
• Unsupervised Melody-to-Lyric Generation [91.29447272400826]
  本稿では,メロディ・歌詞データを学習することなく高品質な歌詞を生成する手法を提案する。 我々は、メロディと歌詞のセグメンテーションとリズムアライメントを利用して、与えられたメロディをデコード制約にコンパイルする。 我々のモデルは、強いベースラインよりもオントピー的、歌いやすく、知性があり、一貫性のある高品質な歌詞を生成することができる。
  論文  参考訳（メタデータ） (2023-05-30T17:20:25Z)
• Unsupervised Melody-Guided Lyrics Generation [84.22469652275714]
  メロディと歌詞の一致したデータを学習することなく、楽しく聴ける歌詞を生成することを提案する。 メロディと歌詞間の重要なアライメントを活用し、与えられたメロディを制約にコンパイルし、生成プロセスを導く。
  論文  参考訳（メタデータ） (2023-05-12T20:57:20Z)
• Chord-Conditioned Melody Choralization with Controllable Harmonicity and Polyphonicity [75.02344976811062]
  メロディ合唱(メロディの合唱)、すなわちユーザ・ギヴン・メロディに基づく4パートの合唱は、長い間J.S.バッハ合唱と密接に関連していた。 以前のニューラルネットワークベースのシステムは、コード進行を前提としたコラール生成にはほとんど注目しなかった。 コード進行に条件付きメロディのための4パート合唱を生成できるメロディ合唱システムであるDeepChoirを提案する。
  論文  参考訳（メタデータ） (2022-02-17T02:59:36Z)
• Generating Lead Sheets with Affect: A Novel Conditional seq2seq Framework [3.029434408969759]
  本稿では,リードシート内のコード進行の正負性や負性性を計算するための新しい手法を提案する。 私たちのアプローチは、シーケンス・トゥ・シークエンスアーキテクチャのエンコーダ部分に高レベルの条件を含むため、ニューラルネットワーク翻訳(NMT)問題に似ています。 提案された戦略は、制御可能な方法でリードシートを生成することができ、トレーニングデータセットのそれに似た音楽属性の分布をもたらす。
  論文  参考訳（メタデータ） (2021-04-27T09:04:21Z)
• Melody-Conditioned Lyrics Generation with SeqGANs [81.2302502902865]
  本稿では,SeqGAN(Sequence Generative Adversarial Networks)に基づく,エンドツーエンドのメロディ条件付き歌詞生成システムを提案する。 入力条件が評価指標に悪影響を及ぼすことなく,ネットワークがより有意義な結果が得られることを示す。
  論文  参考訳（メタデータ） (2020-10-28T02:35:40Z)
• Learning Interpretable Representation for Controllable Polyphonic Music Generation [5.01266258109807]
  我々は、ポリフォニック音楽の2つの解釈可能な潜在要素である和音とテクスチャを効果的に学習する新しいアーキテクチャを設計する。 このようなコード・テクスチャ・ディコンタングルメントは,広い範囲の応用につながる制御可能な生成経路を提供することを示す。
  論文  参考訳（メタデータ） (2020-08-17T07:11:16Z)
• Continuous Melody Generation via Disentangled Short-Term Representations and Structural Conditions [14.786601824794369]
  ユーザが指定したシンボリックシナリオと過去の音楽コンテキストを組み合わせることで,メロディーを構成するモデルを提案する。 本モデルでは,8拍子の音符列を基本単位として長い旋律を生成でき,一貫したリズムパターン構造を他の特定の歌と共有することができる。 その結果,本モデルが生成する音楽は,顕著な繰り返し構造,豊かな動機,安定したリズムパターンを有する傾向が示唆された。
  論文  参考訳（メタデータ） (2020-02-05T06:23:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。