論文の概要: SongGLM: Lyric-to-Melody Generation with 2D Alignment Encoding and Multi-Task Pre-Training

• arxiv url: http://arxiv.org/abs/2412.18107v1
• Date: Tue, 24 Dec 2024 02:30:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-25 15:54:02.330359
• Title: SongGLM: Lyric-to-Melody Generation with 2D Alignment Encoding and Multi-Task Pre-Training
• Title（参考訳）: SongGLM: 2次元アライメント符号化とマルチタスク事前学習によるLyric-to-Melody生成
• Authors: Jiaxing Yu, Xinda Wu, Yunfei Xu, Tieyao Zhang, Songruoyao Wu, Le Ma, Kejun Zhang,
• Abstract要約: SongGLMは2次元アライメント符号化とマルチタスク事前学習を利用する歌詞からメロディ生成システムである。 我々は,20万曲以上の英曲を事前学習と微調整に用いた大規模歌詞・旋律ペアデータセットを構築した。
• 参考スコア（独自算出の注目度）: 7.3026780262967685
• License:
• Abstract: Lyric-to-melody generation aims to automatically create melodies based on given lyrics, requiring the capture of complex and subtle correlations between them. However, previous works usually suffer from two main challenges: 1) lyric-melody alignment modeling, which is often simplified to one-syllable/word-to-one-note alignment, while others have the problem of low alignment accuracy; 2) lyric-melody harmony modeling, which usually relies heavily on intermediates or strict rules, limiting model's capabilities and generative diversity. In this paper, we propose SongGLM, a lyric-to-melody generation system that leverages 2D alignment encoding and multi-task pre-training based on the General Language Model (GLM) to guarantee the alignment and harmony between lyrics and melodies. Specifically, 1) we introduce a unified symbolic song representation for lyrics and melodies with word-level and phrase-level (2D) alignment encoding to capture the lyric-melody alignment; 2) we design a multi-task pre-training framework with hierarchical blank infilling objectives (n-gram, phrase, and long span), and incorporate lyric-melody relationships into the extraction of harmonized n-grams to ensure the lyric-melody harmony. We also construct a large-scale lyric-melody paired dataset comprising over 200,000 English song pieces for pre-training and fine-tuning. The objective and subjective results indicate that SongGLM can generate melodies from lyrics with significant improvements in both alignment and harmony, outperforming all the previous baseline methods.
• Abstract（参考訳）: リリック・トゥ・メロディ生成は、与えられた歌詞に基づいてメロディを自動生成することを目的としており、それら間の複雑な微妙な相関を捉える必要がある。 しかし、以前の作品は2つの大きな課題に苦しむのが普通である。 1) 歌詞・旋律アライメントモデリングは、1音節・単語・音節アライメントに単純化されることが多いが、他のものはアライメントの精度が低い。 2)中間規則や厳格な規則に大きく依存する歌詞・旋律調和モデルでは,モデルの性能や生成の多様性が制限される。 本稿では,歌詞とメロディ間のアライメントと調和を保証するために,汎用言語モデル(GLM)に基づく2次元アライメント符号化とマルチタスク事前学習を利用する歌詞・メロディ生成システムであるSongGLMを提案する。 具体的には 1)歌詞と旋律の統一的なシンボリック・ソング表現を導入し,単語レベルと句レベル(2D)アライメントを符号化し,歌詞と旋律のアライメントを捉える。 2) 階層的空白埋め込み目的(n-gram, 句, 長スパン)を持つマルチタスク事前学習フレームワークを設計し, 調和したn-gramの抽出に歌詞-メロディ関係を組み込んで, 歌詞-メロディ調和を保証する。 また,20万曲以上の英曲を事前学習と微調整に用いた大規模歌詞・旋律ペアデータセットを構築した。 目的および主観的な結果から,SongGLMは歌詞からメロディを生成できることを示す。

関連論文リスト

• REFFLY: Melody-Constrained Lyrics Editing Model [50.03960548399128]
  任意の形態のプレーンテキストドラフトを高品質で本格的な歌詞に編集するための,最初の改訂フレームワークであるREFFLYを紹介する。 提案手法は,生成した歌詞が原文の意味を保ち,旋律と整合し,所望の曲構造に固執することを保証する。
  論文  参考訳（メタデータ） (2024-08-30T23:22:34Z)
• MelodyGLM: Multi-task Pre-training for Symbolic Melody Generation [39.892059799407434]
  MelodyGLMは長期構造を持つメロディを生成するためのマルチタスク事前学習フレームワークである。 我々は,0.4百万以上のメロディを含む大規模な記号的メロディデータセットMelodyNetを構築した。
  論文  参考訳（メタデータ） (2023-09-19T16:34:24Z)
• Unsupervised Melody-to-Lyric Generation [91.29447272400826]
  本稿では,メロディ・歌詞データを学習することなく高品質な歌詞を生成する手法を提案する。 我々は、メロディと歌詞のセグメンテーションとリズムアライメントを利用して、与えられたメロディをデコード制約にコンパイルする。 我々のモデルは、強いベースラインよりもオントピー的、歌いやすく、知性があり、一貫性のある高品質な歌詞を生成することができる。
  論文  参考訳（メタデータ） (2023-05-30T17:20:25Z)
• Unsupervised Melody-Guided Lyrics Generation [84.22469652275714]
  メロディと歌詞の一致したデータを学習することなく、楽しく聴ける歌詞を生成することを提案する。 メロディと歌詞間の重要なアライメントを活用し、与えられたメロディを制約にコンパイルし、生成プロセスを導く。
  論文  参考訳（メタデータ） (2023-05-12T20:57:20Z)
• Re-creation of Creations: A New Paradigm for Lyric-to-Melody Generation [158.54649047794794]
  Re-creation of Creations (ROC)は、歌詞からメロディ生成のための新しいパラダイムである。 ROCは、Lyric-to-Meody生成において、優れたLyric-Meody特徴アライメントを実現する。
  論文  参考訳（メタデータ） (2022-08-11T08:44:47Z)
• TeleMelody: Lyric-to-Melody Generation with a Template-Based Two-Stage Method [92.36505210982648]
  TeleMelody(テレメロディ)は、音楽テンプレートを備えた2段階の歌詞からメロディ生成システムである。 高品質で、制御性が良く、ペアリングされた歌詞・メロディデータに対する要求も少ないメロディを生成する。
  論文  参考訳（メタデータ） (2021-09-20T15:19:33Z)
• SongMASS: Automatic Song Writing with Pre-training and Alignment Constraint [54.012194728496155]
  SongMASSは、歌詞からメロディーへの生成とメロディから歌詞への生成の課題を克服するために提案されている。 マスクドシーケンスを利用して、シーケンス(質量)事前トレーニングと注意に基づくアライメントモデリングを行う。 我々は,SongMASSがベースライン法よりもはるかに高品質な歌詞とメロディを生成することを示す。
  論文  参考訳（メタデータ） (2020-12-09T16:56:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。