論文の概要: REFFLY: Melody-Constrained Lyrics Editing Model
- arxiv url: http://arxiv.org/abs/2409.00292v2
- Date: Fri, 02 May 2025 07:31:57 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-05-05 17:21:19.654495
- Title: REFFLY: Melody-Constrained Lyrics Editing Model
- Title（参考訳）: ReFFLY:メロディ制約付き歌詞編集モデル
- Authors: Songyan Zhao, Bingxuan Li, Yufei Tian, Nanyun Peng,
- Abstract要約: 本稿では,旋律に沿った歌詞を編集・生成する最初のフレームワークであるREFFLYを紹介する。
合成したメロディ対応歌詞データセットを用いて歌詞修正モジュールを訓練する。
そこで本研究では,意味的意味と音楽的一貫性の両立を目的とした学習自由度を提案する。
- 参考スコア（独自算出の注目度）: 50.03960548399128
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Automatic melody-to-lyric (M2L) generation aims to create lyrics that align with a given melody. While most previous approaches generate lyrics from scratch, revision, editing plain text draft to fit it into the melody, offers a much more flexible and practical alternative. This enables broad applications, such as generating lyrics from flexible inputs (keywords, themes, or full text that needs refining to be singable), song translation (preserving meaning across languages while keeping the melody intact), or style transfer (adapting lyrics to different genres). This paper introduces REFFLY (REvision Framework For LYrics), the first revision framework for editing and generating melody-aligned lyrics. We train the lyric revision module using our curated synthesized melody-aligned lyrics dataset, enabling it to transform plain text into lyrics that align with a given melody. To further enhance the revision ability, we propose training-free heuristics aimed at preserving both semantic meaning and musical consistency throughout the editing process. Experimental results demonstrate the effectiveness of REFFLY across various tasks (e.g. lyrics generation, song translation), showing that our model outperforms strong baselines, including Lyra (Tian et al., 2023) and GPT-4, by 25% in both musicality and text quality.
- Abstract（参考訳）: 自動メロディ・トゥ・リリック(M2L)生成は、与えられたメロディに合わせて歌詞を作成することを目的としている。
これまでのほとんどのアプローチは、スクラッチやリビジョンから歌詞を生成し、平易なテキストドラフトをメロディに適合させるために編集するが、より柔軟で実用的な代替手段を提供する。
これにより、柔軟な入力から歌詞を生成する(キーワード、テーマ、歌えるように精製する必要があるフルテキスト)、歌の翻訳(メロディをそのままに保ちながら言語間で意味を保存する)、スタイル転送(異なるジャンルに歌詞を適応させる)といった幅広い応用が可能になる。
本稿では,メロディに沿った歌詞を編集・生成する最初のフレームワークであるREFFLY(Revision Framework for LYrics)を紹介する。
合成したメロディに整合した歌詞データセットを用いて歌詞修正モジュールを訓練し、任意のメロディに整合した歌詞に変換する。
そこで本研究では,編集過程を通じて意味的意味と音楽的一貫性の両立を図った学習自由ヒューリスティックスを提案する。
実験結果から,Lyra (Tian et al , 2023) や GPT-4 など,様々なタスク(歌詞生成, 歌の翻訳など)におけるREFFLYの有効性を25%向上させることができた。
関連論文リスト
- SongGLM: Lyric-to-Melody Generation with 2D Alignment Encoding and Multi-Task Pre-Training [7.3026780262967685]
SongGLMは2次元アライメント符号化とマルチタスク事前学習を利用する歌詞からメロディ生成システムである。
我々は,20万曲以上の英曲を事前学習と微調整に用いた大規模歌詞・旋律ペアデータセットを構築した。
論文 参考訳（メタデータ） (2024-12-24T02:30:07Z) - Song Form-aware Full-Song Text-to-Lyrics Generation with Multi-Level Granularity Syllable Count Control [13.702198736153582]
単語,フレーズ,行,段落レベルで多段階の音節制御を可能にする歌詞生成フレームワークを提案する。
提案手法は,入力テキストと歌唱形式に条件付けされた完全な歌詞を生成し,特定の音節制約に適合することを保証する。
論文 参考訳（メタデータ） (2024-11-20T07:57:58Z) - Unsupervised Melody-to-Lyric Generation [91.29447272400826]
本稿では,メロディ・歌詞データを学習することなく高品質な歌詞を生成する手法を提案する。
我々は、メロディと歌詞のセグメンテーションとリズムアライメントを利用して、与えられたメロディをデコード制約にコンパイルする。
我々のモデルは、強いベースラインよりもオントピー的、歌いやすく、知性があり、一貫性のある高品質な歌詞を生成することができる。
論文 参考訳（メタデータ） (2023-05-30T17:20:25Z) - Unsupervised Melody-Guided Lyrics Generation [84.22469652275714]
メロディと歌詞の一致したデータを学習することなく、楽しく聴ける歌詞を生成することを提案する。
メロディと歌詞間の重要なアライメントを活用し、与えられたメロディを制約にコンパイルし、生成プロセスを導く。
論文 参考訳（メタデータ） (2023-05-12T20:57:20Z) - Deep Attention-Based Alignment Network for Melody Generation from
Incomplete Lyrics [12.05359079565586]
ディープ・ニューラル・歌詞・メロディネットをエンコーダ・デコーダ方式で訓練し、不完全な歌詞が与えられたときの歌詞・メロディのペアを予測する。
注意機構を利用して、歌詞からメロディ生成中に予測された歌詞とメロディを一致させる。
論文 参考訳（メタデータ） (2023-01-23T03:41:53Z) - SongRewriter: A Chinese Song Rewriting System with Controllable Content
and Rhyme Scheme [32.60994266892925]
メロディ構成の知識を必要とせずにユーザを支援する制御可能な中国語歌詞生成・編集システムを提案する。
このシステムはランダム化されたマルチレベルマスキング戦略によって訓練され、完全に新しい歌詞を生成したり、いくつかの断片を編集するための統一モデルを生成する。
論文 参考訳（メタデータ） (2022-11-28T03:52:05Z) - Re-creation of Creations: A New Paradigm for Lyric-to-Melody Generation [158.54649047794794]
Re-creation of Creations (ROC)は、歌詞からメロディ生成のための新しいパラダイムである。
ROCは、Lyric-to-Meody生成において、優れたLyric-Meody特徴アライメントを実現する。
論文 参考訳（メタデータ） (2022-08-11T08:44:47Z) - TeleMelody: Lyric-to-Melody Generation with a Template-Based Two-Stage
Method [92.36505210982648]
TeleMelody(テレメロディ)は、音楽テンプレートを備えた2段階の歌詞からメロディ生成システムである。
高品質で、制御性が良く、ペアリングされた歌詞・メロディデータに対する要求も少ないメロディを生成する。
論文 参考訳（メタデータ） (2021-09-20T15:19:33Z) - Melody-Conditioned Lyrics Generation with SeqGANs [81.2302502902865]
本稿では,SeqGAN(Sequence Generative Adversarial Networks)に基づく,エンドツーエンドのメロディ条件付き歌詞生成システムを提案する。
入力条件が評価指標に悪影響を及ぼすことなく,ネットワークがより有意義な結果が得られることを示す。
論文 参考訳（メタデータ） (2020-10-28T02:35:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。