論文の概要: REFFLY: Melody-Constrained Lyrics Editing Model
- arxiv url: http://arxiv.org/abs/2409.00292v1
- Date: Fri, 30 Aug 2024 23:22:34 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-06 15:46:49.808213
- Title: REFFLY: Melody-Constrained Lyrics Editing Model
- Title（参考訳）: ReFFLY:メロディ制約付き歌詞編集モデル
- Authors: Songyan Zhao, Bingxuan Li, Yufei Tian, Nanyun Peng,
- Abstract要約: 任意の形態のプレーンテキストドラフトを高品質で本格的な歌詞に編集するための,最初の改訂フレームワークであるREFFLYを紹介する。
提案手法は,生成した歌詞が原文の意味を保ち,旋律と整合し,所望の曲構造に固執することを保証する。
- 参考スコア（独自算出の注目度）: 50.03960548399128
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Automatic melody-to-lyric generation aims to produce lyrics that align with a given melody. Although previous work can generate lyrics based on high-level control signals, such as keywords or genre, they often struggle with three challenges: (1) lack of controllability, as prior works are only able to produce lyrics from scratch, with little or no control over the content; (2) inability to generate fully structured songs with the desired format; and (3) failure to align prominent words in the lyrics with prominent notes in the melody, resulting in poor lyrics-melody alignment. In this work, we introduce REFFLY (REvision Framework For Lyrics), the first revision framework designed to edit arbitrary forms of plain text draft into high-quality, full-fledged song lyrics. Our approach ensures that the generated lyrics retain the original meaning of the draft, align with the melody, and adhere to the desired song structures. We demonstrate that REFFLY performs well in diverse task settings, such as lyrics revision and song translation. Experimental results show that our model outperforms strong baselines, such as Lyra (Tian et al. 2023) and GPT-4, by 25% in both musicality and text quality.
- Abstract（参考訳）: メロディから歌詞への自動生成は、与えられたメロディに合わせて歌詞を生成することを目的としている。
以前の作品では、キーワードやジャンルなどの高レベルな制御信号に基づいて歌詞を生成できるが、(1) 制御性の欠如、前作では内容の制御がほとんどあるいは全くなく、スクラッチから歌詞を生成できないこと、(2) 完全に構造化された曲を所望の形式で生成できないこと、(3) 歌詞中の顕著な単語をメロディの顕著な音符で整列させることができず、結果として歌詞とメロディの整列性が低下すること、の3つの課題に悩まされる。
本稿では,任意の形式のプレーンテキスト草案を高品質で本格的な歌詞に編集するための最初の改訂フレームワークであるREFFLY(Revision Framework for Lyrics)を紹介する。
提案手法は,生成した歌詞が原文の意味を保ち,旋律と整合し,所望の曲構造に固執することを保証する。
我々は,REFFLYが歌詞のリビジョンや歌の翻訳など,多様なタスク設定でうまく機能することが実証された。
実験の結果,Lyra (Tian et al 2023) や GPT-4 などのモデルでは,音楽性,テキスト品質ともに25%向上した。
関連論文リスト
- SongGLM: Lyric-to-Melody Generation with 2D Alignment Encoding and Multi-Task Pre-Training [7.3026780262967685]
SongGLMは2次元アライメント符号化とマルチタスク事前学習を利用する歌詞からメロディ生成システムである。
我々は,20万曲以上の英曲を事前学習と微調整に用いた大規模歌詞・旋律ペアデータセットを構築した。
論文 参考訳（メタデータ） (2024-12-24T02:30:07Z) - Song Form-aware Full-Song Text-to-Lyrics Generation with Multi-Level Granularity Syllable Count Control [13.702198736153582]
単語,フレーズ,行,段落レベルで多段階の音節制御を可能にする歌詞生成フレームワークを提案する。
提案手法は,入力テキストと歌唱形式に条件付けされた完全な歌詞を生成し,特定の音節制約に適合することを保証する。
論文 参考訳（メタデータ） (2024-11-20T07:57:58Z) - Unsupervised Melody-to-Lyric Generation [91.29447272400826]
本稿では,メロディ・歌詞データを学習することなく高品質な歌詞を生成する手法を提案する。
我々は、メロディと歌詞のセグメンテーションとリズムアライメントを利用して、与えられたメロディをデコード制約にコンパイルする。
我々のモデルは、強いベースラインよりもオントピー的、歌いやすく、知性があり、一貫性のある高品質な歌詞を生成することができる。
論文 参考訳（メタデータ） (2023-05-30T17:20:25Z) - Unsupervised Melody-Guided Lyrics Generation [84.22469652275714]
メロディと歌詞の一致したデータを学習することなく、楽しく聴ける歌詞を生成することを提案する。
メロディと歌詞間の重要なアライメントを活用し、与えられたメロディを制約にコンパイルし、生成プロセスを導く。
論文 参考訳（メタデータ） (2023-05-12T20:57:20Z) - SongRewriter: A Chinese Song Rewriting System with Controllable Content
and Rhyme Scheme [32.60994266892925]
メロディ構成の知識を必要とせずにユーザを支援する制御可能な中国語歌詞生成・編集システムを提案する。
このシステムはランダム化されたマルチレベルマスキング戦略によって訓練され、完全に新しい歌詞を生成したり、いくつかの断片を編集するための統一モデルを生成する。
論文 参考訳（メタデータ） (2022-11-28T03:52:05Z) - Re-creation of Creations: A New Paradigm for Lyric-to-Melody Generation [158.54649047794794]
Re-creation of Creations (ROC)は、歌詞からメロディ生成のための新しいパラダイムである。
ROCは、Lyric-to-Meody生成において、優れたLyric-Meody特徴アライメントを実現する。
論文 参考訳（メタデータ） (2022-08-11T08:44:47Z) - TeleMelody: Lyric-to-Melody Generation with a Template-Based Two-Stage
Method [92.36505210982648]
TeleMelody(テレメロディ)は、音楽テンプレートを備えた2段階の歌詞からメロディ生成システムである。
高品質で、制御性が良く、ペアリングされた歌詞・メロディデータに対する要求も少ないメロディを生成する。
論文 参考訳（メタデータ） (2021-09-20T15:19:33Z) - Melody-Conditioned Lyrics Generation with SeqGANs [81.2302502902865]
本稿では,SeqGAN(Sequence Generative Adversarial Networks)に基づく,エンドツーエンドのメロディ条件付き歌詞生成システムを提案する。
入力条件が評価指標に悪影響を及ぼすことなく,ネットワークがより有意義な結果が得られることを示す。
論文 参考訳（メタデータ） (2020-10-28T02:35:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。