論文の概要: Unsupervised Melody-to-Lyric Generation

• arxiv url: http://arxiv.org/abs/2305.19228v2
• Date: Fri, 22 Dec 2023 14:49:34 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-25 18:46:02.871830
• Title: Unsupervised Melody-to-Lyric Generation
• Title（参考訳）: 教師なしメロディ-歌詞生成
• Authors: Yufei Tian, Anjali Narayan-Chen, Shereen Oraby, Alessandra Cervone, Gunnar Sigurdsson, Chenyang Tao, Wenbo Zhao, Yiwen Chen, Tagyoung Chung, Jing Huang, Nanyun Peng
• Abstract要約: 本稿では,メロディ・歌詞データを学習することなく高品質な歌詞を生成する手法を提案する。 我々は、メロディと歌詞のセグメンテーションとリズムアライメントを利用して、与えられたメロディをデコード制約にコンパイルする。 我々のモデルは、強いベースラインよりもオントピー的、歌いやすく、知性があり、一貫性のある高品質な歌詞を生成することができる。
• 参考スコア（独自算出の注目度）: 91.29447272400826
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Automatic melody-to-lyric generation is a task in which song lyrics are generated to go with a given melody. It is of significant practical interest and more challenging than unconstrained lyric generation as the music imposes additional constraints onto the lyrics. The training data is limited as most songs are copyrighted, resulting in models that underfit the complicated cross-modal relationship between melody and lyrics. In this work, we propose a method for generating high-quality lyrics without training on any aligned melody-lyric data. Specifically, we design a hierarchical lyric generation framework that first generates a song outline and second the complete lyrics. The framework enables disentanglement of training (based purely on text) from inference (melody-guided text generation) to circumvent the shortage of parallel data. We leverage the segmentation and rhythm alignment between melody and lyrics to compile the given melody into decoding constraints as guidance during inference. The two-step hierarchical design also enables content control via the lyric outline, a much-desired feature for democratizing collaborative song creation. Experimental results show that our model can generate high-quality lyrics that are more on-topic, singable, intelligible, and coherent than strong baselines, for example SongMASS, a SOTA model trained on a parallel dataset, with a 24% relative overall quality improvement based on human ratings.
• Abstract（参考訳）: メロディと歌詞の自動生成は、与えられたメロディと共に歌詞を生成するタスクである。 音楽が歌詞に追加の制約を課すため、これは、制約のない歌詞生成よりも重要な実践的関心と挑戦である。 ほとんどの楽曲は著作権を侵害されるため、トレーニングデータは制限され、メロディと歌詞の複雑な相互モーダル関係に不適合なモデルとなる。 本研究では,任意のメロディ・歌詞データを訓練することなく高品質な歌詞を生成する手法を提案する。 具体的には、まず歌の輪郭を生成し、次に完全な歌詞を生成する階層的歌詞生成フレームワークを設計する。 このフレームワークは、(純粋にテキストに基づく)トレーニングを推論(メロディ誘導テキスト生成)から切り離すことで、並列データの不足を回避する。 我々はメロディと歌詞のセグメンテーションとリズムアライメントを活用し、そのメロディを推論中の指示としてデコード制約にコンパイルする。 2段階の階層デザインは、共同曲作成を民主化するための非常に望ましい機能である、歌詞概要によるコンテンツ制御を可能にする。 実験結果から,本モデルは,例えば,並列データセットを用いたSOTAモデルであるSongMASSや,人間の評価に基づく全体的な品質改善率の24%といった,強靭なベースラインよりもオントピー的,歌声的,知的な,一貫性のある高品質な歌詞を生成することができることがわかった。

関連論文リスト

• REFFLY: Melody-Constrained Lyrics Editing Model [50.03960548399128]
  任意の形態のプレーンテキストドラフトを高品質で本格的な歌詞に編集するための,最初の改訂フレームワークであるREFFLYを紹介する。 提案手法は,生成した歌詞が原文の意味を保ち,旋律と整合し,所望の曲構造に固執することを保証する。
  論文  参考訳（メタデータ） (2024-08-30T23:22:34Z)
• Unsupervised Melody-Guided Lyrics Generation [84.22469652275714]
  メロディと歌詞の一致したデータを学習することなく、楽しく聴ける歌詞を生成することを提案する。 メロディと歌詞間の重要なアライメントを活用し、与えられたメロディを制約にコンパイルし、生成プロセスを導く。
  論文  参考訳（メタデータ） (2023-05-12T20:57:20Z)
• Re-creation of Creations: A New Paradigm for Lyric-to-Melody Generation [158.54649047794794]
  Re-creation of Creations (ROC)は、歌詞からメロディ生成のための新しいパラダイムである。 ROCは、Lyric-to-Meody生成において、優れたLyric-Meody特徴アライメントを実現する。
  論文  参考訳（メタデータ） (2022-08-11T08:44:47Z)
• SongMASS: Automatic Song Writing with Pre-training and Alignment Constraint [54.012194728496155]
  SongMASSは、歌詞からメロディーへの生成とメロディから歌詞への生成の課題を克服するために提案されている。 マスクドシーケンスを利用して、シーケンス(質量)事前トレーニングと注意に基づくアライメントモデリングを行う。 我々は,SongMASSがベースライン法よりもはるかに高品質な歌詞とメロディを生成することを示す。
  論文  参考訳（メタデータ） (2020-12-09T16:56:59Z)
• Melody-Conditioned Lyrics Generation with SeqGANs [81.2302502902865]
  本稿では,SeqGAN(Sequence Generative Adversarial Networks)に基づく,エンドツーエンドのメロディ条件付き歌詞生成システムを提案する。 入力条件が評価指標に悪影響を及ぼすことなく,ネットワークがより有意義な結果が得られることを示す。
  論文  参考訳（メタデータ） (2020-10-28T02:35:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。