論文の概要: ROC: A New Paradigm for Lyric-to-Melody Generation

• arxiv url: http://arxiv.org/abs/2208.05697v1
• Date: Thu, 11 Aug 2022 08:44:47 GMT
• ステータス: 処理完了
• システム内更新日: 2022-08-12 13:35:18.412212
• Title: ROC: A New Paradigm for Lyric-to-Melody Generation
• Title（参考訳）: ROC:Lyric-to-Melody生成の新しいパラダイム
• Authors: Ang Lv, Xu Tan, Tao Qin, Tie-Yan Liu, Rui Yan
• Abstract要約: ROCはLyric-to-melody生成のための新しいパラダイムであり、世代検索パイプラインを通じて上記の問題に対処する。 ROCは、客観的指標と主観的指標の両方において、従来のニューラルネットワークベースの歌詞からメロディ生成モデルより優れている。
• 参考スコア（独自算出の注目度）: 158.54649047794794
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Lyric-to-melody generation is an important task in songwriting, and is also quite challenging due to its distinctive characteristics: the generated melodies should not only follow good musical patterns, but also align with features in lyrics such as rhythms and structures. These characteristics cannot be well handled by neural generation models that learn lyric-to-melody mapping in an end-to-end way, due to several issues: (1) lack of aligned lyric-melody training data to sufficiently learn lyric-melody feature alignment; (2) lack of controllability in generation to explicitly guarantee the lyric-melody feature alignment. In this paper, we propose ROC, a new paradigm for lyric-to-melody generation that addresses the above issues through a generation-retrieval pipeline. Specifically, our paradigm has two stages: (1) creation stage, where a huge amount of music pieces are generated by a neural-based melody language model and indexed in a database through several key features (e.g., chords, tonality, rhythm, and structural information including chorus or verse); (2) re-creation stage, where melodies are recreated by retrieving music pieces from the database according to the key features from lyrics and concatenating best music pieces based on composition guidelines and melody language model scores. Our ROC paradigm has several advantages: (1) It only needs unpaired melody data to train melody language model, instead of paired lyric-melody data in previous models. (2) It achieves good lyric-melody feature alignment in lyric-to-melody generation. Experiments on English and Chinese datasets demonstrate that ROC outperforms previous neural based lyric-to-melody generation models on both objective and subjective metrics.
• Abstract（参考訳）: 歌詞からメロディーへの生成は、曲の書き方において重要な課題であり、その特徴から非常に困難である: 生成されたメロディーは、優れた音楽パターンに従うだけでなく、リズムや構造といった歌詞の特徴とも一致すべきである。 これらの特徴は,(1)リリック-メロディ特徴のアライメントを十分に学習するためのアライメントされたリリック-メロディ訓練データの欠如,(2)リリック-メロディ特徴のアライメントを明示的に保証するための生成制御性の欠如,といった問題から,エンドツーエンドでリリック-メロディマッピングを学習するニューラルジェネレーションモデルではうまく扱えない。 本稿では,この問題に対処するLyric-to-Meody生成の新たなパラダイムであるROCを提案する。 Specifically, our paradigm has two stages: (1) creation stage, where a huge amount of music pieces are generated by a neural-based melody language model and indexed in a database through several key features (e.g., chords, tonality, rhythm, and structural information including chorus or verse); (2) re-creation stage, where melodies are recreated by retrieving music pieces from the database according to the key features from lyrics and concatenating best music pieces based on composition guidelines and melody language model scores. われわれのROCパラダイムにはいくつかの利点がある: 1) 前モデルでペア化された歌詞-メロディデータではなく、メロディ言語モデルを訓練するためには、メロディのないメロディデータのみが必要である。 2) 歌詞からメロディ生成に優れた歌詞・メロディ特徴アライメントを実現する。 英語と中国語のデータセットの実験では、ROCは従来のニューラルネットワークによる歌詞からメロディ生成モデルよりも客観的、主観的の両方で優れていた。

関連論文リスト

• Controllable Lyrics-to-Melody Generation [14.15838552524433]
  ユーザは好みの音楽スタイルで歌詞からリアルなメロディを生成できる、制御可能な歌詞・メロディ生成ネットワークであるConL2Mを提案する。 本研究は,音楽属性の依存関係を複数のシーケンスをまたいでモデル化するため,マルチブランチスタック型LSTMアーキテクチャ間の情報フローを実現するためにメモリ間融合(Memofu)を提案し,参照スタイル埋め込み(RSE)を提案し,生成したメロディの音楽スタイルを制御し,シーケンスレベルの統計的損失(SeqLoss)をモデルがシーケンスレベルを学習するのに役立つように提案した。
  論文  参考訳（メタデータ） (2023-06-05T06:14:08Z)
• Unsupervised Melody-to-Lyric Generation [91.29447272400826]
  本稿では,メロディ・歌詞データを学習することなく高品質な歌詞を生成する手法を提案する。 我々は、メロディと歌詞のセグメンテーションとリズムアライメントを利用して、与えられたメロディをデコード制約にコンパイルする。 我々のモデルは、強いベースラインよりもオントピー的、歌いやすく、知性があり、一貫性のある高品質な歌詞を生成することができる。
  論文  参考訳（メタデータ） (2023-05-30T17:20:25Z)
• Unsupervised Melody-Guided Lyrics Generation [84.22469652275714]
  メロディと歌詞の一致したデータを学習することなく、楽しく聴ける歌詞を生成することを提案する。 メロディと歌詞間の重要なアライメントを活用し、与えられたメロディを制約にコンパイルし、生成プロセスを導く。
  論文  参考訳（メタデータ） (2023-05-12T20:57:20Z)
• Interpretable Melody Generation from Lyrics with Discrete-Valued Adversarial Training [12.02541352832997]
  Gumbel-Softmaxは、GAN(Generative Adversarial Networks)による音楽属性生成の非微分性問題を解決するために利用される。 ユーザーは生成されたAI曲を聴くだけでなく、推奨音楽属性から選択することで新しい曲を再生することができる。
  論文  参考訳（メタデータ） (2022-06-30T05:45:47Z)
• TeleMelody: Lyric-to-Melody Generation with a Template-Based Two-Stage Method [92.36505210982648]
  TeleMelody(テレメロディ)は、音楽テンプレートを備えた2段階の歌詞からメロディ生成システムである。 高品質で、制御性が良く、ペアリングされた歌詞・メロディデータに対する要求も少ないメロディを生成する。
  論文  参考訳（メタデータ） (2021-09-20T15:19:33Z)
• SongMASS: Automatic Song Writing with Pre-training and Alignment Constraint [54.012194728496155]
  SongMASSは、歌詞からメロディーへの生成とメロディから歌詞への生成の課題を克服するために提案されている。 マスクドシーケンスを利用して、シーケンス(質量)事前トレーニングと注意に基づくアライメントモデリングを行う。 我々は,SongMASSがベースライン法よりもはるかに高品質な歌詞とメロディを生成することを示す。
  論文  参考訳（メタデータ） (2020-12-09T16:56:59Z)
• Melody-Conditioned Lyrics Generation with SeqGANs [81.2302502902865]
  本稿では,SeqGAN(Sequence Generative Adversarial Networks)に基づく,エンドツーエンドのメロディ条件付き歌詞生成システムを提案する。 入力条件が評価指標に悪影響を及ぼすことなく,ネットワークがより有意義な結果が得られることを示す。
  論文  参考訳（メタデータ） (2020-10-28T02:35:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。