論文の概要: LOAF-M2L: Joint Learning of Wording and Formatting for Singable Melody-to-Lyric Generation

• arxiv url: http://arxiv.org/abs/2307.02146v2
• Date: Fri, 19 Jul 2024 04:38:57 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-23 00:35:58.371359
• Title: LOAF-M2L: Joint Learning of Wording and Formatting for Singable Melody-to-Lyric Generation
• Title（参考訳）: LOAF-M2L:Singable Melody-to-Lyric Generationのための単語とフォルマッティングの連成学習
• Authors: Longshen Ou, Xichu Ma, Ye Wang,
• Abstract要約: 本稿では,メロディ・トゥ・リリック・トレーニングにおいて,歌いやすい歌詞を生成するための新たなアプローチにより,歌いやすさのギャップを埋める。 一般ドメイン事前訓練後,提案手法はテキストのみの大規模歌詞コーパスから長さ認識を得る。 次に,メロディと歌詞の関係に関する音楽学的研究から,メロディから歌詞への訓練において,モデルがメロディの詳細な形式要件を学習できるようにする新たな目的を提案する。
• 参考スコア（独自算出の注目度）: 7.102743887290909
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Despite previous efforts in melody-to-lyric generation research, there is still a significant compatibility gap between generated lyrics and melodies, negatively impacting the singability of the outputs. This paper bridges the singability gap with a novel approach to generating singable lyrics by jointly Learning wOrding And Formatting during Melody-to-Lyric training. After general-domain pretraining, our proposed model acquires length awareness first from a large text-only lyric corpus. Then, we introduce a new objective informed by musicological research on the relationship between melody and lyrics during melody-to-lyric training, which enables the model to learn the fine-grained format requirements of the melody. Our model achieves 3.75% and 21.44% absolute accuracy gains in the outputs' number-of-line and syllable-per-line requirements compared to naive fine-tuning, without sacrificing text fluency. Furthermore, our model demonstrates a 63.92% and 74.18% relative improvement of music-lyric compatibility and overall quality in the subjective evaluation, compared to the state-of-the-art melody-to-lyric generation model, highlighting the significance of formatting learning.
• Abstract（参考訳）: これまでのメロディ-歌詞生成研究の努力にもかかわらず、生成した歌詞と旋律の間には大きな相違点があり、出力の発声性に悪影響を及ぼす。 本稿では,メロディ・トゥ・リリック・トレーニング中にwOrding and Formattingを共同で学習することで,歌いやすい歌詞を生成する新しいアプローチで,歌いやすさのギャップを埋める。 一般ドメイン事前訓練後,提案手法はテキストのみの大規模歌詞コーパスから長さ認識を得る。 次に,メロディと歌詞の関係に関する音楽学的研究から,メロディから歌詞への訓練において,モデルがメロディの詳細な形式要件を学習できるようにする新たな目的を提案する。 本モデルでは,テキストの流速を犠牲にすることなく,行数および行数に対する絶対精度が3.75%,21.44%向上した。 さらに,本モデルでは,最新のメロディ-歌詞生成モデルと比較して,音楽と歌詞の互換性と主観的評価における全体的な品質が63.92%,74.18%向上していることを示し,フォーマッティング学習の重要性を強調した。

関連論文リスト

• Syllable-level lyrics generation from melody exploiting character-level language model [14.851295355381712]
  シンボリック・メロディから音節レベルの歌詞を生成するための微調整文字レベル言語モデルを提案する。 特に,言語モデルの言語知識を音節レベルのトランスフォーマー生成ネットワークのビームサーチプロセスに組み込む手法を提案する。
  論文  参考訳（メタデータ） (2023-10-02T02:53:29Z)
• Controllable Lyrics-to-Melody Generation [14.15838552524433]
  ユーザは好みの音楽スタイルで歌詞からリアルなメロディを生成できる、制御可能な歌詞・メロディ生成ネットワークであるConL2Mを提案する。 本研究は,音楽属性の依存関係を複数のシーケンスをまたいでモデル化するため,マルチブランチスタック型LSTMアーキテクチャ間の情報フローを実現するためにメモリ間融合(Memofu)を提案し,参照スタイル埋め込み(RSE)を提案し,生成したメロディの音楽スタイルを制御し,シーケンスレベルの統計的損失(SeqLoss)をモデルがシーケンスレベルを学習するのに役立つように提案した。
  論文  参考訳（メタデータ） (2023-06-05T06:14:08Z)
• Unsupervised Melody-to-Lyric Generation [91.29447272400826]
  本稿では,メロディ・歌詞データを学習することなく高品質な歌詞を生成する手法を提案する。 我々は、メロディと歌詞のセグメンテーションとリズムアライメントを利用して、与えられたメロディをデコード制約にコンパイルする。 我々のモデルは、強いベースラインよりもオントピー的、歌いやすく、知性があり、一貫性のある高品質な歌詞を生成することができる。
  論文  参考訳（メタデータ） (2023-05-30T17:20:25Z)
• Unsupervised Melody-Guided Lyrics Generation [84.22469652275714]
  メロディと歌詞の一致したデータを学習することなく、楽しく聴ける歌詞を生成することを提案する。 メロディと歌詞間の重要なアライメントを活用し、与えられたメロディを制約にコンパイルし、生成プロセスを導く。
  論文  参考訳（メタデータ） (2023-05-12T20:57:20Z)
• Re-creation of Creations: A New Paradigm for Lyric-to-Melody Generation [158.54649047794794]
  Re-creation of Creations (ROC)は、歌詞からメロディ生成のための新しいパラダイムである。 ROCは、Lyric-to-Meody生成において、優れたLyric-Meody特徴アライメントを実現する。
  論文  参考訳（メタデータ） (2022-08-11T08:44:47Z)
• TeleMelody: Lyric-to-Melody Generation with a Template-Based Two-Stage Method [92.36505210982648]
  TeleMelody(テレメロディ)は、音楽テンプレートを備えた2段階の歌詞からメロディ生成システムである。 高品質で、制御性が良く、ペアリングされた歌詞・メロディデータに対する要求も少ないメロディを生成する。
  論文  参考訳（メタデータ） (2021-09-20T15:19:33Z)
• SongMASS: Automatic Song Writing with Pre-training and Alignment Constraint [54.012194728496155]
  SongMASSは、歌詞からメロディーへの生成とメロディから歌詞への生成の課題を克服するために提案されている。 マスクドシーケンスを利用して、シーケンス(質量)事前トレーニングと注意に基づくアライメントモデリングを行う。 我々は,SongMASSがベースライン法よりもはるかに高品質な歌詞とメロディを生成することを示す。
  論文  参考訳（メタデータ） (2020-12-09T16:56:59Z)
• Melody-Conditioned Lyrics Generation with SeqGANs [81.2302502902865]
  本稿では,SeqGAN(Sequence Generative Adversarial Networks)に基づく,エンドツーエンドのメロディ条件付き歌詞生成システムを提案する。 入力条件が評価指標に悪影響を及ぼすことなく,ネットワークがより有意義な結果が得られることを示す。
  論文  参考訳（メタデータ） (2020-10-28T02:35:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。