論文の概要: SongMASS: Automatic Song Writing with Pre-training and Alignment Constraint

• arxiv url: http://arxiv.org/abs/2012.05168v1
• Date: Wed, 9 Dec 2020 16:56:59 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-16 07:53:43.140557
• Title: SongMASS: Automatic Song Writing with Pre-training and Alignment Constraint
• Title（参考訳）: SongMASS:事前学習とアライメント制約による自動作曲
• Authors: Zhonghao Sheng, Kaitao Song, Xu Tan, Yi Ren, Wei Ye, Shikun Zhang, Tao Qin
• Abstract要約: SongMASSは、歌詞からメロディーへの生成とメロディから歌詞への生成の課題を克服するために提案されている。 マスクドシーケンスを利用して、シーケンス(質量)事前トレーニングと注意に基づくアライメントモデリングを行う。 我々は,SongMASSがベースライン法よりもはるかに高品質な歌詞とメロディを生成することを示す。
• 参考スコア（独自算出の注目度）: 54.012194728496155
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Automatic song writing aims to compose a song (lyric and/or melody) by machine, which is an interesting topic in both academia and industry. In automatic song writing, lyric-to-melody generation and melody-to-lyric generation are two important tasks, both of which usually suffer from the following challenges: 1) the paired lyric and melody data are limited, which affects the generation quality of the two tasks, considering a lot of paired training data are needed due to the weak correlation between lyric and melody; 2) Strict alignments are required between lyric and melody, which relies on specific alignment modeling. In this paper, we propose SongMASS to address the above challenges, which leverages masked sequence to sequence (MASS) pre-training and attention based alignment modeling for lyric-to-melody and melody-to-lyric generation. Specifically, 1) we extend the original sentence-level MASS pre-training to song level to better capture long contextual information in music, and use a separate encoder and decoder for each modality (lyric or melody); 2) we leverage sentence-level attention mask and token-level attention constraint during training to enhance the alignment between lyric and melody. During inference, we use a dynamic programming strategy to obtain the alignment between each word/syllable in lyric and note in melody. We pre-train SongMASS on unpaired lyric and melody datasets, and both objective and subjective evaluations demonstrate that SongMASS generates lyric and melody with significantly better quality than the baseline method without pre-training or alignment constraint.
• Abstract（参考訳）: 自動作曲は、機械による歌(歌詞やメロディ)の作曲を目的としており、これはアカデミックと産業の両方で興味深い話題である。 自動作曲では,歌詞からメロディへの生成とメロディ・メロディ・メロディ・メロディ・メロディ生成が2つの重要な課題である。1) 歌詞とメロディの相関が弱いため,ペアのトレーニングデータが多数必要であること,2) 特定のアライメントモデルに依存する歌詞とメロディ間の厳密なアライメントが要求される。 本稿では,これらの課題を解決するためにsongmassを提案する。songmassはマス・シーケンス・ト・シーケンス(mass)の事前学習と注意に基づくアライメント・モデリングを用いて,歌詞からメロディ、メロディから歌詞への生成を行う。 具体的には,原文レベルのMASS事前学習を歌レベルに拡張し,音楽の長い文脈情報をよりよく把握し,各モダリティ(歌詞やメロディ)に別個のエンコーダとデコーダを用い,トレーニング中に文レベルの注意マスクとトークンレベルの注意制約を活用し,歌詞とメロディの整合性を高める。 推論中は動的プログラミング戦略を用いて,歌詞中の各単語/音節とメロディ中の音節のアライメントを求める。 その結果,SongMASSがベースライン法に比べて,事前学習やアライメントの制約を伴わずに,主観的および主観的評価を行った結果,SongMASSは歌詞とメロディを生成できることがわかった。

関連論文リスト

• REFFLY: Melody-Constrained Lyrics Editing Model [50.03960548399128]
  任意の形態のプレーンテキストドラフトを高品質で本格的な歌詞に編集するための,最初の改訂フレームワークであるREFFLYを紹介する。 提案手法は,生成した歌詞が原文の意味を保ち,旋律と整合し,所望の曲構造に固執することを保証する。
  論文  参考訳（メタデータ） (2024-08-30T23:22:34Z)
• Unsupervised Melody-to-Lyric Generation [91.29447272400826]
  本稿では,メロディ・歌詞データを学習することなく高品質な歌詞を生成する手法を提案する。 我々は、メロディと歌詞のセグメンテーションとリズムアライメントを利用して、与えられたメロディをデコード制約にコンパイルする。 我々のモデルは、強いベースラインよりもオントピー的、歌いやすく、知性があり、一貫性のある高品質な歌詞を生成することができる。
  論文  参考訳（メタデータ） (2023-05-30T17:20:25Z)
• Unsupervised Melody-Guided Lyrics Generation [84.22469652275714]
  メロディと歌詞の一致したデータを学習することなく、楽しく聴ける歌詞を生成することを提案する。 メロディと歌詞間の重要なアライメントを活用し、与えられたメロディを制約にコンパイルし、生成プロセスを導く。
  論文  参考訳（メタデータ） (2023-05-12T20:57:20Z)
• Deep Attention-Based Alignment Network for Melody Generation from Incomplete Lyrics [12.05359079565586]
  ディープ・ニューラル・歌詞・メロディネットをエンコーダ・デコーダ方式で訓練し、不完全な歌詞が与えられたときの歌詞・メロディのペアを予測する。 注意機構を利用して、歌詞からメロディ生成中に予測された歌詞とメロディを一致させる。
  論文  参考訳（メタデータ） (2023-01-23T03:41:53Z)
• Re-creation of Creations: A New Paradigm for Lyric-to-Melody Generation [158.54649047794794]
  Re-creation of Creations (ROC)は、歌詞からメロディ生成のための新しいパラダイムである。 ROCは、Lyric-to-Meody生成において、優れたLyric-Meody特徴アライメントを実現する。
  論文  参考訳（メタデータ） (2022-08-11T08:44:47Z)
• Melody-Conditioned Lyrics Generation with SeqGANs [81.2302502902865]
  本稿では,SeqGAN(Sequence Generative Adversarial Networks)に基づく,エンドツーエンドのメロディ条件付き歌詞生成システムを提案する。 入力条件が評価指標に悪影響を及ぼすことなく,ネットワークがより有意義な結果が得られることを示す。
  論文  参考訳（メタデータ） (2020-10-28T02:35:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。