Fugu-MT 論文翻訳(概要): Interpretable Melody Generation from Lyrics with Discrete-Valued Adversarial Training

論文の概要: Interpretable Melody Generation from Lyrics with Discrete-Valued Adversarial Training

arxiv url: http://arxiv.org/abs/2206.15027v1
Date: Thu, 30 Jun 2022 05:45:47 GMT
ステータス: 処理完了
システム内更新日: 2022-07-01 15:24:57.470712
Title: Interpretable Melody Generation from Lyrics with Discrete-Valued Adversarial Training
Title（参考訳）: 離散価値学習による歌詞からの解釈可能なメロディ生成
Authors: Wei Duan, Zhe Zhang, Yi Yu, Keizo Oyama
Abstract要約: Gumbel-Softmaxは、GAN(Generative Adversarial Networks)による音楽属性生成の非微分性問題を解決するために利用される。ユーザーは生成されたAI曲を聴くだけでなく、推奨音楽属性から選択することで新しい曲を再生することができる。
参考スコア（独自算出の注目度）: 12.02541352832997
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Generating melody from lyrics is an interesting yet challenging task in the area of artificial intelligence and music. However, the difficulty of keeping the consistency between input lyrics and generated melody limits the generation quality of previous works. In our proposal, we demonstrate our proposed interpretable lyrics-to-melody generation system which can interact with users to understand the generation process and recreate the desired songs. To improve the reliability of melody generation that matches lyrics, mutual information is exploited to strengthen the consistency between lyrics and generated melodies. Gumbel-Softmax is exploited to solve the non-differentiability problem of generating discrete music attributes by Generative Adversarial Networks (GANs). Moreover, the predicted probabilities output by the generator is utilized to recommend music attributes. Interacting with our lyrics-to-melody generation system, users can listen to the generated AI song as well as recreate a new song by selecting from recommended music attributes.
Abstract（参考訳）: 歌詞からメロディを生成することは、人工知能と音楽の分野で興味深いが難しい課題である。しかし、入力歌詞と生成したメロディの一貫性を維持することが難しいため、前作の質が低下する。本稿では,ユーザと対話して生成プロセスを理解し,所望の曲を再現する,解釈可能な歌詞・メロディ生成システムを提案する。歌詞にマッチするメロディ生成の信頼性を向上させるため、相互情報を利用して歌詞と生成されたメロディの一貫性を強化する。 Gumbel-Softmaxは、GAN(Generative Adversarial Networks)によって離散的な音楽属性を生成する非微分可能性問題を解決するために利用される。さらに、生成器が出力する予測確率を利用して音楽属性を推薦する。歌詞からメロディ生成システムと連動して、ユーザーは生成されたAI曲を聴くだけでなく、推奨音楽属性から選択して新しい曲を再生することができる。

関連論文リスト

SongCreator: Lyrics-based Universal Song Generation [53.248473603201916]
SongCreatorは、声楽と伴奏の両方で曲を生成するという課題に取り組むために設計された曲生成システムである。モデルには2つの新しいデザインがある: ボーカルの情報と伴奏を収録するための巧妙に設計された二重系列言語モデル (M) と、DSLMのための一連の注意マスク戦略である。実験では,8つのタスクすべてに対して,最先端ないし競争的なパフォーマンスを実現することにより,SongCreatorの有効性を示す。
論文参考訳（メタデータ） (2024-09-09T19:37:07Z)
Controllable Lyrics-to-Melody Generation [14.15838552524433]
ユーザは好みの音楽スタイルで歌詞からリアルなメロディを生成できる、制御可能な歌詞・メロディ生成ネットワークであるConL2Mを提案する。本研究は,音楽属性の依存関係を複数のシーケンスをまたいでモデル化するため,マルチブランチスタック型LSTMアーキテクチャ間の情報フローを実現するためにメモリ間融合(Memofu)を提案し,参照スタイル埋め込み(RSE)を提案し,生成したメロディの音楽スタイルを制御し,シーケンスレベルの統計的損失(SeqLoss)をモデルがシーケンスレベルを学習するのに役立つように提案した。
論文参考訳（メタデータ） (2023-06-05T06:14:08Z)
Unsupervised Melody-to-Lyric Generation [91.29447272400826]
本稿では,メロディ・歌詞データを学習することなく高品質な歌詞を生成する手法を提案する。我々は、メロディと歌詞のセグメンテーションとリズムアライメントを利用して、与えられたメロディをデコード制約にコンパイルする。我々のモデルは、強いベースラインよりもオントピー的、歌いやすく、知性があり、一貫性のある高品質な歌詞を生成することができる。
論文参考訳（メタデータ） (2023-05-30T17:20:25Z)
Unsupervised Melody-Guided Lyrics Generation [84.22469652275714]
メロディと歌詞の一致したデータを学習することなく、楽しく聴ける歌詞を生成することを提案する。メロディと歌詞間の重要なアライメントを活用し、与えられたメロディを制約にコンパイルし、生成プロセスを導く。
論文参考訳（メタデータ） (2023-05-12T20:57:20Z)
Re-creation of Creations: A New Paradigm for Lyric-to-Melody Generation [158.54649047794794]
Re-creation of Creations (ROC)は、歌詞からメロディ生成のための新しいパラダイムである。 ROCは、Lyric-to-Meody生成において、優れたLyric-Meody特徴アライメントを実現する。
論文参考訳（メタデータ） (2022-08-11T08:44:47Z)
Youling: an AI-Assisted Lyrics Creation System [72.00418962906083]
本稿では,AIによる歌詞作成システムである textitYouling について紹介する。歌詞生成プロセスでは、textitYoulingは従来の1パスのフルテキスト生成モードとインタラクティブな生成モードをサポートする。システムは、ユーザーが望まない文や歌詞の言葉を繰り返し修正できるリビジョンモジュールも提供する。
論文参考訳（メタデータ） (2022-01-18T03:57:04Z)
Melody-Conditioned Lyrics Generation with SeqGANs [81.2302502902865]
本稿では,SeqGAN(Sequence Generative Adversarial Networks)に基づく,エンドツーエンドのメロディ条件付き歌詞生成システムを提案する。入力条件が評価指標に悪影響を及ぼすことなく,ネットワークがより有意義な結果が得られることを示す。
論文参考訳（メタデータ） (2020-10-28T02:35:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。