Fugu-MT 論文翻訳(概要): Generation of lyrics lines conditioned on music audio clips

論文の概要: Generation of lyrics lines conditioned on music audio clips

arxiv url: http://arxiv.org/abs/2009.14375v1
Date: Wed, 30 Sep 2020 01:22:58 GMT
ステータス: 処理完了
システム内更新日: 2022-10-12 23:27:17.535354
Title: Generation of lyrics lines conditioned on music audio clips
Title（参考訳）: 音楽音声クリップを条件とした歌詞線の生成
Authors: Olga Vechtomova, Gaurav Sahu, Dhruv Kumar
Abstract要約: バイモーダルニューラルネットワークモデルは、任意の短い音声クリップに条件付き線を生成することを学習する。このシステムは、ソングライターのためのクリエイティビティツールとして機能することを意図している。
参考スコア（独自算出の注目度）: 13.23722670386104
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: We present a system for generating novel lyrics lines conditioned on music audio. A bimodal neural network model learns to generate lines conditioned on any given short audio clip. The model consists of a spectrogram variational autoencoder (VAE) and a text VAE. Both automatic and human evaluations demonstrate effectiveness of our model in generating lines that have an emotional impact matching a given audio clip. The system is intended to serve as a creativity tool for songwriters.
Abstract（参考訳）: 本稿では,音楽音声に基づく新しい歌詞線を生成するシステムを提案する。バイモーダルニューラルネットワークモデルは、任意の短い音声クリップに条件付き線を生成することを学習する。モデルは、スペクトル変動オートエンコーダ(VAE)とテキストVAEで構成される。自動評価と人的評価の両方が、与えられた音声クリップに一致する感情的な影響を持つ線を生成する上で、我々のモデルの有効性を示す。このシステムはソングライターのためのクリエイティビティツールとして機能することを目的としている。

関連論文リスト

Unsupervised Melody-to-Lyric Generation [91.29447272400826]
本稿では,メロディ・歌詞データを学習することなく高品質な歌詞を生成する手法を提案する。我々は、メロディと歌詞のセグメンテーションとリズムアライメントを利用して、与えられたメロディをデコード制約にコンパイルする。我々のモデルは、強いベースラインよりもオントピー的、歌いやすく、知性があり、一貫性のある高品質な歌詞を生成することができる。
論文参考訳（メタデータ） (2023-05-30T17:20:25Z)
Unsupervised Melody-Guided Lyrics Generation [84.22469652275714]
メロディと歌詞の一致したデータを学習することなく、楽しく聴ける歌詞を生成することを提案する。メロディと歌詞間の重要なアライメントを活用し、与えられたメロディを制約にコンパイルし、生成プロセスを導く。
論文参考訳（メタデータ） (2023-05-12T20:57:20Z)
Noise2Music: Text-conditioned Music Generation with Diffusion Models [73.74580231353684]
本研究では,テキストプロンプトから高品質な30秒音楽クリップを生成するために,一連の拡散モデルを訓練するNoss2Musicを紹介する。生成した音声は、ジャンル、テンポ、楽器、ムード、時代など、テキストプロンプトの重要な要素を忠実に反映できるだけでなく、テキストプロンプトを忠実に反映できる。トレーニングセットのオーディオのためにペア化されたテキストを生成し、拡散モデルによって取り込まれたテキストプロンプトの埋め込みを抽出するために使用される。
論文参考訳（メタデータ） (2023-02-08T07:27:27Z)
Youling: an AI-Assisted Lyrics Creation System [72.00418962906083]
本稿では,AIによる歌詞作成システムである textitYouling について紹介する。歌詞生成プロセスでは、textitYoulingは従来の1パスのフルテキスト生成モードとインタラクティブな生成モードをサポートする。システムは、ユーザーが望まない文や歌詞の言葉を繰り返し修正できるリビジョンモジュールも提供する。
論文参考訳（メタデータ） (2022-01-18T03:57:04Z)
A Melody-Unsupervision Model for Singing Voice Synthesis [9.137554315375919]
トレーニング時間内に時間的アライメントを伴わない音声・歌詞ペアのみを必要とするメロディ・アンスーパービジョンモデルを提案する。提案手法は音声やテキストのラベルで訓練できるが,推測時間で歌唱音声を生成できることを示す。
論文参考訳（メタデータ） (2021-10-13T07:42:35Z)
LyricJam: A system for generating lyrics for live instrumental music [11.521519161773288]
本稿では、ジャムセッションからライブオーディオストリームを受信し、演奏中のライブ音楽と一致した歌詞行を生成するリアルタイムシステムについて述べる。学習した音声およびテキスト表現の潜在空間を整列させる2つの新しい手法が提案されている。
論文参考訳（メタデータ） (2021-06-03T16:06:46Z)
Automatic Neural Lyrics and Melody Composition [6.574381538711984]
提案するシステムであるAutomatic Neural Lyrics and Melody Composition (AutoNLMC)は,人工ニューラルネットワークを用いて曲の書き起こし全体を自動化しようとする試みである。音節, 単語, 文レベルで解析した大集合の歌詞-メロディペアに基づいて学習した歌詞からベクトル(歌詞2vec)モデルは, 大規模埋め込みモデルである。また、プロの歌詞作家の歌詞を使って、一致する旋律を生成することもできる。
論文参考訳（メタデータ） (2020-11-12T13:44:01Z)
Melody-Conditioned Lyrics Generation with SeqGANs [81.2302502902865]
本稿では,SeqGAN(Sequence Generative Adversarial Networks)に基づく,エンドツーエンドのメロディ条件付き歌詞生成システムを提案する。入力条件が評価指標に悪影響を及ぼすことなく,ネットワークがより有意義な結果が得られることを示す。
論文参考訳（メタデータ） (2020-10-28T02:35:40Z)
Unsupervised Cross-Domain Singing Voice Conversion [105.1021715879586]
任意の同一性から音声変換を行うタスクに対して,wav-to-wav生成モデルを提案する。提案手法は,自動音声認識のタスクのために訓練された音響モデルとメロディ抽出機能の両方を用いて波形ベースジェネレータを駆動する。
論文参考訳（メタデータ） (2020-08-06T18:29:11Z)
Automatic Lyrics Transcription using Dilated Convolutional Neural Networks with Self-Attention [11.232541198648159]
モノフォニックカラオケ記録における自己注意による畳み込み時間遅延ニューラルネットワークの訓練を行った。本システムでは,歌詞の自動書き起こしにおける最先端の大幅な改善を実現している。
論文参考訳（メタデータ） (2020-07-13T16:36:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。