論文の概要: LyricJam: A system for generating lyrics for live instrumental music
- arxiv url: http://arxiv.org/abs/2106.01960v1
- Date: Thu, 3 Jun 2021 16:06:46 GMT
- ステータス: 処理完了
- システム内更新日: 2021-06-04 14:01:28.583405
- Title: LyricJam: A system for generating lyrics for live instrumental music
- Title（参考訳）: lyricjam:ライブインストゥルメンタル音楽のための歌詞生成システム
- Authors: Olga Vechtomova, Gaurav Sahu, Dhruv Kumar
- Abstract要約: 本稿では、ジャムセッションからライブオーディオストリームを受信し、演奏中のライブ音楽と一致した歌詞行を生成するリアルタイムシステムについて述べる。
学習した音声およびテキスト表現の潜在空間を整列させる2つの新しい手法が提案されている。
- 参考スコア（独自算出の注目度）: 11.521519161773288
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We describe a real-time system that receives a live audio stream from a jam
session and generates lyric lines that are congruent with the live music being
played. Two novel approaches are proposed to align the learned latent spaces of
audio and text representations that allow the system to generate novel lyric
lines matching live instrumental music. One approach is based on adversarial
alignment of latent representations of audio and lyrics, while the other
approach learns to transfer the topology from the music latent space to the
lyric latent space. A user study with music artists using the system showed
that the system was useful not only in lyric composition, but also encouraged
the artists to improvise and find new musical expressions. Another user study
demonstrated that users preferred the lines generated using the proposed
methods to the lines generated by a baseline model.
- Abstract（参考訳）: 本稿では、ジャムセッションからライブオーディオストリームを受信し、演奏中のライブ音楽と一致した歌詞行を生成するリアルタイムシステムについて述べる。
2つの新しいアプローチが提案され、学習された音声とテキスト表現の潜在空間を整合させ、ライブ楽器音楽にマッチする新しい歌詞を生成する。
一つのアプローチは、オーディオと歌詞の潜在表現の逆アライメントに基づいており、もう一方のアプローチは、トポロジーを音楽の潜在空間から歌詞の潜在空間に移すことを学ぶ。
このシステムを用いた音楽アーティストのユーザスタディでは、このシステムは歌詞合成だけでなく、即興演奏や新しい音楽表現の発見にも有用であることが示された。
別のユーザ調査では,提案手法を用いて生成された行を,ベースラインモデルで生成された行よりも好んだ。
関連論文リスト
- A Real-Time Lyrics Alignment System Using Chroma And Phonetic Features
For Classical Vocal Performance [7.488651253072641]
リアルタイムの歌詞アライメントの目標は、ライブの歌唱音声を入力として、その歌詞内の正確な位置をオンザフライでピンポイントすることである。
このタスクは、ライブコンサートやオペラの自動サブティットなど、現実世界のアプリケーションに役立てることができる。
本稿では,2つのコントリビューションを持つ古典的ボーカル演奏のためのリアルタイム歌詞アライメントシステムを提案する。
論文 参考訳（メタデータ） (2024-01-17T13:25:32Z) - Unsupervised Melody-to-Lyric Generation [91.29447272400826]
本稿では,メロディ・歌詞データを学習することなく高品質な歌詞を生成する手法を提案する。
我々は、メロディと歌詞のセグメンテーションとリズムアライメントを利用して、与えられたメロディをデコード制約にコンパイルする。
我々のモデルは、強いベースラインよりもオントピー的、歌いやすく、知性があり、一貫性のある高品質な歌詞を生成することができる。
論文 参考訳（メタデータ） (2023-05-30T17:20:25Z) - Unsupervised Melody-Guided Lyrics Generation [84.22469652275714]
メロディと歌詞の一致したデータを学習することなく、楽しく聴ける歌詞を生成することを提案する。
メロディと歌詞間の重要なアライメントを活用し、与えられたメロディを制約にコンパイルし、生成プロセスを導く。
論文 参考訳（メタデータ） (2023-05-12T20:57:20Z) - Noise2Music: Text-conditioned Music Generation with Diffusion Models [73.74580231353684]
本研究では,テキストプロンプトから高品質な30秒音楽クリップを生成するために,一連の拡散モデルを訓練するNoss2Musicを紹介する。
生成した音声は、ジャンル、テンポ、楽器、ムード、時代など、テキストプロンプトの重要な要素を忠実に反映できるだけでなく、テキストプロンプトを忠実に反映できる。
トレーニングセットのオーディオのためにペア化されたテキストを生成し、拡散モデルによって取り込まれたテキストプロンプトの埋め込みを抽出するために使用される。
論文 参考訳（メタデータ） (2023-02-08T07:27:27Z) - SongRewriter: A Chinese Song Rewriting System with Controllable Content
and Rhyme Scheme [32.60994266892925]
メロディ構成の知識を必要とせずにユーザを支援する制御可能な中国語歌詞生成・編集システムを提案する。
このシステムはランダム化されたマルチレベルマスキング戦略によって訓練され、完全に新しい歌詞を生成したり、いくつかの断片を編集するための統一モデルを生成する。
論文 参考訳（メタデータ） (2022-11-28T03:52:05Z) - LyricJam Sonic: A Generative System for Real-Time Composition and
Musical Improvisation [13.269034230828032]
LyricJam Sonicは、ミュージシャンが以前の録音を再発見し、他の録音とテクスチャ化し、オリジナル音楽の作曲をリアルタイムで作成するための新しいツールである。
バイモーダルAI駆動のアプローチでは、生成された歌詞行を使用して、アーティストの過去のスタジオ録音から一致するオーディオクリップを見つける。
アーティストたちは、過去の音声セグメントを意図的に探すという分析的・批判的な状態に陥るのではなく、音楽制作に創造的な流れを保とうとしている。
論文 参考訳（メタデータ） (2022-10-27T17:27:58Z) - Genre-conditioned Acoustic Models for Automatic Lyrics Transcription of
Polyphonic Music [73.73045854068384]
本稿では,新ジャンルネットワークを用いたポリフォニック音楽の歌詞の書き起こしを提案する。
提案するネットワークは,事前学習されたモデルパラメータを採用し,階層間のジャンルアダプタを組み込んで,歌詞とジャンルのペアのジャンルの特色を抽出する。
実験の結果,提案するジャンル条件付きネットワークは既存の歌詞の書き起こしシステムよりも優れていた。
論文 参考訳（メタデータ） (2022-04-07T09:15:46Z) - Youling: an AI-Assisted Lyrics Creation System [72.00418962906083]
本稿では,AIによる歌詞作成システムである textitYouling について紹介する。
歌詞生成プロセスでは、textitYoulingは従来の1パスのフルテキスト生成モードとインタラクティブな生成モードをサポートする。
システムは、ユーザーが望まない文や歌詞の言葉を繰り返し修正できるリビジョンモジュールも提供する。
論文 参考訳（メタデータ） (2022-01-18T03:57:04Z) - Melody-Conditioned Lyrics Generation with SeqGANs [81.2302502902865]
本稿では,SeqGAN(Sequence Generative Adversarial Networks)に基づく,エンドツーエンドのメロディ条件付き歌詞生成システムを提案する。
入力条件が評価指標に悪影響を及ぼすことなく,ネットワークがより有意義な結果が得られることを示す。
論文 参考訳（メタデータ） (2020-10-28T02:35:40Z) - Generation of lyrics lines conditioned on music audio clips [13.23722670386104]
バイモーダルニューラルネットワークモデルは、任意の短い音声クリップに条件付き線を生成することを学習する。
このシステムは、ソングライターのためのクリエイティビティツールとして機能することを意図している。
論文 参考訳（メタデータ） (2020-09-30T01:22:58Z) - Shimon the Rapper: A Real-Time System for Human-Robot Interactive Rap
Battles [1.7403133838762446]
本研究では,ヒップホップスタイルの人間とロボットのリアルタイムなリリック即興システムを提案する。
本システムは人間のラッパーから音声入力を受け取り,その意味を解析し,音楽溝上でロボットによってラップバックされた応答を生成する。
論文 参考訳（メタデータ） (2020-09-19T14:04:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。