論文の概要: LyricJam Sonic: A Generative System for Real-Time Composition and
Musical Improvisation
- arxiv url: http://arxiv.org/abs/2210.15638v1
- Date: Thu, 27 Oct 2022 17:27:58 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-28 12:34:13.561209
- Title: LyricJam Sonic: A Generative System for Real-Time Composition and
Musical Improvisation
- Title（参考訳）: LyricJam Sonic: リアルタイム作曲と音楽改善のための生成システム
- Authors: Olga Vechtomova, Gaurav Sahu
- Abstract要約: LyricJam Sonicは、ミュージシャンが以前の録音を再発見し、他の録音とテクスチャ化し、オリジナル音楽の作曲をリアルタイムで作成するための新しいツールである。
バイモーダルAI駆動のアプローチでは、生成された歌詞行を使用して、アーティストの過去のスタジオ録音から一致するオーディオクリップを見つける。
アーティストたちは、過去の音声セグメントを意図的に探すという分析的・批判的な状態に陥るのではなく、音楽制作に創造的な流れを保とうとしている。
- 参考スコア（独自算出の注目度）: 13.269034230828032
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Electronic music artists and sound designers have unique workflow practices
that necessitate specialized approaches for developing music information
retrieval and creativity support tools. Furthermore, electronic music
instruments, such as modular synthesizers, have near-infinite possibilities for
sound creation and can be combined to create unique and complex audio paths.
The process of discovering interesting sounds is often serendipitous and
impossible to replicate. For this reason, many musicians in electronic genres
record audio output at all times while they work in the studio. Subsequently,
it is difficult for artists to rediscover audio segments that might be suitable
for use in their compositions from thousands of hours of recordings. In this
paper, we describe LyricJam Sonic -- a novel creative tool for musicians to
rediscover their previous recordings, re-contextualize them with other
recordings, and create original live music compositions in real-time. A
bi-modal AI-driven approach uses generated lyric lines to find matching audio
clips from the artist's past studio recordings, and uses them to generate new
lyric lines, which in turn are used to find other clips, thus creating a
continuous and evolving stream of music and lyrics. The intent is to keep the
artists in a state of creative flow conducive to music creation rather than
taking them into an analytical/critical state of deliberately searching for
past audio segments. The system can run in either a fully autonomous mode
without user input, or in a live performance mode, where the artist plays live
music, while the system "listens" and creates a continuous stream of music and
lyrics in response.
- Abstract（参考訳）: 電子音楽アーティストと音響デザイナーは、音楽情報検索と創造性支援ツールを開発するための特別なアプローチを必要とするユニークなワークフローの実践を持っている。
さらに、モジュラーシンセサイザーのような電子楽器は、ほぼ無限の音生成可能性を持ち、ユニークな複雑なオーディオパスを作るために組み合わせることができる。
興味深い音を見つけるプロセスは、しばしばセレンディピタイトであり、複製が不可能である。
そのため、多くの電子ジャンルのミュージシャンがスタジオで働いている間、常にオーディオ出力を記録している。
その後、アーティストが何千時間もの録音から、彼らの作曲に適するであろうオーディオセグメントを再発見することは困難である。
本稿では,LyricJam Sonicについて述べる。LyricJam Sonicはミュージシャンが以前の録音を再発見し,他の録音とテクスチャ化し,オリジナル楽曲をリアルタイムで作成するための,新しい創造ツールである。
バイモーダルAI駆動のアプローチでは、生成されたリリックラインを使用して、アーティストの過去のスタジオ録音から一致するオーディオクリップを探し出し、それらを使用して新しいリリックラインを生成し、それによって他のクリップを探し出し、連続的で進化する音楽と歌詞のストリームを生成する。
その意図は、アーティストが過去のオーディオセグメントを故意に検索する分析的・批判的な状態に陥るのではなく、創造的な流れを音楽創造に導くことにある。
システムは、ユーザー入力なしで完全に自律的なモードか、アーティストがライブ音楽を演奏するライブパフォーマンスモードのいずれかで動作し、システムは「リスン」し、応答して音楽と歌詞の連続的なストリームを生成する。
関連論文リスト
- MusicFlow: Cascaded Flow Matching for Text Guided Music Generation [53.63948108922333]
MusicFlowは、フローマッチングに基づくケースドテキストから音楽への生成モデルである。
学習目的としてマスク予測を活用することで,音楽の充実や継続といった他のタスクにモデルを一般化することができる。
論文 参考訳（メタデータ） (2024-10-27T15:35:41Z) - MuVi: Video-to-Music Generation with Semantic Alignment and Rhythmic Synchronization [52.498942604622165]
本稿では,ビデオコンテンツに合わせた音楽を生成するためのフレームワークであるMuViについて述べる。
MuViは、特別に設計された視覚適応器を通じて映像コンテンツを分析し、文脈的および時間的に関係のある特徴を抽出する。
音声品質と時間同期の両方において, MuVi が優れた性能を示すことを示す。
論文 参考訳（メタデータ） (2024-10-16T18:44:56Z) - SongCreator: Lyrics-based Universal Song Generation [53.248473603201916]
SongCreatorは、声楽と伴奏の両方で曲を生成するという課題に取り組むために設計された曲生成システムである。
モデルには2つの新しいデザインがある: ボーカルの情報と伴奏を収録するための巧妙に設計された二重系列言語モデル (M) と、DSLMのための一連の注意マスク戦略である。
実験では,8つのタスクすべてに対して,最先端ないし競争的なパフォーマンスを実現することにより,SongCreatorの有効性を示す。
論文 参考訳（メタデータ） (2024-09-09T19:37:07Z) - MeLFusion: Synthesizing Music from Image and Language Cues using Diffusion Models [57.47799823804519]
私たちは、ミュージシャンが映画の脚本だけでなく、視覚化を通して音楽を作る方法にインスピレーションを受けています。
本稿では,テキスト記述と対応する画像からの手がかりを効果的に利用して音楽を合成するモデルであるMeLFusionを提案する。
音楽合成パイプラインに視覚情報を加えることで、生成した音楽の質が大幅に向上することを示す。
論文 参考訳（メタデータ） (2024-06-07T06:38:59Z) - Exploring Musical Roots: Applying Audio Embeddings to Empower Influence
Attribution for a Generative Music Model [6.476298483207895]
そこで我々は,学習データの属性を理解するのに有用な方法で,類似した楽曲を識別する手法を開発した。
VampNetのトレーニングに使用した500万本のオーディオクリップにおいて,CLMRとCLAPの埋め込みを類似度測定と比較した。
この作業は、自動的なインフルエンス属性を生成モデルに組み込むことで、モデル作成者とユーザが無知な予算から情報生成に移行することを約束する。
論文 参考訳（メタデータ） (2024-01-25T22:20:42Z) - GETMusic: Generating Any Music Tracks with a Unified Representation and
Diffusion Framework [58.64512825534638]
シンボリック・ミュージック・ジェネレーションは、ユーザーが音楽を作るのに役立つ音符を作成することを目的としている。
私たちは「GETMusic」と呼ばれるフレームワークを紹介します。「GET'」は「GEnerate Music Tracks」の略です。
GETScoreは、音符をトークンとして表現し、2D構造でトークンを整理する。
提案する表現は,非自己回帰生成モデルと組み合わせて,任意のソース・ターゲットトラックの組み合わせでGETMusicに音楽を生成する。
論文 参考訳（メタデータ） (2023-05-18T09:53:23Z) - SingSong: Generating musical accompaniments from singing [35.819589427197464]
入力ボーカルに付随する楽器音楽を生成するシステムであるSingSongについて述べる。
同じ音声入力と比較して、リスナーはSingSongが生成したインストゥルメンタルに対して重要な嗜好を表現した。
論文 参考訳（メタデータ） (2023-01-30T04:53:23Z) - Flat latent manifolds for music improvisation between human and machine [9.571383193449648]
相互即興化が新たな体験につながるような環境では,音楽生成アルゴリズムを人間の音楽家に対抗するものとみなす。
学習モデルでは、潜在空間の定量化により新しい音楽系列を生成する。
そこで我々は,音楽実験を通じて提案手法の実証的証拠を提供し,プロのドラマーと対話的なジャムセッションのためのモデルを展開した。
論文 参考訳（メタデータ） (2022-02-23T09:00:17Z) - LyricJam: A system for generating lyrics for live instrumental music [11.521519161773288]
本稿では、ジャムセッションからライブオーディオストリームを受信し、演奏中のライブ音楽と一致した歌詞行を生成するリアルタイムシステムについて述べる。
学習した音声およびテキスト表現の潜在空間を整列させる2つの新しい手法が提案されている。
論文 参考訳（メタデータ） (2021-06-03T16:06:46Z) - LoopNet: Musical Loop Synthesis Conditioned On Intuitive Musical
Parameters [12.72202888016628]
LoopNetは直感的なパラメータに条件付きループを生成するためのフィードフォワード生成モデルである。
我々は,音楽情報検索(MIR)モデルと公開ループサンプルの大量収集を活用している。
論文 参考訳（メタデータ） (2021-05-21T14:24:34Z) - Foley Music: Learning to Generate Music from Videos [115.41099127291216]
Foley Musicは、楽器を演奏する人々に関するサイレントビデオクリップのために、可愛らしい音楽を合成できるシステムだ。
まず、ビデオから音楽生成に成功するための2つの重要な中間表現、すなわち、ビデオからのボディーキーポイントと、オーディオ録音からのMIDIイベントを識別する。
身体の動きに応じてMIDIイベントシーケンスを正確に予測できるグラフ$-$Transformerフレームワークを提案する。
論文 参考訳（メタデータ） (2020-07-21T17:59:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。