論文の概要: Tr\"aumerAI: Dreaming Music with StyleGAN
- arxiv url: http://arxiv.org/abs/2102.04680v1
- Date: Tue, 9 Feb 2021 07:04:22 GMT
- ステータス: 処理完了
- システム内更新日: 2021-02-10 15:39:52.670116
- Title: Tr\"aumerAI: Dreaming Music with StyleGAN
- Title(参考訳): Tr\"aumerAI:Dreaming Music with StyleGAN
- Authors: Dasaem Jeong and Seungheon Doh and Taegyun Kwon
- Abstract要約: 本稿では, ディープ・ミュージックの埋め込みをスタイルGANの埋め込みに直接マッピングするニューラル・ミュージック・ビジュアライザーを提案する。
アノテータは10秒の100曲のクリップを聴き、StyleGANが生成した例の中で音楽に合ったイメージを選択した。
生成した例は、音声と映像のマッピングが、あるレベルのセグメント内類似性とセグメント間異同を生じさせることを示している。
- 参考スコア(独自算出の注目度): 2.578242050187029
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The goal of this paper to generate a visually appealing video that responds
to music with a neural network so that each frame of the video reflects the
musical characteristics of the corresponding audio clip. To achieve the goal,
we propose a neural music visualizer directly mapping deep music embeddings to
style embeddings of StyleGAN, named Tr\"aumerAI, which consists of a music
auto-tagging model using short-chunk CNN and StyleGAN2 pre-trained on WikiArt
dataset. Rather than establishing an objective metric between musical and
visual semantics, we manually labeled the pairs in a subjective manner. An
annotator listened to 100 music clips of 10 seconds long and selected an image
that suits the music among the 200 StyleGAN-generated examples. Based on the
collected data, we trained a simple transfer function that converts an audio
embedding to a style embedding. The generated examples show that the mapping
between audio and video makes a certain level of intra-segment similarity and
inter-segment dissimilarity.
- Abstract(参考訳): 本論文の目的は,映像の各フレームが対応するオーディオクリップの音楽的特徴を反映するように,ニューラルネットワークで音楽に応答する視覚的に魅力的な映像を生成することである。
この目的を達成するために,WikiArtデータセットで事前学習した短絡CNNとStyleGAN2を用いた音楽自動タグ付けモデルからなるStyleGANのスタイル埋め込みに,ディープミュージックの埋め込みを直接マッピングするニューラルミュージックビジュアライゼーションを提案する。
音楽的意味論と視覚的意味論の間に客観的な指標を確立するのではなく、手作業でペアを主観的な方法でラベル付けした。
アノテータは長さ10秒の100曲のクリップを聴き、200のStyleGAN生成例の中から曲に合ったイメージを選択した。
収集したデータに基づいて,音声埋め込みをスタイル埋め込みに変換するシンプルな転送関数をトレーニングした。
生成した例は、音声と映像のマッピングが、あるレベルのセグメント内類似性とセグメント間異同を生じさせることを示している。
関連論文リスト
- Video2Music: Suitable Music Generation from Videos using an Affective
Multimodal Transformer model [32.801213106782335]
我々は、提供されたビデオにマッチできる生成型音楽AIフレームワーク、Video2Musicを開発した。
そこで本研究では,映像コンテンツにマッチする楽曲を感情的に生成する手法を提案する。
論文 参考訳(メタデータ) (2023-11-02T03:33:00Z) - GETMusic: Generating Any Music Tracks with a Unified Representation and
Diffusion Framework [58.64512825534638]
シンボリック・ミュージック・ジェネレーションは、ユーザーが音楽を作るのに役立つ音符を作成することを目的としている。
私たちは「GETMusic」と呼ばれるフレームワークを紹介します。「GET'」は「GEnerate Music Tracks」の略です。
GETScoreは、音符をトークンとして表現し、2D構造でトークンを整理する。
提案する表現は,非自己回帰生成モデルと組み合わせて,任意のソース・ターゲットトラックの組み合わせでGETMusicに音楽を生成する。
論文 参考訳(メタデータ) (2023-05-18T09:53:23Z) - V2Meow: Meowing to the Visual Beat via Video-to-Music Generation [47.076283429992664]
V2Meow(V2Meow)は、様々な種類のビデオ入力に対して高品質な音楽オーディオを制作できるビデオ・音楽生成システムである。
ビデオフレームから抽出した訓練済みの汎用視覚特徴を条件づけて、高忠実度オーディオ波形を合成する。
論文 参考訳(メタデータ) (2023-05-11T06:26:41Z) - Audio-Visual Contrastive Learning with Temporal Self-Supervision [84.11385346896412]
人間の監督なしにRGBフレームと付随するオーディオの両方の表現を学習するビデオのための自己教師付き学習手法を提案する。
ビデオに固有の時間的・聴覚的次元を活用するために,本手法は時間的自己監督を音声視覚設定に拡張する。
論文 参考訳(メタデータ) (2023-02-15T15:00:55Z) - MusCaps: Generating Captions for Music Audio [14.335950077921435]
時間的注目のエンコーダデコーダで構成された最初の音楽オーディオキャプションモデルであるMusCapsを紹介します。
本手法は畳み込み型ニューラルネットワークアーキテクチャと繰り返し型ニューラルネットワークアーキテクチャを組み合わせて,音声テキスト入力を共同処理する。
我々のモデルは、分類に基づく音楽記述から脱却し、聴覚と言語の両方の理解を必要とするタスクを組み合わせている。
論文 参考訳(メタデータ) (2021-04-24T16:34:47Z) - Lets Play Music: Audio-driven Performance Video Generation [58.77609661515749]
オーディオ駆動型パーパフォーマンスビデオ生成(APVG)という新しいタスクを提案する。
APVGは、特定の音楽オーディオクリップでガイドされた特定の楽器を演奏する人のビデオを合成することを目的としている。
論文 参考訳(メタデータ) (2020-11-05T03:13:46Z) - Music Gesture for Visual Sound Separation [121.36275456396075]
ミュージック・ジェスチャ(Music Gesture)は、音楽演奏時の演奏者の身体と指の動きを明示的にモデル化するキーポイントに基づく構造化表現である。
まず、コンテキスト対応グラフネットワークを用いて、視覚的コンテキストと身体力学を統合し、その後、身体の動きと対応する音声信号とを関連付けるために、音声-視覚融合モデルを適用する。
論文 参考訳(メタデータ) (2020-04-20T17:53:46Z) - Multi-Modal Music Information Retrieval: Augmenting Audio-Analysis with
Visual Computing for Improved Music Video Analysis [91.3755431537592]
この論文は、音声分析とコンピュータビジョンを組み合わせて、マルチモーダルの観点から音楽情報検索(MIR)タスクにアプローチする。
本研究の主な仮説は、ジャンルやテーマなど特定の表現的カテゴリーを視覚的内容のみに基づいて認識できるという観察に基づいている。
実験は、3つのMIRタスクに対して行われ、アーティスト識別、音楽ジェネア分類、クロスジェネア分類を行う。
論文 参考訳(メタデータ) (2020-02-01T17:57:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。