論文の概要: Vis2Mus: Exploring Multimodal Representation Mapping for Controllable Music Generation

• arxiv url: http://arxiv.org/abs/2211.05543v1
• Date: Thu, 10 Nov 2022 13:01:26 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-11 16:30:01.653868
• Title: Vis2Mus: Exploring Multimodal Representation Mapping for Controllable Music Generation
• Title（参考訳）: Vis2Mus:制御可能な音楽生成のためのマルチモーダル表現マッピングの探索
• Authors: Runbang Zhang, Yixiao Zhang, Kai Shao, Ying Shan, Gus Xia
• Abstract要約: 視覚芸術の領域から音楽の領域への表現マッピングについて検討する。 我々は,深層音楽表現学習とユーザ学習を組み合わせた分析・解釈アプローチを採用する。 シンボリック音楽生成のための制御可能なインタフェースとしてVis2Musシステムをリリースする。
• 参考スコア（独自算出の注目度）: 11.140337453072311
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this study, we explore the representation mapping from the domain of visual arts to the domain of music, with which we can use visual arts as an effective handle to control music generation. Unlike most studies in multimodal representation learning that are purely data-driven, we adopt an analysis-by-synthesis approach that combines deep music representation learning with user studies. Such an approach enables us to discover \textit{interpretable} representation mapping without a huge amount of paired data. In particular, we discover that visual-to-music mapping has a nice property similar to equivariant. In other words, we can use various image transformations, say, changing brightness, changing contrast, style transfer, to control the corresponding transformations in the music domain. In addition, we released the Vis2Mus system as a controllable interface for symbolic music generation.
• Abstract（参考訳）: 本研究では,視覚芸術の領域から音楽の領域への表現マッピングについて検討し,視覚芸術を音楽生成を制御する効果的なハンドルとして活用する。 純粋にデータ駆動のマルチモーダル表現学習におけるほとんどの研究とは異なり、深層音楽表現学習とユーザ学習を組み合わせた分析合成アプローチを採用する。 このようなアプローチにより、大量のペアデータなしで \textit{interpretable} 表現マッピングを発見できる。 特に、視覚から音楽へのマッピングは同変とよく似た性質を持つ。 言い換えると、様々な画像変換、例えば明るさの変更、コントラストの変更、スタイル転送を使用して、音楽領域における対応する変換を制御することができる。 さらに,シンボル音楽生成のための制御可能なインタフェースとしてVis2Musシステムをリリースした。

関連論文リスト

• MuVi: Video-to-Music Generation with Semantic Alignment and Rhythmic Synchronization [52.498942604622165]
  本稿では,ビデオコンテンツに合わせた音楽を生成するためのフレームワークであるMuViについて述べる。 MuViは、特別に設計された視覚適応器を通じて映像コンテンツを分析し、文脈的および時間的に関係のある特徴を抽出する。 音声品質と時間同期の両方において, MuVi が優れた性能を示すことを示す。
  論文  参考訳（メタデータ） (2024-10-16T18:44:56Z)
• Bridging Paintings and Music -- Exploring Emotion based Music Generation through Paintings [10.302353984541497]
  本研究では,視覚芸術で表現される感情に共鳴する音楽を生成するモデルを開発した。 コーディネートアートと音楽データの不足に対処するため、私たちはEmotion Painting Musicデータセットをキュレートした。 我々の2段階のフレームワークは、イメージを感情的内容のテキスト記述に変換し、これらの記述を音楽に変換することで、最小限のデータによる効率的な学習を容易にする。
  論文  参考訳（メタデータ） (2024-09-12T08:19:25Z)
• MeLFusion: Synthesizing Music from Image and Language Cues using Diffusion Models [57.47799823804519]
  私たちは、ミュージシャンが映画の脚本だけでなく、視覚化を通して音楽を作る方法にインスピレーションを受けています。 本稿では,テキスト記述と対応する画像からの手がかりを効果的に利用して音楽を合成するモデルであるMeLFusionを提案する。 音楽合成パイプラインに視覚情報を加えることで、生成した音楽の質が大幅に向上することを示す。
  論文  参考訳（メタデータ） (2024-06-07T06:38:59Z)
• Towards Contrastive Learning in Music Video Domain [46.29203572184694]
  我々は、オーディオとビデオのモダリティのためのデュアルエンコーダを作成し、双方向のコントラスト損失を用いてトレーニングする。 実験では、50万曲のミュージックビデオを含む業界データセットと、公開ミリオンソングデータセットを使用します。 この結果から, コントラスト的な微調整のない事前学習ネットワークは, 両タスクで評価した場合に, コントラスト的な学習手法より優れていたことが示唆された。
  論文  参考訳（メタデータ） (2023-09-01T09:08:21Z)
• Quantized GAN for Complex Music Generation from Dance Videos [48.196705493763986]
  D2M-GAN(Dance2Music-GAN, D2M-GAN, D2M-GAN)は、ダンスビデオに条件付けされた楽曲のサンプルを生成する新しいマルチモーダルフレームワークである。 提案フレームワークは,ダンスビデオフレームと人体の動きを入力とし,対応する入力に付随する音楽サンプルを生成することを学習する。
  論文  参考訳（メタデータ） (2022-04-01T17:53:39Z)
• Contrastive Learning with Positive-Negative Frame Mask for Music Representation [91.44187939465948]
  本稿では,PEMRと略記したコントラッシブラーニングフレームワークに基づく,音楽表現のための正負負のフレームマスクを提案する。 我々は,同じ音楽からサンプリングした自己増強陽性/陰性の両方に対応するために,新しいコントラスト学習目標を考案した。
  論文  参考訳（メタデータ） (2022-03-17T07:11:42Z)
• Crossing You in Style: Cross-modal Style Transfer from Music to Visual Arts [11.96629917390208]
  音楽と視覚のスタイルの伝達は、創造性の実践において難しいが重要なクロスモーダル学習問題である。 音楽の可視化とスタイル伝達という2つのステップで,音楽と視覚の伝達問題を解く。 WikiArt-IMSLPは、西洋音楽の録音や、何十年にもわたってリストアップされた絵画を含むデータセットである。
  論文  参考訳（メタデータ） (2020-09-17T05:58:13Z)
• Embeddings as representation for symbolic music [0.0]
  音楽の意味を含む方法で音楽のエンコードを可能にする表現技法は、コンピュータ音楽タスクのために訓練されたモデルの結果を改善する。 本稿では,データセットの3つの異なるバリエーションから音符を表現し,モデルが有用な音楽パターンを捉えることができるかどうかを解析するための埋め込み実験を行う。
  論文  参考訳（メタデータ） (2020-05-19T13:04:02Z)
• Music Gesture for Visual Sound Separation [121.36275456396075]
  ミュージック・ジェスチャ(Music Gesture)は、音楽演奏時の演奏者の身体と指の動きを明示的にモデル化するキーポイントに基づく構造化表現である。 まず、コンテキスト対応グラフネットワークを用いて、視覚的コンテキストと身体力学を統合し、その後、身体の動きと対応する音声信号とを関連付けるために、音声-視覚融合モデルを適用する。
  論文  参考訳（メタデータ） (2020-04-20T17:53:46Z)
• Multi-Modal Music Information Retrieval: Augmenting Audio-Analysis with Visual Computing for Improved Music Video Analysis [91.3755431537592]
  この論文は、音声分析とコンピュータビジョンを組み合わせて、マルチモーダルの観点から音楽情報検索(MIR)タスクにアプローチする。 本研究の主な仮説は、ジャンルやテーマなど特定の表現的カテゴリーを視覚的内容のみに基づいて認識できるという観察に基づいている。 実験は、3つのMIRタスクに対して行われ、アーティスト識別、音楽ジェネア分類、クロスジェネア分類を行う。
  論文  参考訳（メタデータ） (2020-02-01T17:57:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。