論文の概要: MR4MR: Mixed Reality for Melody Reincarnation
- arxiv url: http://arxiv.org/abs/2209.07023v1
- Date: Thu, 15 Sep 2022 03:23:29 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-16 13:14:51.522621
- Title: MR4MR: Mixed Reality for Melody Reincarnation
- Title(参考訳): MR4MR:メロディリカーネーションのための混合現実感
- Authors: Atsuya Kobayashi, Ryogo Ishino, Ryuku Nobusue, Takumi Inoue, Keisuke
Okazaki, Shoma Sawa and Nao Tokui
- Abstract要約: MR4MRは、周囲の空間との相互作用から発生するメロディを体験できる音のインストレーション作業である。
MRヘッドマウントディスプレイであるHoloLensを使えば、ユーザーは周囲の実際の物体に対して音を発する仮想オブジェクトを打つことができる。
そして、オブジェクトが生成した音に従ってメロディを連続的に生成し、音楽生成機械学習モデルを用いて、ランダムに生成し、徐々に変化するメロディを再現することにより、ユーザは周囲のメロディを「リカルネーティング」と感じることができる。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: There is a long history of an effort made to explore musical elements with
the entities and spaces around us, such as musique concr\`ete and ambient
music. In the context of computer music and digital art, interactive
experiences that concentrate on the surrounding objects and physical spaces
have also been designed. In recent years, with the development and
popularization of devices, an increasing number of works have been designed in
Extended Reality to create such musical experiences. In this paper, we describe
MR4MR, a sound installation work that allows users to experience melodies
produced from interactions with their surrounding space in the context of Mixed
Reality (MR). Using HoloLens, an MR head-mounted display, users can bump
virtual objects that emit sound against real objects in their surroundings.
Then, by continuously creating a melody following the sound made by the object
and re-generating randomly and gradually changing melody using music generation
machine learning models, users can feel their ambient melody "reincarnating".
- Abstract(参考訳): 音楽の要素を我々を取り巻く実体や空間、例えば音楽コンクレートや周囲の音楽で探求する努力の長い歴史がある。
コンピュータ音楽やデジタルアートの文脈では、周囲の物体や物理的な空間に集中するインタラクティブな体験もデザインされている。
近年、デバイスの開発や普及に伴い、このような音楽体験を生み出すために拡張現実において多くの作品がデザインされている。
本稿ではMR4MRについて述べる。MR(Mixed Reality)のコンテキストにおいて,周囲空間との相互作用から発生するメロディをユーザが体験することを可能にする。
MRヘッドマウントディスプレイであるHoloLensを使えば、ユーザーは周囲の実際の物体に対して音を発する仮想オブジェクトを打つことができる。
そして、オブジェクトが発する音に追従するメロディを連続的に作成し、音楽生成機械学習モデルを用いてランダムに徐々にメロディを再生することで、周囲のメロディを「取り入れる」ことができる。
関連論文リスト
- Exploring Musical Roots: Applying Audio Embeddings to Empower Influence
Attribution for a Generative Music Model [6.476298483207895]
そこで我々は,学習データの属性を理解するのに有用な方法で,類似した楽曲を識別する手法を開発した。
VampNetのトレーニングに使用した500万本のオーディオクリップにおいて,CLMRとCLAPの埋め込みを類似度測定と比較した。
この作業は、自動的なインフルエンス属性を生成モデルに組み込むことで、モデル作成者とユーザが無知な予算から情報生成に移行することを約束する。
論文 参考訳(メタデータ) (2024-01-25T22:20:42Z) - Brain2Music: Reconstructing Music from Human Brain Activity [1.4777718769290527]
機能的磁気共鳴画像(fMRI)を用いた脳活動からの音楽再構成手法を提案する。
本手法では,fMRIデータからの埋め込みを条件とした音楽検索やMusicLM音楽生成モデルを用いる。
生成された音楽は、ジャンル、楽器、ムードといった意味的特性に関して、人間の被験者が経験した音楽刺激に類似している。
論文 参考訳(メタデータ) (2023-07-20T17:55:17Z) - MARBLE: Music Audio Representation Benchmark for Universal Evaluation [79.25065218663458]
我々は,UniversaL Evaluation(MARBLE)のための音楽音響表現ベンチマークを紹介する。
音響、パフォーマンス、スコア、ハイレベルな記述を含む4つの階層レベルを持つ包括的分類を定義することで、様々な音楽情報検索(MIR)タスクのベンチマークを提供することを目的としている。
次に、8つの公開データセット上の14のタスクに基づいて統一されたプロトコルを構築し、ベースラインとして音楽録音で開発されたすべてのオープンソース事前学習モデルの表現を公平かつ標準的に評価する。
論文 参考訳(メタデータ) (2023-06-18T12:56:46Z) - LyricJam Sonic: A Generative System for Real-Time Composition and
Musical Improvisation [13.269034230828032]
LyricJam Sonicは、ミュージシャンが以前の録音を再発見し、他の録音とテクスチャ化し、オリジナル音楽の作曲をリアルタイムで作成するための新しいツールである。
バイモーダルAI駆動のアプローチでは、生成された歌詞行を使用して、アーティストの過去のスタジオ録音から一致するオーディオクリップを見つける。
アーティストたちは、過去の音声セグメントを意図的に探すという分析的・批判的な状態に陥るのではなく、音楽制作に創造的な流れを保とうとしている。
論文 参考訳(メタデータ) (2022-10-27T17:27:58Z) - MeloForm: Generating Melody with Musical Form based on Expert Systems
and Neural Networks [146.59245563763065]
MeloFormは、エキスパートシステムとニューラルネットワークを使用して、音楽形式でメロディを生成するシステムである。
詩やコーラス形式、ロンド形式、変奏形式、ソナタ形式など、様々な形式をサポートすることができる。
論文 参考訳(メタデータ) (2022-08-30T15:44:15Z) - Quantized GAN for Complex Music Generation from Dance Videos [48.196705493763986]
D2M-GAN(Dance2Music-GAN, D2M-GAN, D2M-GAN)は、ダンスビデオに条件付けされた楽曲のサンプルを生成する新しいマルチモーダルフレームワークである。
提案フレームワークは,ダンスビデオフレームと人体の動きを入力とし,対応する入力に付随する音楽サンプルを生成することを学習する。
論文 参考訳(メタデータ) (2022-04-01T17:53:39Z) - Contrastive Learning with Positive-Negative Frame Mask for Music
Representation [91.44187939465948]
本稿では,PEMRと略記したコントラッシブラーニングフレームワークに基づく,音楽表現のための正負負のフレームマスクを提案する。
我々は,同じ音楽からサンプリングした自己増強陽性/陰性の両方に対応するために,新しいコントラスト学習目標を考案した。
論文 参考訳(メタデータ) (2022-03-17T07:11:42Z) - Flat latent manifolds for music improvisation between human and machine [9.571383193449648]
相互即興化が新たな体験につながるような環境では,音楽生成アルゴリズムを人間の音楽家に対抗するものとみなす。
学習モデルでは、潜在空間の定量化により新しい音楽系列を生成する。
そこで我々は,音楽実験を通じて提案手法の実証的証拠を提供し,プロのドラマーと対話的なジャムセッションのためのモデルを展開した。
論文 参考訳(メタデータ) (2022-02-23T09:00:17Z) - Malakai: Music That Adapts to the Shape of Emotions [0.0]
Malakaiは、ユーザがこのようなダイナミックな曲を作り、聴き、リミックスし、共有するのを助けるツールだ。
Malakaiを使えば、リスナーが対話できるダイナミックな曲を作成できる。
論文 参考訳(メタデータ) (2021-12-03T18:34:54Z) - iGibson, a Simulation Environment for Interactive Tasks in Large
Realistic Scenes [54.04456391489063]
iGibsonは、大規模な現実的なシーンにおける対話的なタスクのためのロボットソリューションを開発するための、新しいシミュレーション環境である。
私たちの環境には、厳密で明瞭な物体が密集した15のインタラクティブなホームサイズシーンが含まれています。
iGibsonの機能はナビゲーションエージェントの一般化を可能にし、人間-iGibsonインターフェースと統合されたモーションプランナーは、単純な人間の実演行動の効率的な模倣学習を促進する。
論文 参考訳(メタデータ) (2020-12-05T02:14:17Z) - Multi-Modal Music Information Retrieval: Augmenting Audio-Analysis with
Visual Computing for Improved Music Video Analysis [91.3755431537592]
この論文は、音声分析とコンピュータビジョンを組み合わせて、マルチモーダルの観点から音楽情報検索(MIR)タスクにアプローチする。
本研究の主な仮説は、ジャンルやテーマなど特定の表現的カテゴリーを視覚的内容のみに基づいて認識できるという観察に基づいている。
実験は、3つのMIRタスクに対して行われ、アーティスト識別、音楽ジェネア分類、クロスジェネア分類を行う。
論文 参考訳(メタデータ) (2020-02-01T17:57:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。