論文の概要: MR4MR: Mixed Reality for Melody Reincarnation

• arxiv url: http://arxiv.org/abs/2209.07023v1
• Date: Thu, 15 Sep 2022 03:23:29 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-16 13:14:51.522621
• Title: MR4MR: Mixed Reality for Melody Reincarnation
• Title（参考訳）: MR4MR:メロディリカーネーションのための混合現実感
• Authors: Atsuya Kobayashi, Ryogo Ishino, Ryuku Nobusue, Takumi Inoue, Keisuke Okazaki, Shoma Sawa and Nao Tokui
• Abstract要約: MR4MRは、周囲の空間との相互作用から発生するメロディを体験できる音のインストレーション作業である。 MRヘッドマウントディスプレイであるHoloLensを使えば、ユーザーは周囲の実際の物体に対して音を発する仮想オブジェクトを打つことができる。 そして、オブジェクトが生成した音に従ってメロディを連続的に生成し、音楽生成機械学習モデルを用いて、ランダムに生成し、徐々に変化するメロディを再現することにより、ユーザは周囲のメロディを「リカルネーティング」と感じることができる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: There is a long history of an effort made to explore musical elements with the entities and spaces around us, such as musique concr\`ete and ambient music. In the context of computer music and digital art, interactive experiences that concentrate on the surrounding objects and physical spaces have also been designed. In recent years, with the development and popularization of devices, an increasing number of works have been designed in Extended Reality to create such musical experiences. In this paper, we describe MR4MR, a sound installation work that allows users to experience melodies produced from interactions with their surrounding space in the context of Mixed Reality (MR). Using HoloLens, an MR head-mounted display, users can bump virtual objects that emit sound against real objects in their surroundings. Then, by continuously creating a melody following the sound made by the object and re-generating randomly and gradually changing melody using music generation machine learning models, users can feel their ambient melody "reincarnating".
• Abstract（参考訳）: 音楽の要素を我々を取り巻く実体や空間、例えば音楽コンクレートや周囲の音楽で探求する努力の長い歴史がある。 コンピュータ音楽やデジタルアートの文脈では、周囲の物体や物理的な空間に集中するインタラクティブな体験もデザインされている。 近年、デバイスの開発や普及に伴い、このような音楽体験を生み出すために拡張現実において多くの作品がデザインされている。 本稿ではMR4MRについて述べる。MR(Mixed Reality)のコンテキストにおいて,周囲空間との相互作用から発生するメロディをユーザが体験することを可能にする。 MRヘッドマウントディスプレイであるHoloLensを使えば、ユーザーは周囲の実際の物体に対して音を発する仮想オブジェクトを打つことができる。 そして、オブジェクトが発する音に追従するメロディを連続的に作成し、音楽生成機械学習モデルを用いてランダムに徐々にメロディを再生することで、周囲のメロディを「取り入れる」ことができる。

関連論文リスト

• MuVi: Video-to-Music Generation with Semantic Alignment and Rhythmic Synchronization [52.498942604622165]
  本稿では,ビデオコンテンツに合わせた音楽を生成するためのフレームワークであるMuViについて述べる。 MuViは、特別に設計された視覚適応器を通じて映像コンテンツを分析し、文脈的および時間的に関係のある特徴を抽出する。 音声品質と時間同期の両方において, MuVi が優れた性能を示すことを示す。
  論文  参考訳（メタデータ） (2024-10-16T18:44:56Z)
• Music-triggered fashion design: from songs to the metaverse [32.73124984242397]
  我々は、仮想現実がミュージシャンが観客と橋渡しする機会を広げるのにどのように役立つかを分析する。 我々はメタバースの音楽体験を再定義する第一歩を提示する。
  論文  参考訳（メタデータ） (2024-10-07T11:09:45Z)
• MeLFusion: Synthesizing Music from Image and Language Cues using Diffusion Models [57.47799823804519]
  私たちは、ミュージシャンが映画の脚本だけでなく、視覚化を通して音楽を作る方法にインスピレーションを受けています。 本稿では,テキスト記述と対応する画像からの手がかりを効果的に利用して音楽を合成するモデルであるMeLFusionを提案する。 音楽合成パイプラインに視覚情報を加えることで、生成した音楽の質が大幅に向上することを示す。
  論文  参考訳（メタデータ） (2024-06-07T06:38:59Z)
• ComposerX: Multi-Agent Symbolic Music Composition with LLMs [51.68908082829048]
  音楽の構成は、長い依存と調和の制約で情報を理解し、生成する能力を必要とする複雑なタスクである。 現在のLLMは、このタスクで簡単に失敗し、In-Context-LearningやChain-of-Thoughtsといったモダンな技術が組み込まれても、不適切な曲を生成する。 エージェントベースのシンボリック音楽生成フレームワークであるComposerXを提案する。
  論文  参考訳（メタデータ） (2024-04-28T06:17:42Z)
• MuPT: A Generative Symbolic Music Pretrained Transformer [56.09299510129221]
  音楽の事前学習におけるLarge Language Models (LLM) の適用について検討する。 生成過程の異なるトラックからの不整合対策に関連する課題に対処するために,SMT-ABC Notation(Synchronized Multi-Track ABC Notation)を提案する。 私たちのコントリビューションには、最大8192個のトークンを処理可能な一連のモデルが含まれており、トレーニングセットの象徴的な音楽データの90%をカバーしています。
  論文  参考訳（メタデータ） (2024-04-09T15:35:52Z)
• Exploring Musical Roots: Applying Audio Embeddings to Empower Influence Attribution for a Generative Music Model [6.476298483207895]
  そこで我々は,学習データの属性を理解するのに有用な方法で,類似した楽曲を識別する手法を開発した。 VampNetのトレーニングに使用した500万本のオーディオクリップにおいて,CLMRとCLAPの埋め込みを類似度測定と比較した。 この作業は、自動的なインフルエンス属性を生成モデルに組み込むことで、モデル作成者とユーザが無知な予算から情報生成に移行することを約束する。
  論文  参考訳（メタデータ） (2024-01-25T22:20:42Z)
• Brain2Music: Reconstructing Music from Human Brain Activity [1.4777718769290527]
  機能的磁気共鳴画像(fMRI)を用いた脳活動からの音楽再構成手法を提案する。 本手法では,fMRIデータからの埋め込みを条件とした音楽検索やMusicLM音楽生成モデルを用いる。 生成された音楽は、ジャンル、楽器、ムードといった意味的特性に関して、人間の被験者が経験した音楽刺激に類似している。
  論文  参考訳（メタデータ） (2023-07-20T17:55:17Z)
• MARBLE: Music Audio Representation Benchmark for Universal Evaluation [79.25065218663458]
  我々は,UniversaL Evaluation(MARBLE)のための音楽音響表現ベンチマークを紹介する。 音響、パフォーマンス、スコア、ハイレベルな記述を含む4つの階層レベルを持つ包括的分類を定義することで、様々な音楽情報検索(MIR)タスクのベンチマークを提供することを目的としている。 次に、8つの公開データセット上の14のタスクに基づいて統一されたプロトコルを構築し、ベースラインとして音楽録音で開発されたすべてのオープンソース事前学習モデルの表現を公平かつ標準的に評価する。
  論文  参考訳（メタデータ） (2023-06-18T12:56:46Z)
• Flat latent manifolds for music improvisation between human and machine [9.571383193449648]
  相互即興化が新たな体験につながるような環境では,音楽生成アルゴリズムを人間の音楽家に対抗するものとみなす。 学習モデルでは、潜在空間の定量化により新しい音楽系列を生成する。 そこで我々は,音楽実験を通じて提案手法の実証的証拠を提供し,プロのドラマーと対話的なジャムセッションのためのモデルを展開した。
  論文  参考訳（メタデータ） (2022-02-23T09:00:17Z)
• Malakai: Music That Adapts to the Shape of Emotions [0.0]
  Malakaiは、ユーザがこのようなダイナミックな曲を作り、聴き、リミックスし、共有するのを助けるツールだ。 Malakaiを使えば、リスナーが対話できるダイナミックな曲を作成できる。
  論文  参考訳（メタデータ） (2021-12-03T18:34:54Z)
• Multi-Modal Music Information Retrieval: Augmenting Audio-Analysis with Visual Computing for Improved Music Video Analysis [91.3755431537592]
  この論文は、音声分析とコンピュータビジョンを組み合わせて、マルチモーダルの観点から音楽情報検索(MIR)タスクにアプローチする。 本研究の主な仮説は、ジャンルやテーマなど特定の表現的カテゴリーを視覚的内容のみに基づいて認識できるという観察に基づいている。 実験は、3つのMIRタスクに対して行われ、アーティスト識別、音楽ジェネア分類、クロスジェネア分類を行う。
  論文  参考訳（メタデータ） (2020-02-01T17:57:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。