論文の概要: A Human-Computer Duet System for Music Performance
- arxiv url: http://arxiv.org/abs/2009.07816v1
- Date: Wed, 16 Sep 2020 17:19:23 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-18 00:41:16.991373
- Title: A Human-Computer Duet System for Music Performance
- Title(参考訳): 音楽演奏のためのヒューマンコンピュータデュエットシステム
- Authors: Yuen-Jen Lin, Hsuan-Kai Kao, Yih-Chih Tseng, Ming Tsai, Li Su
- Abstract要約: 我々は、人間のピアニストとコラボレーションして室内楽を自動的に演奏できる仮想ヴァイオリニストを、介入なしに作成する。
このシステムは、リアルタイム音楽追跡、ポーズ推定、体の動き生成など、様々な分野のテクニックを取り入れている。
提案システムは公開コンサートで検証されている。
- 参考スコア(独自算出の注目度): 7.777761975348974
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Virtual musicians have become a remarkable phenomenon in the contemporary
multimedia arts. However, most of the virtual musicians nowadays have not been
endowed with abilities to create their own behaviors, or to perform music with
human musicians. In this paper, we firstly create a virtual violinist, who can
collaborate with a human pianist to perform chamber music automatically without
any intervention. The system incorporates the techniques from various fields,
including real-time music tracking, pose estimation, and body movement
generation. In our system, the virtual musician's behavior is generated based
on the given music audio alone, and such a system results in a low-cost,
efficient and scalable way to produce human and virtual musicians'
co-performance. The proposed system has been validated in public concerts.
Objective quality assessment approaches and possible ways to systematically
improve the system are also discussed.
- Abstract(参考訳): バーチャル・ミュージシャンは現代のマルチメディア・アーツで目覚ましい現象となっている。
しかし、近年の仮想音楽家の多くは、自分の行動を創り出す能力や、人間の音楽家と音楽を演奏する能力に恵まれていない。
本稿ではまず,人間のピアニストとコラボレーションして室内楽を自動的に演奏する仮想ヴァイオリニストを作成する。
このシステムは、リアルタイム音楽追跡、ポーズ推定、身体運動生成など、様々な分野のテクニックを取り入れている。
本システムでは,楽曲のみに基づいて仮想音楽家の振舞いが生成され,そのシステムは人や仮想音楽家の協調演奏を低コストで,効率よく,スケーラブルに生成する。
提案システムは公開コンサートで検証されている。
また,客観的品質評価手法とシステム改善の可能性についても論じる。
関連論文リスト
- MusicRL: Aligning Music Generation to Human Preferences [62.44903326718772]
MusicRLは人間のフィードバックによって微調整された最初の音楽生成システムである。
ユーザに対してMusicLMをデプロイし,30,000対の選好からなる実質的なデータセットを収集する。
人間のフィードバックを大規模に組み込んだ最初のテキスト-音楽モデルであるMusicRL-Uを訓練する。
論文 参考訳(メタデータ) (2024-02-06T18:36:52Z) - AffectMachine-Classical: A novel system for generating affective
classical music [0.0]
AffectMachine-Classicalは、感情的なクラシック音楽をリアルタイムで生成できる。
聴取者に対してターゲット感情を確実に伝達するシステムの有効性を検証するために,聴取者実験を行った。
今後は、AffectMachine-Classicalをバイオフィードバックシステムに組み込んで、リスナーの感情的幸福のために感情的な音楽の効果を活用する予定だ。
論文 参考訳(メタデータ) (2023-04-11T01:06:26Z) - Quantized GAN for Complex Music Generation from Dance Videos [48.196705493763986]
D2M-GAN(Dance2Music-GAN, D2M-GAN, D2M-GAN)は、ダンスビデオに条件付けされた楽曲のサンプルを生成する新しいマルチモーダルフレームワークである。
提案フレームワークは,ダンスビデオフレームと人体の動きを入力とし,対応する入力に付随する音楽サンプルを生成することを学習する。
論文 参考訳(メタデータ) (2022-04-01T17:53:39Z) - Flat latent manifolds for music improvisation between human and machine [9.571383193449648]
相互即興化が新たな体験につながるような環境では,音楽生成アルゴリズムを人間の音楽家に対抗するものとみなす。
学習モデルでは、潜在空間の定量化により新しい音楽系列を生成する。
そこで我々は,音楽実験を通じて提案手法の実証的証拠を提供し,プロのドラマーと対話的なジャムセッションのためのモデルを展開した。
論文 参考訳(メタデータ) (2022-02-23T09:00:17Z) - Music-to-Dance Generation with Optimal Transport [48.92483627635586]
本稿では,音楽から3Dダンス振付を生成するためのMDOT-Net(Music-to-Dance with Optimal Transport Network)を提案する。
生成したダンス分布とグロモフ=ワッサーシュタイン距離の信頼度を評価するための最適な移動距離を導入し、ダンス分布と入力音楽の対応性を測定する。
論文 参考訳(メタデータ) (2021-12-03T09:37:26Z) - Musical Prosody-Driven Emotion Classification: Interpreting Vocalists
Portrayal of Emotions Through Machine Learning [0.0]
音楽の韻律の役割は、いくつかの研究が韻律と感情の強い結びつきを示しているにもかかわらず、まだ解明されていない。
本研究では,従来の機械学習アルゴリズムの入力を音楽韻律の特徴に限定する。
我々は,ボーカリストの個人データ収集手法と,アーティスト自身による個人的根拠的真理ラベル付け手法を利用する。
論文 参考訳(メタデータ) (2021-06-04T15:40:19Z) - Multi-Instrumentalist Net: Unsupervised Generation of Music from Body
Movements [20.627164135805852]
本研究では、楽器を演奏するミュージシャンの入力体の動きを取り入れ、教師なしの環境で音楽を生成する新しいシステムを提案する。
ログ・スペクトログラムから様々な楽器音楽の離散的な潜在表現を学習するパイプライン「Multi-instrumentalistNet」を構築した。
Midiは、パイプラインがビデオ内の楽器によって演奏される音楽の正確なコンテンツを生成するように、潜在空間をさらに調整できることを示しています。
論文 参考訳(メタデータ) (2020-12-07T06:54:10Z) - Learning to Generate Diverse Dance Motions with Transformer [67.43270523386185]
ダンス・モーション・シンセサイザーのための完全なシステムを提案する。
大規模なダンスモーションデータセットはYouTubeビデオから作成される。
新たな2ストリームモーショントランス生成モデルでは、高い柔軟性で動作シーケンスを生成することができる。
論文 参考訳(メタデータ) (2020-08-18T22:29:40Z) - Foley Music: Learning to Generate Music from Videos [115.41099127291216]
Foley Musicは、楽器を演奏する人々に関するサイレントビデオクリップのために、可愛らしい音楽を合成できるシステムだ。
まず、ビデオから音楽生成に成功するための2つの重要な中間表現、すなわち、ビデオからのボディーキーポイントと、オーディオ録音からのMIDIイベントを識別する。
身体の動きに応じてMIDIイベントシーケンスを正確に予測できるグラフ$-$Transformerフレームワークを提案する。
論文 参考訳(メタデータ) (2020-07-21T17:59:06Z) - Music Gesture for Visual Sound Separation [121.36275456396075]
ミュージック・ジェスチャ(Music Gesture)は、音楽演奏時の演奏者の身体と指の動きを明示的にモデル化するキーポイントに基づく構造化表現である。
まず、コンテキスト対応グラフネットワークを用いて、視覚的コンテキストと身体力学を統合し、その後、身体の動きと対応する音声信号とを関連付けるために、音声-視覚融合モデルを適用する。
論文 参考訳(メタデータ) (2020-04-20T17:53:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。