論文の概要: A Human-Computer Duet System for Music Performance

• arxiv url: http://arxiv.org/abs/2009.07816v1
• Date: Wed, 16 Sep 2020 17:19:23 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-18 00:41:16.991373
• Title: A Human-Computer Duet System for Music Performance
• Title（参考訳）: 音楽演奏のためのヒューマンコンピュータデュエットシステム
• Authors: Yuen-Jen Lin, Hsuan-Kai Kao, Yih-Chih Tseng, Ming Tsai, Li Su
• Abstract要約: 我々は、人間のピアニストとコラボレーションして室内楽を自動的に演奏できる仮想ヴァイオリニストを、介入なしに作成する。 このシステムは、リアルタイム音楽追跡、ポーズ推定、体の動き生成など、様々な分野のテクニックを取り入れている。 提案システムは公開コンサートで検証されている。
• 参考スコア（独自算出の注目度）: 7.777761975348974
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Virtual musicians have become a remarkable phenomenon in the contemporary multimedia arts. However, most of the virtual musicians nowadays have not been endowed with abilities to create their own behaviors, or to perform music with human musicians. In this paper, we firstly create a virtual violinist, who can collaborate with a human pianist to perform chamber music automatically without any intervention. The system incorporates the techniques from various fields, including real-time music tracking, pose estimation, and body movement generation. In our system, the virtual musician's behavior is generated based on the given music audio alone, and such a system results in a low-cost, efficient and scalable way to produce human and virtual musicians' co-performance. The proposed system has been validated in public concerts. Objective quality assessment approaches and possible ways to systematically improve the system are also discussed.
• Abstract（参考訳）: バーチャル・ミュージシャンは現代のマルチメディア・アーツで目覚ましい現象となっている。 しかし、近年の仮想音楽家の多くは、自分の行動を創り出す能力や、人間の音楽家と音楽を演奏する能力に恵まれていない。 本稿ではまず,人間のピアニストとコラボレーションして室内楽を自動的に演奏する仮想ヴァイオリニストを作成する。 このシステムは、リアルタイム音楽追跡、ポーズ推定、身体運動生成など、様々な分野のテクニックを取り入れている。 本システムでは,楽曲のみに基づいて仮想音楽家の振舞いが生成され,そのシステムは人や仮想音楽家の協調演奏を低コストで,効率よく,スケーラブルに生成する。 提案システムは公開コンサートで検証されている。 また,客観的品質評価手法とシステム改善の可能性についても論じる。

関連論文リスト

• Music-triggered fashion design: from songs to the metaverse [32.73124984242397]
  我々は、仮想現実がミュージシャンが観客と橋渡しする機会を広げるのにどのように役立つかを分析する。 我々はメタバースの音楽体験を再定義する第一歩を提示する。
  論文  参考訳（メタデータ） (2024-10-07T11:09:45Z)
• A Survey of Foundation Models for Music Understanding [60.83532699497597]
  この研究は、AI技術と音楽理解の交差に関する初期のレビューの1つである。 音楽理解能力に関して,近年の大規模音楽基盤モデルについて検討,分析,検証を行った。
  論文  参考訳（メタデータ） (2024-09-15T03:34:14Z)
• Emotion Manipulation Through Music -- A Deep Learning Interactive Visual Approach [0.0]
  我々は,AIツールを用いて歌の感情的内容を操作する新しい方法を提案する。 私たちのゴールは、元のメロディをできるだけそのままにして、望ましい感情を達成することです。 この研究は、オンデマンドのカスタム音楽生成、既存の作品の自動リミックス、感情の進行に合わせて調整された音楽プレイリストに寄与する可能性がある。
  論文  参考訳（メタデータ） (2024-06-12T20:12:29Z)
• AffectMachine-Classical: A novel system for generating affective classical music [0.0]
  AffectMachine-Classicalは、感情的なクラシック音楽をリアルタイムで生成できる。 聴取者に対してターゲット感情を確実に伝達するシステムの有効性を検証するために,聴取者実験を行った。 今後は、AffectMachine-Classicalをバイオフィードバックシステムに組み込んで、リスナーの感情的幸福のために感情的な音楽の効果を活用する予定だ。
  論文  参考訳（メタデータ） (2023-04-11T01:06:26Z)
• Quantized GAN for Complex Music Generation from Dance Videos [48.196705493763986]
  D2M-GAN(Dance2Music-GAN, D2M-GAN, D2M-GAN)は、ダンスビデオに条件付けされた楽曲のサンプルを生成する新しいマルチモーダルフレームワークである。 提案フレームワークは,ダンスビデオフレームと人体の動きを入力とし,対応する入力に付随する音楽サンプルを生成することを学習する。
  論文  参考訳（メタデータ） (2022-04-01T17:53:39Z)
• Flat latent manifolds for music improvisation between human and machine [9.571383193449648]
  相互即興化が新たな体験につながるような環境では,音楽生成アルゴリズムを人間の音楽家に対抗するものとみなす。 学習モデルでは、潜在空間の定量化により新しい音楽系列を生成する。 そこで我々は,音楽実験を通じて提案手法の実証的証拠を提供し,プロのドラマーと対話的なジャムセッションのためのモデルを展開した。
  論文  参考訳（メタデータ） (2022-02-23T09:00:17Z)
• Music-to-Dance Generation with Optimal Transport [48.92483627635586]
  本稿では,音楽から3Dダンス振付を生成するためのMDOT-Net(Music-to-Dance with Optimal Transport Network)を提案する。 生成したダンス分布とグロモフ=ワッサーシュタイン距離の信頼度を評価するための最適な移動距離を導入し、ダンス分布と入力音楽の対応性を測定する。
  論文  参考訳（メタデータ） (2021-12-03T09:37:26Z)
• Multi-Instrumentalist Net: Unsupervised Generation of Music from Body Movements [20.627164135805852]
  本研究では、楽器を演奏するミュージシャンの入力体の動きを取り入れ、教師なしの環境で音楽を生成する新しいシステムを提案する。 ログ・スペクトログラムから様々な楽器音楽の離散的な潜在表現を学習するパイプライン「Multi-instrumentalistNet」を構築した。 Midiは、パイプラインがビデオ内の楽器によって演奏される音楽の正確なコンテンツを生成するように、潜在空間をさらに調整できることを示しています。
  論文  参考訳（メタデータ） (2020-12-07T06:54:10Z)
• Learning to Generate Diverse Dance Motions with Transformer [67.43270523386185]
  ダンス・モーション・シンセサイザーのための完全なシステムを提案する。 大規模なダンスモーションデータセットはYouTubeビデオから作成される。 新たな2ストリームモーショントランス生成モデルでは、高い柔軟性で動作シーケンスを生成することができる。
  論文  参考訳（メタデータ） (2020-08-18T22:29:40Z)
• Foley Music: Learning to Generate Music from Videos [115.41099127291216]
  Foley Musicは、楽器を演奏する人々に関するサイレントビデオクリップのために、可愛らしい音楽を合成できるシステムだ。 まず、ビデオから音楽生成に成功するための2つの重要な中間表現、すなわち、ビデオからのボディーキーポイントと、オーディオ録音からのMIDIイベントを識別する。 身体の動きに応じてMIDIイベントシーケンスを正確に予測できるグラフ$-$Transformerフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-21T17:59:06Z)
• Music Gesture for Visual Sound Separation [121.36275456396075]
  ミュージック・ジェスチャ(Music Gesture)は、音楽演奏時の演奏者の身体と指の動きを明示的にモデル化するキーポイントに基づく構造化表現である。 まず、コンテキスト対応グラフネットワークを用いて、視覚的コンテキストと身体力学を統合し、その後、身体の動きと対応する音声信号とを関連付けるために、音声-視覚融合モデルを適用する。
  論文  参考訳（メタデータ） (2020-04-20T17:53:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。