論文の概要: Magic: Multi Art Genre Intelligent Choreography Dataset and Network for
3D Dance Generation
- arxiv url: http://arxiv.org/abs/2212.03741v2
- Date: Thu, 8 Dec 2022 15:49:30 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-09 14:11:37.914145
- Title: Magic: Multi Art Genre Intelligent Choreography Dataset and Network for
3D Dance Generation
- Title(参考訳): マジック:マルチアートの知能コレオグラフィーデータセットと3Dダンス生成のためのネットワーク
- Authors: Ronghui Li, Junfan Zhao, Yachao Zhang, Mingyang Su, Zeping Ren, Han
Zhang, Xiu Li
- Abstract要約: MagicDanceのデータは、モーションキャプチャの技術者が支援するプロのダンサーから取得される。
計8時間の3Dモーションキャプチャー・ヒューマン・ダンスとペア・ミュージック、そして16種類のダンス・ジャンルがある。
本稿では,拡散に基づく3次元ディバースダンス断片生成ネットワーク(3DGNet)とジェネラル&コヒーレント対応検索モジュール(GCRM)をケースケードする生成合成振付ネットワーク(MagicNet)を提案する。
- 参考スコア(独自算出の注目度): 16.597269448107888
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Achieving multiple genres and long-term choreography sequences from given
music is a challenging task, due to the lack of a multi-genre dataset. To
tackle this problem,we propose a Multi Art Genre Intelligent Choreography
Dataset (MagicDance). The data of MagicDance is captured from professional
dancers assisted by motion capture technicians. It has a total of 8 hours 3D
motioncapture human dances with paired music, and 16 different dance genres. To
the best of our knowledge, MagicDance is the 3D dance dataset with the most
genres. In addition, we find that the existing two types of methods
(generation-based method and synthesis-based method) can only satisfy one of
the diversity and duration, but they can complement to some extent. Based on
this observation, we also propose a generation-synthesis choreography network
(MagicNet), which cascades a Diffusion-based 3D Diverse Dance fragments
Generation Network (3DGNet) and a Genre&Coherent aware Retrieval Module (GCRM).
The former can generate various dance fragments from only one music clip. The
latter is utilized to select the best dance fragment generated by 3DGNet and
switch them into a complete dance according to the genre and coherent matching
score. Quantitative and qualitative experiments demonstrate the quality of
MagicDance, and the state-of-the-art performance of MagicNet.
- Abstract(参考訳): マルチジャンルのデータセットが欠如しているため、与えられた音楽から複数のジャンルと長期の振付シーケンスを取得することは難しい課題である。
この問題に対処するため,マルチアート・インテリジェント・コレオグラフィー・データセット(MagicDance)を提案する。
MagicDanceのデータは、モーションキャプチャの技術者が支援するプロのダンサーから取得される。
計8時間の3Dモーションキャプチャー・ヒューマン・ダンスとペア・ミュージックがあり、16種類のダンスジャンルがある。
われわれの知る限りでは、MagicDanceは最も多くのジャンルの3Dダンスデータセットだ。
また,既存の2種類の手法 (ジェネレーションベース法と合成ベース法) は多様性と持続時間のうち1つしか満たせないが,ある程度補完できることがわかった。
この観察に基づいて,拡散に基づく3次元多様なダンスフラグメント生成ネットワーク(3dgnet)とジャンル・コヒーレント認識検索モジュール(gcrm)をカスケードする生成合成振付ネットワーク(magicnet)を提案する。
前者は1つの音楽クリップから様々なダンスの断片を生成できる。
後者は、3DGNetが生成した最高のダンスフラグメントを選択し、ジャンルとコヒーレントマッチングスコアに応じて、それらを完全なダンスに切り替える。
定量的かつ定性的な実験はMagicDanceの品質とMagicNetの最先端性能を示している。
関連論文リスト
- Dance with You: The Diversity Controllable Dancer Generation via
Diffusion Models [27.82646255903689]
本稿では,パートナーダンサー生成と呼ばれる新しいマルチダンサー合成タスクを提案する。
このタスクの中核は、生成されたパートナーダンサーのコントロール可能な多様性を保証することです。
マルチパーソンデータセットの欠如に対処するために、パートナーダンサー生成のための新しいデータセットであるAIST-Mを導入する。
論文 参考訳(メタデータ) (2023-08-23T15:54:42Z) - DiffDance: Cascaded Human Motion Diffusion Model for Dance Generation [89.50310360658791]
本稿では,高分解能長周期ダンス生成のための新しい動き拡散モデルDiffDanceを提案する。
本モデルは、音楽間拡散モデルとシーケンス超解像拡散モデルとから構成される。
DiffDanceは、入力された音楽と効果的に一致したリアルなダンスシーケンスを生成することができることを実証する。
論文 参考訳(メタデータ) (2023-08-05T16:18:57Z) - Music-Driven Group Choreography [10.501572863039852]
$rm AIOZ-GDANCE$は、音楽駆動のグループダンス生成のための新しい大規模データセットである。
集団舞踊運動の生成に単一舞踊生成法を鼻で適用することで,満足のいく結果が得られないことが示唆された。
本稿では,複数のグループコヒーレントな振付を効率よく作成するために,入力音楽シーケンスとダンサーの3D位置のセットを取り入れた新しい手法を提案する。
論文 参考訳(メタデータ) (2023-03-22T06:26:56Z) - Quantized GAN for Complex Music Generation from Dance Videos [48.196705493763986]
D2M-GAN(Dance2Music-GAN, D2M-GAN, D2M-GAN)は、ダンスビデオに条件付けされた楽曲のサンプルを生成する新しいマルチモーダルフレームワークである。
提案フレームワークは,ダンスビデオフレームと人体の動きを入力とし,対応する入力に付随する音楽サンプルを生成することを学習する。
論文 参考訳(メタデータ) (2022-04-01T17:53:39Z) - Bailando: 3D Dance Generation by Actor-Critic GPT with Choreographic
Memory [92.81383016482813]
そこで我々は3Dキャラクターを1曲の楽曲に追従して踊るための新しい音楽間距離フレームワークBailandoを提案する。
本稿では,音楽に忠実な流麗なダンスにユニットを構成するアクタ批判型生成事前学習変換器(GPT)を紹介する。
提案するフレームワークは,定性的かつ定量的に最先端の性能を実現する。
論文 参考訳(メタデータ) (2022-03-24T13:06:43Z) - Music-to-Dance Generation with Optimal Transport [48.92483627635586]
本稿では,音楽から3Dダンス振付を生成するためのMDOT-Net(Music-to-Dance with Optimal Transport Network)を提案する。
生成したダンス分布とグロモフ=ワッサーシュタイン距離の信頼度を評価するための最適な移動距離を導入し、ダンス分布と入力音楽の対応性を測定する。
論文 参考訳(メタデータ) (2021-12-03T09:37:26Z) - Learning to Generate Diverse Dance Motions with Transformer [67.43270523386185]
ダンス・モーション・シンセサイザーのための完全なシステムを提案する。
大規模なダンスモーションデータセットはYouTubeビデオから作成される。
新たな2ストリームモーショントランス生成モデルでは、高い柔軟性で動作シーケンスを生成することができる。
論文 参考訳(メタデータ) (2020-08-18T22:29:40Z) - Feel The Music: Automatically Generating A Dance For An Input Song [58.653867648572]
本稿では,機械が任意の入力音楽に対してダンスを生成するための一般的な計算手法を提案する。
ダンスの構造は音楽の構造と一致すべきである。
論文 参考訳(メタデータ) (2020-06-21T20:29:50Z) - Music2Dance: DanceNet for Music-driven Dance Generation [11.73506542921528]
本研究では,音楽のスタイル,リズム,メロディを制御信号とする自己回帰生成モデルDanceNetを提案する。
プロのダンサーによる複数の同期音楽ダンスペアをキャプチャし、高品質な音楽ダンスペアデータセットを構築する。
論文 参考訳(メタデータ) (2020-02-02T17:18:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。