論文の概要: Magic: Multi Art Genre Intelligent Choreography Dataset and Network for 3D Dance Generation

• arxiv url: http://arxiv.org/abs/2212.03741v1
• Date: Wed, 7 Dec 2022 16:10:08 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-08 17:18:36.353070
• Title: Magic: Multi Art Genre Intelligent Choreography Dataset and Network for 3D Dance Generation
• Title（参考訳）: マジック:マルチアートの知能コレオグラフィーデータセットと3Dダンス生成のためのネットワーク
• Authors: Ronghui Li, Junfan Zhao, Yachao Zhang, Mingyang Su, Zeping Ren, Han Zhang, Xiu Li
• Abstract要約: MagicDanceのデータは、モーションキャプチャの技術者が支援するプロのダンサーから取得される。 計8時間の3Dモーションキャプチャー・ヒューマン・ダンスとペア・ミュージック、そして16種類のダンス・ジャンルがある。 本稿では,拡散に基づく3次元ディバースダンス断片生成ネットワーク(3DGNet)とジェネラル&コヒーレント対応検索モジュール(GCRM)をケースケードする生成合成振付ネットワーク(MagicNet)を提案する。
• 参考スコア（独自算出の注目度）: 16.597269448107888
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Achieving multiple genres and long-term choreography sequences from given music is a challenging task, due to the lack of a multi-genre dataset. To tackle this problem,we propose a Multi Art Genre Intelligent Choreography Dataset (MagicDance). The data of MagicDance is captured from professional dancers assisted by motion capture technicians. It has a total of 8 hours 3D motioncapture human dances with paired music, and 16 different dance genres. To the best of our knowledge, MagicDance is the 3D dance dataset with the most genres. In addition, we find that the existing two types of methods (generation-based method and synthesis-based method) can only satisfy one of the diversity and duration, but they can complement to some extent. Based on this observation, we also propose a generation-synthesis choreography network (MagicNet), which cascades a Diffusion-based 3D Diverse Dance fragments Generation Network (3DGNet) and a Genre&Coherent aware Retrieval Module (GCRM). The former can generate various dance fragments from only one music clip. The latter is utilized to select the best dance fragment generated by 3DGNet and switch them into a complete dance according to the genre and coherent matching score. Quantitative and qualitative experiments demonstrate the quality of MagicDance, and the state-of-the-art performance of MagicNet.
• Abstract（参考訳）: マルチジャンルのデータセットが欠如しているため、与えられた音楽から複数のジャンルと長期の振付シーケンスを取得することは難しい課題である。 この問題に対処するため,マルチアート・インテリジェント・コレオグラフィー・データセット(MagicDance)を提案する。 MagicDanceのデータは、モーションキャプチャの技術者が支援するプロのダンサーから取得される。 計8時間の3Dモーションキャプチャー・ヒューマン・ダンスとペア・ミュージックがあり、16種類のダンスジャンルがある。 われわれの知る限りでは、MagicDanceは最も多くのジャンルの3Dダンスデータセットだ。 また,既存の2種類の手法 (ジェネレーションベース法と合成ベース法) は多様性と持続時間のうち1つしか満たせないが,ある程度補完できることがわかった。 この観察に基づいて,拡散に基づく3次元多様なダンスフラグメント生成ネットワーク(3dgnet)とジャンル・コヒーレント認識検索モジュール(gcrm)をカスケードする生成合成振付ネットワーク(magicnet)を提案する。 前者は1つの音楽クリップから様々なダンスの断片を生成できる。 後者は、3DGNetが生成した最高のダンスフラグメントを選択し、ジャンルとコヒーレントマッチングスコアに応じて、それらを完全なダンスに切り替える。 定量的かつ定性的な実験はMagicDanceの品質とMagicNetの最先端性能を示している。

関連論文リスト

• Lodge++: High-quality and Long Dance Generation with Vivid Choreography Patterns [48.54956784928394]
  Lodge++は、高品質で、超長い、鮮やかなダンスを生成するためのコレオグラフィーフレームワークである。 計算効率の課題に対処するため、Lodge++では、粗いダンスから罰金までのダンスを生成するための2段階の戦略を採用している。 Lodge++は,様々なダンスジャンルに適した超長いダンスを高速に生成できることを示す広範な実験によって検証されている。
  論文  参考訳（メタデータ） (2024-10-27T09:32:35Z)
• Flexible Music-Conditioned Dance Generation with Style Description Prompts [41.04549275897979]
  本稿では,ダンス生成の多種多様なタスクに適した拡散型フレームワークであるDGSDP(Flexible Dance Generation with Style Description Prompts)を紹介する。 このフレームワークの中核となるコンポーネントはMusic-Conditioned Style-Aware Diffusion (MCSAD)であり、TransformerベースのネットワークとMusic Style Modulationモジュールで構成される。 提案手法は, 長期的生成, ダンス・イン・ベントワイニング, ダンス・イン・ペイントなど, 様々なタスクにおいて, 音楽と正確に整合したリアルなダンス・シーケンスを生成する。
  論文  参考訳（メタデータ） (2024-06-12T04:55:14Z)
• Duolando: Follower GPT with Off-Policy Reinforcement Learning for Dance Accompaniment [87.20240797625648]
  舞踊伴奏と呼ばれる3次元舞踊生成の分野における新しい課題を紹介する。 これは、リードダンサーの動きと、基礎となる音楽リズムと同期した「フォロワー」と呼ばれるダンスパートナーからの応答的な動きを生成する必要がある。 本稿では,GPTに基づくDuolandoモデルを提案する。このモデルでは,音楽の協調情報,リーダの動作,従者の動きに基づいて,後続のトークン化動作を自動回帰予測する。
  論文  参考訳（メタデータ） (2024-03-27T17:57:02Z)
• DanceCamera3D: 3D Camera Movement Synthesis with Music and Dance [50.01162760878841]
  DCMは、カメラの動きとダンスモーションと音楽オーディオを組み合わせた、新しいマルチモーダルな3Dデータセットである。 このデータセットは、アニメコミュニティからのペアダンスカメラ音楽データの108のダンスシーケンス(3.2時間)を含む。 本研究では,新しいボディアテンション損失と条件分離戦略を組み込んだトランスフォーマーに基づく拡散モデルであるDanceCamera3Dを提案する。
  論文  参考訳（メタデータ） (2024-03-20T15:24:57Z)
• Music-Driven Group Choreography [10.501572863039852]
  $rm AIOZ-GDANCE$は、音楽駆動のグループダンス生成のための新しい大規模データセットである。 集団舞踊運動の生成に単一舞踊生成法を鼻で適用することで,満足のいく結果が得られないことが示唆された。 本稿では,複数のグループコヒーレントな振付を効率よく作成するために,入力音楽シーケンスとダンサーの3D位置のセットを取り入れた新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-03-22T06:26:56Z)
• Quantized GAN for Complex Music Generation from Dance Videos [48.196705493763986]
  D2M-GAN(Dance2Music-GAN, D2M-GAN, D2M-GAN)は、ダンスビデオに条件付けされた楽曲のサンプルを生成する新しいマルチモーダルフレームワークである。 提案フレームワークは,ダンスビデオフレームと人体の動きを入力とし,対応する入力に付随する音楽サンプルを生成することを学習する。
  論文  参考訳（メタデータ） (2022-04-01T17:53:39Z)
• Bailando: 3D Dance Generation by Actor-Critic GPT with Choreographic Memory [92.81383016482813]
  そこで我々は3Dキャラクターを1曲の楽曲に追従して踊るための新しい音楽間距離フレームワークBailandoを提案する。 本稿では,音楽に忠実な流麗なダンスにユニットを構成するアクタ批判型生成事前学習変換器(GPT)を紹介する。 提案するフレームワークは,定性的かつ定量的に最先端の性能を実現する。
  論文  参考訳（メタデータ） (2022-03-24T13:06:43Z)
• Music-to-Dance Generation with Optimal Transport [48.92483627635586]
  本稿では,音楽から3Dダンス振付を生成するためのMDOT-Net(Music-to-Dance with Optimal Transport Network)を提案する。 生成したダンス分布とグロモフ=ワッサーシュタイン距離の信頼度を評価するための最適な移動距離を導入し、ダンス分布と入力音楽の対応性を測定する。
  論文  参考訳（メタデータ） (2021-12-03T09:37:26Z)
• Music2Dance: DanceNet for Music-driven Dance Generation [11.73506542921528]
  本研究では,音楽のスタイル,リズム,メロディを制御信号とする自己回帰生成モデルDanceNetを提案する。 プロのダンサーによる複数の同期音楽ダンスペアをキャプチャし、高品質な音楽ダンスペアデータセットを構築する。
  論文  参考訳（メタデータ） (2020-02-02T17:18:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。