論文の概要: Music-Driven Group Choreography
- arxiv url: http://arxiv.org/abs/2303.12337v2
- Date: Mon, 27 Mar 2023 01:59:41 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-28 23:22:05.450216
- Title: Music-Driven Group Choreography
- Title(参考訳): 音楽駆動グループ振付
- Authors: Nhat Le, Thang Pham, Tuong Do, Erman Tjiputra, Quang D. Tran, Anh
Nguyen
- Abstract要約: $rm AIOZ-GDANCE$は、音楽駆動のグループダンス生成のための新しい大規模データセットである。
集団舞踊運動の生成に単一舞踊生成法を鼻で適用することで,満足のいく結果が得られないことが示唆された。
本稿では,複数のグループコヒーレントな振付を効率よく作成するために,入力音楽シーケンスとダンサーの3D位置のセットを取り入れた新しい手法を提案する。
- 参考スコア(独自算出の注目度): 10.501572863039852
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Music-driven choreography is a challenging problem with a wide variety of
industrial applications. Recently, many methods have been proposed to
synthesize dance motions from music for a single dancer. However, generating
dance motion for a group remains an open problem. In this paper, we present
$\rm AIOZ-GDANCE$, a new large-scale dataset for music-driven group dance
generation. Unlike existing datasets that only support single dance, our new
dataset contains group dance videos, hence supporting the study of group
choreography. We propose a semi-autonomous labeling method with humans in the
loop to obtain the 3D ground truth for our dataset. The proposed dataset
consists of 16.7 hours of paired music and 3D motion from in-the-wild videos,
covering 7 dance styles and 16 music genres. We show that naively applying
single dance generation technique to creating group dance motion may lead to
unsatisfactory results, such as inconsistent movements and collisions between
dancers. Based on our new dataset, we propose a new method that takes an input
music sequence and a set of 3D positions of dancers to efficiently produce
multiple group-coherent choreographies. We propose new evaluation metrics for
measuring group dance quality and perform intensive experiments to demonstrate
the effectiveness of our method. Our project facilitates future research on
group dance generation and is available at:
https://aioz-ai.github.io/AIOZ-GDANCE/
- Abstract(参考訳): 音楽駆動振付は様々な産業用途において難しい問題である。
近年,シングルダンサーのためのダンス動作を合成する手法が数多く提案されている。
しかし、グループのためのダンスモーションの生成は、まだ未解決の問題である。
本稿では,グループダンス生成のための大規模データセットである$\rm AIOZ-GDANCE$を提案する。
単一ダンスのみをサポートする既存のデータセットとは異なり、新しいデータセットにはグループダンスビデオが含まれており、グループ振付の研究をサポートする。
本研究では,人間をループに乗せた半自律的なラベリング手法を提案し,データセットの3次元基底真理を求める。
提案されたデータセットは、16.7時間のペア音楽と7つのダンススタイルと16の音楽ジャンルをカバーする3Dモーションで構成されている。
グループダンスを創り出すための単一ダンス生成手法は,不整合運動や踊り手同士の衝突など,不十分な結果をもたらす可能性がある。
そこで本研究では,入力音楽のシーケンスとダンサーの3次元位置のセットを用いて,複数のグループコヒーレントな振り付けを効率的に生成する新しい手法を提案する。
グループダンスの質を測定するための新しい評価指標を提案し,本手法の有効性を示すために集中的な実験を行う。
我々のプロジェクトは、グループダンス生成の今後の研究を促進するもので、以下で利用可能である。
関連論文リスト
- LM2D: Lyrics- and Music-Driven Dance Synthesis [28.884929875333846]
LM2Dは、音楽と歌詞の両方で、ひとつの拡散生成ステップでダンスコンディションを作成するように設計されている。
ポーズ推定技術を用いて,音楽と歌詞の両方を包含する最初の3次元ダンスモーションデータセットを提案する。
その結果、LM2Dは歌詞と音楽の両方にマッチするリアルで多様なダンスを制作できることを示した。
論文 参考訳(メタデータ) (2024-03-14T13:59:04Z) - Controllable Group Choreography using Contrastive Diffusion [9.524877757674176]
音楽によるグループコレオグラフィーは、幅広い産業用途において大きな可能性を秘めている。
ダンサーとグループ間のつながりを高めるために,グループコントラスト拡散(GCD)戦略を導入する。
本研究は,グループダンスの動きを視覚的に捕食し,一貫した動作で再現する手法の有効性を実証する。
論文 参考訳(メタデータ) (2023-10-29T11:59:12Z) - Music- and Lyrics-driven Dance Synthesis [25.474741654098114]
音楽と歌詞を用いた新しい3Dダンス・モーション・データセットであるJustLMDを紹介した。
私たちの知る限りでは、ダンスの動き、音楽、歌詞を含む三重奏情報を備えた最初のデータセットである。
提案したJustLMDデータセットは、1867年の連続した3Dダンスの4.6時間、音楽トラックとそれに対応する英語の歌詞を伴って構成されている。
論文 参考訳(メタデータ) (2023-09-30T18:27:14Z) - FineDance: A Fine-grained Choreography Dataset for 3D Full Body Dance
Generation [33.9261932800456]
ファインダンス(FineDance)は、ダンスのジャンルで最大の音楽とダンスのペアデータセットである。
従来手法に存在した単調・不自然な手の動きに対処するため,フルボディダンス生成ネットワークを提案する。
生成したダンスのジャンルマッチングと長期的安定性をさらに向上するため,Genre&Coherent aware Retrieval Moduleを提案する。
論文 参考訳(メタデータ) (2022-12-07T16:10:08Z) - BRACE: The Breakdancing Competition Dataset for Dance Motion Synthesis [123.73677487809418]
ダンス・モーション・シンセサイザーにおける一般的な仮定に挑戦する新しいデータセットを提案する。
我々は、アクロバティックな動きと絡み合った姿勢を特徴とするブレイクダンスに焦点を当てている。
BRACEデータセットは、3時間30分以上の濃密な注釈付きポーズを含む。
論文 参考訳(メタデータ) (2022-07-20T18:03:54Z) - Quantized GAN for Complex Music Generation from Dance Videos [48.196705493763986]
D2M-GAN(Dance2Music-GAN, D2M-GAN, D2M-GAN)は、ダンスビデオに条件付けされた楽曲のサンプルを生成する新しいマルチモーダルフレームワークである。
提案フレームワークは,ダンスビデオフレームと人体の動きを入力とし,対応する入力に付随する音楽サンプルを生成することを学習する。
論文 参考訳(メタデータ) (2022-04-01T17:53:39Z) - Bailando: 3D Dance Generation by Actor-Critic GPT with Choreographic
Memory [92.81383016482813]
そこで我々は3Dキャラクターを1曲の楽曲に追従して踊るための新しい音楽間距離フレームワークBailandoを提案する。
本稿では,音楽に忠実な流麗なダンスにユニットを構成するアクタ批判型生成事前学習変換器(GPT)を紹介する。
提案するフレームワークは,定性的かつ定量的に最先端の性能を実現する。
論文 参考訳(メタデータ) (2022-03-24T13:06:43Z) - Music-to-Dance Generation with Optimal Transport [48.92483627635586]
本稿では,音楽から3Dダンス振付を生成するためのMDOT-Net(Music-to-Dance with Optimal Transport Network)を提案する。
生成したダンス分布とグロモフ=ワッサーシュタイン距離の信頼度を評価するための最適な移動距離を導入し、ダンス分布と入力音楽の対応性を測定する。
論文 参考訳(メタデータ) (2021-12-03T09:37:26Z) - Learning to Generate Diverse Dance Motions with Transformer [67.43270523386185]
ダンス・モーション・シンセサイザーのための完全なシステムを提案する。
大規模なダンスモーションデータセットはYouTubeビデオから作成される。
新たな2ストリームモーショントランス生成モデルでは、高い柔軟性で動作シーケンスを生成することができる。
論文 参考訳(メタデータ) (2020-08-18T22:29:40Z) - Feel The Music: Automatically Generating A Dance For An Input Song [58.653867648572]
本稿では,機械が任意の入力音楽に対してダンスを生成するための一般的な計算手法を提案する。
ダンスの構造は音楽の構造と一致すべきである。
論文 参考訳(メタデータ) (2020-06-21T20:29:50Z) - Music2Dance: DanceNet for Music-driven Dance Generation [11.73506542921528]
本研究では,音楽のスタイル,リズム,メロディを制御信号とする自己回帰生成モデルDanceNetを提案する。
プロのダンサーによる複数の同期音楽ダンスペアをキャプチャし、高品質な音楽ダンスペアデータセットを構築する。
論文 参考訳(メタデータ) (2020-02-02T17:18:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。