論文の概要: Music-Driven Group Choreography

• arxiv url: http://arxiv.org/abs/2303.12337v1
• Date: Wed, 22 Mar 2023 06:26:56 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-23 15:12:04.482666
• Title: Music-Driven Group Choreography
• Title（参考訳）: 音楽駆動グループ振付
• Authors: Nhat Le, Thang Pham, Tuong Do, Erman Tjiputra, Quang D. Tran, Anh Nguyen
• Abstract要約: 音楽駆動グループダンス生成のための大規模データセットを提案する。 集団舞踊運動の生成に単一舞踊生成法を鼻で適用することで,満足のいく結果が得られないことが示唆された。 本稿では,複数のグループコヒーレントな振付を効率よく作成するために,入力音楽シーケンスとダンサーの3D位置のセットを取り入れた新しい手法を提案する。
• 参考スコア（独自算出の注目度）: 10.501572863039852
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Music-driven choreography is a challenging problem with a wide variety of industrial applications. Recently, many methods have been proposed to synthesize dance motions from music for a single dancer. However, generating dance motion for a group remains an open problem. In this paper, we present $\rm AIOZ-GDANCE$, a new large-scale dataset for music-driven group dance generation. Unlike existing datasets that only support single dance, our new dataset contains group dance videos, hence supporting the study of group choreography. We propose a semi-autonomous labeling method with humans in the loop to obtain the 3D ground truth for our dataset. The proposed dataset consists of $16.7$ hours of paired music and 3D motion from in-the-wild videos, covering $7$ dance styles and $16$ music genres. We show that naively applying single dance generation technique to creating group dance motion may lead to unsatisfactory results, such as inconsistent movements and collisions between dancers. Based on our new dataset, we propose a new method that takes an input music sequence and a set of 3D positions of dancers to efficiently produce multiple group-coherent choreographies. We propose new evaluation metrics for measuring group dance quality and perform intensive experiments to demonstrate the effectiveness of our method.
• Abstract（参考訳）: 音楽駆動振付は様々な産業用途において難しい問題である。 近年,シングルダンサーのためのダンス動作を合成する手法が数多く提案されている。 しかし、グループのためのダンスモーションの生成は、まだ未解決の問題である。 本稿では,グループダンス生成のための大規模データセットである$\rm AIOZ-GDANCE$を提案する。 単一ダンスのみをサポートする既存のデータセットとは異なり、新しいデータセットにはグループダンスビデオが含まれており、グループ振付の研究をサポートする。 本研究では,人間をループに乗せた半自律的なラベリング手法を提案し,データセットの3次元基底真理を求める。 提案されたデータセットは、ペアリング音楽の16.7ドルの時間と、野生のビデオからの3dモーションから成り、75ドルのダンススタイルと16ドルの音楽ジャンルをカバーしている。 グループダンスを創り出すための単一ダンス生成手法は,不整合運動や踊り手同士の衝突など,不十分な結果をもたらす可能性がある。 そこで本研究では,入力音楽のシーケンスとダンサーの3次元位置のセットを用いて,複数のグループコヒーレントな振り付けを効率的に生成する新しい手法を提案する。 グループダンスの質を測定するための新しい評価指標を提案し,本手法の有効性を示すために集中的な実験を行う。

関連論文リスト

• Scalable Group Choreography via Variational Phase Manifold Learning [8.504657927912076]
  生成多様体の学習におけるグループダンス生成のための位相ベース変分生成モデルを提案する。 提案手法は,高忠実度群舞踊動作を実現し,無制限なダンサー生成を可能にする。
  論文  参考訳（メタデータ） (2024-07-26T16:02:37Z)
• Dance Any Beat: Blending Beats with Visuals in Dance Video Generation [12.018432669719742]
  音楽によってガイドされた個人の画像から直接ダンスビデオを生成するという新しいタスクを導入する。 我々のソリューションであるDance Any Beat Diffusion Model (DabFusion)は、参照画像と楽曲を使用してダンスビデオを生成する。 AIST++データセットを用いてDabFusionの性能評価を行い,映像品質,オーディオ・ビデオ同期,モーション・ミュージックアライメントに着目した。
  論文  参考訳（メタデータ） (2024-05-15T11:33:07Z)
• Duolando: Follower GPT with Off-Policy Reinforcement Learning for Dance Accompaniment [87.20240797625648]
  舞踊伴奏と呼ばれる3次元舞踊生成の分野における新しい課題を紹介する。 これは、リードダンサーの動きと、基礎となる音楽リズムと同期した「フォロワー」と呼ばれるダンスパートナーからの応答的な動きを生成する必要がある。 本稿では,GPTに基づくDuolandoモデルを提案する。このモデルでは,音楽の協調情報,リーダの動作,従者の動きに基づいて,後続のトークン化動作を自動回帰予測する。
  論文  参考訳（メタデータ） (2024-03-27T17:57:02Z)
• DanceCamera3D: 3D Camera Movement Synthesis with Music and Dance [50.01162760878841]
  DCMは、カメラの動きとダンスモーションと音楽オーディオを組み合わせた、新しいマルチモーダルな3Dデータセットである。 このデータセットは、アニメコミュニティからのペアダンスカメラ音楽データの108のダンスシーケンス(3.2時間)を含む。 本研究では,新しいボディアテンション損失と条件分離戦略を組み込んだトランスフォーマーに基づく拡散モデルであるDanceCamera3Dを提案する。
  論文  参考訳（メタデータ） (2024-03-20T15:24:57Z)
• Controllable Group Choreography using Contrastive Diffusion [9.524877757674176]
  音楽によるグループコレオグラフィーは、幅広い産業用途において大きな可能性を秘めている。 ダンサーとグループ間のつながりを高めるために,グループコントラスト拡散(GCD)戦略を導入する。 本研究は,グループダンスの動きを視覚的に捕食し,一貫した動作で再現する手法の有効性を実証する。
  論文  参考訳（メタデータ） (2023-10-29T11:59:12Z)
• FineDance: A Fine-grained Choreography Dataset for 3D Full Body Dance Generation [33.9261932800456]
  ファインダンス(FineDance)は、ダンスのジャンルで最大の音楽とダンスのペアデータセットである。 従来手法に存在した単調・不自然な手の動きに対処するため,フルボディダンス生成ネットワークを提案する。 生成したダンスのジャンルマッチングと長期的安定性をさらに向上するため,Genre&Coherent aware Retrieval Moduleを提案する。
  論文  参考訳（メタデータ） (2022-12-07T16:10:08Z)
• BRACE: The Breakdancing Competition Dataset for Dance Motion Synthesis [123.73677487809418]
  ダンス・モーション・シンセサイザーにおける一般的な仮定に挑戦する新しいデータセットを提案する。 我々は、アクロバティックな動きと絡み合った姿勢を特徴とするブレイクダンスに焦点を当てている。 BRACEデータセットは、3時間30分以上の濃密な注釈付きポーズを含む。
  論文  参考訳（メタデータ） (2022-07-20T18:03:54Z)
• Quantized GAN for Complex Music Generation from Dance Videos [48.196705493763986]
  D2M-GAN(Dance2Music-GAN, D2M-GAN, D2M-GAN)は、ダンスビデオに条件付けされた楽曲のサンプルを生成する新しいマルチモーダルフレームワークである。 提案フレームワークは,ダンスビデオフレームと人体の動きを入力とし,対応する入力に付随する音楽サンプルを生成することを学習する。
  論文  参考訳（メタデータ） (2022-04-01T17:53:39Z)
• Bailando: 3D Dance Generation by Actor-Critic GPT with Choreographic Memory [92.81383016482813]
  そこで我々は3Dキャラクターを1曲の楽曲に追従して踊るための新しい音楽間距離フレームワークBailandoを提案する。 本稿では,音楽に忠実な流麗なダンスにユニットを構成するアクタ批判型生成事前学習変換器(GPT)を紹介する。 提案するフレームワークは,定性的かつ定量的に最先端の性能を実現する。
  論文  参考訳（メタデータ） (2022-03-24T13:06:43Z)
• Music-to-Dance Generation with Optimal Transport [48.92483627635586]
  本稿では,音楽から3Dダンス振付を生成するためのMDOT-Net(Music-to-Dance with Optimal Transport Network)を提案する。 生成したダンス分布とグロモフ=ワッサーシュタイン距離の信頼度を評価するための最適な移動距離を導入し、ダンス分布と入力音楽の対応性を測定する。
  論文  参考訳（メタデータ） (2021-12-03T09:37:26Z)
• Music2Dance: DanceNet for Music-driven Dance Generation [11.73506542921528]
  本研究では,音楽のスタイル,リズム,メロディを制御信号とする自己回帰生成モデルDanceNetを提案する。 プロのダンサーによる複数の同期音楽ダンスペアをキャプチャし、高品質な音楽ダンスペアデータセットを構築する。
  論文  参考訳（メタデータ） (2020-02-02T17:18:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。