論文の概要: GCDance: Genre-Controlled 3D Full Body Dance Generation Driven By Music

• arxiv url: http://arxiv.org/abs/2502.18309v1
• Date: Tue, 25 Feb 2025 15:53:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-26 15:20:49.526191
• Title: GCDance: Genre-Controlled 3D Full Body Dance Generation Driven By Music
• Title（参考訳）: GCDance:音楽による3Dフルボディダンス生成
• Authors: Xinran Liu, Xu Dong, Diptesh Kanojia, Wenwu Wang, Zhenhua Feng,
• Abstract要約: GCDanceは、音楽とテキストの両方のプロンプトに条件付きジャンル固有のダンスモーションを生成するための分類器なし拡散フレームワークである。 提案手法は,高レベルな事前学習音楽基礎モデルと手作りのマルチグラニュラリティ特徴融合機能を組み合わせることで,音楽の特徴を抽出する。
• 参考スコア（独自算出の注目度）: 22.352036716156967
• License:
• Abstract: Generating high-quality full-body dance sequences from music is a challenging task as it requires strict adherence to genre-specific choreography. Moreover, the generated sequences must be both physically realistic and precisely synchronized with the beats and rhythm of the music. To overcome these challenges, we propose GCDance, a classifier-free diffusion framework for generating genre-specific dance motions conditioned on both music and textual prompts. Specifically, our approach extracts music features by combining high-level pre-trained music foundation model features with hand-crafted features for multi-granularity feature fusion. To achieve genre controllability, we leverage CLIP to efficiently embed genre-based textual prompt representations at each time step within our dance generation pipeline. Our GCDance framework can generate diverse dance styles from the same piece of music while ensuring coherence with the rhythm and melody of the music. Extensive experimental results obtained on the FineDance dataset demonstrate that GCDance significantly outperforms the existing state-of-the-art approaches, which also achieve competitive results on the AIST++ dataset. Our ablation and inference time analysis demonstrate that GCDance provides an effective solution for high-quality music-driven dance generation.
• Abstract（参考訳）: 音楽から高品質なフルボディダンスシーケンスを生成することは、ジャンル固有の振付に厳格に固執する必要があるため、難しい課題である。 さらに、生成されたシーケンスは、物理的に現実的で、音楽のビートやリズムと正確に同期されなければならない。 これらの課題を克服するために、音楽とテキストの両方のプロンプトに条件付きジャンル固有のダンスモーションを生成するための分類器なし拡散フレームワークであるGCDanceを提案する。 具体的には,高レベルの事前学習音楽基盤モデルと手作り機能を組み合わせた多彩度特徴融合による楽曲特徴抽出を行う。 ジャンル制御性を達成するために、CLIPを利用して、ジャンルベースのテキストプロンプト表現をダンス生成パイプラインの各ステップに効率よく組み込む。 我々のGCDanceフレームワークは、音楽のリズムやメロディとのコヒーレンスを確保しつつ、同じ曲から多様なダンススタイルを生成することができる。 FineDanceデータセットで得られた大規模な実験結果は、GCDanceが既存の最先端アプローチよりも大幅に優れており、AIST++データセット上での競合結果も達成していることを示している。 我々のアブレーションと推論時間分析は、GCDanceが高品質の音楽駆動ダンス生成に有効なソリューションであることを示した。

関連論文リスト

• Lodge++: High-quality and Long Dance Generation with Vivid Choreography Patterns [48.54956784928394]
  Lodge++は、高品質で、超長い、鮮やかなダンスを生成するためのコレオグラフィーフレームワークである。 計算効率の課題に対処するため、Lodge++では、粗いダンスから罰金までのダンスを生成するための2段階の戦略を採用している。 Lodge++は,様々なダンスジャンルに適した超長いダンスを高速に生成できることを示す広範な実験によって検証されている。
  論文  参考訳（メタデータ） (2024-10-27T09:32:35Z)
• Flexible Music-Conditioned Dance Generation with Style Description Prompts [41.04549275897979]
  本稿では,ダンス生成の多種多様なタスクに適した拡散型フレームワークであるDGSDP(Flexible Dance Generation with Style Description Prompts)を紹介する。 このフレームワークの中核となるコンポーネントはMusic-Conditioned Style-Aware Diffusion (MCSAD)であり、TransformerベースのネットワークとMusic Style Modulationモジュールで構成される。 提案手法は, 長期的生成, ダンス・イン・ベントワイニング, ダンス・イン・ペイントなど, 様々なタスクにおいて, 音楽と正確に整合したリアルなダンス・シーケンスを生成する。
  論文  参考訳（メタデータ） (2024-06-12T04:55:14Z)
• DiffDance: Cascaded Human Motion Diffusion Model for Dance Generation [89.50310360658791]
  本稿では,高分解能長周期ダンス生成のための新しい動き拡散モデルDiffDanceを提案する。 本モデルは、音楽間拡散モデルとシーケンス超解像拡散モデルとから構成される。 DiffDanceは、入力された音楽と効果的に一致したリアルなダンスシーケンスを生成することができることを実証する。
  論文  参考訳（メタデータ） (2023-08-05T16:18:57Z)
• FineDance: A Fine-grained Choreography Dataset for 3D Full Body Dance Generation [33.9261932800456]
  ファインダンス(FineDance)は、ダンスのジャンルで最大の音楽とダンスのペアデータセットである。 従来手法に存在した単調・不自然な手の動きに対処するため,フルボディダンス生成ネットワークを提案する。 生成したダンスのジャンルマッチングと長期的安定性をさらに向上するため,Genre&Coherent aware Retrieval Moduleを提案する。
  論文  参考訳（メタデータ） (2022-12-07T16:10:08Z)
• Quantized GAN for Complex Music Generation from Dance Videos [48.196705493763986]
  D2M-GAN(Dance2Music-GAN, D2M-GAN, D2M-GAN)は、ダンスビデオに条件付けされた楽曲のサンプルを生成する新しいマルチモーダルフレームワークである。 提案フレームワークは,ダンスビデオフレームと人体の動きを入力とし,対応する入力に付随する音楽サンプルを生成することを学習する。
  論文  参考訳（メタデータ） (2022-04-01T17:53:39Z)
• Bailando: 3D Dance Generation by Actor-Critic GPT with Choreographic Memory [92.81383016482813]
  そこで我々は3Dキャラクターを1曲の楽曲に追従して踊るための新しい音楽間距離フレームワークBailandoを提案する。 本稿では,音楽に忠実な流麗なダンスにユニットを構成するアクタ批判型生成事前学習変換器(GPT)を紹介する。 提案するフレームワークは,定性的かつ定量的に最先端の性能を実現する。
  論文  参考訳（メタデータ） (2022-03-24T13:06:43Z)
• Dual Learning Music Composition and Dance Choreography [57.55406449959893]
  音楽とダンスは常に人間の活動の柱として共存しており、文化的、社会的、娯楽的な機能に大きく貢献している。 近年の研究では、音楽に調和したダンスシーケンスの生成モデルについて研究されている。 両タスクを二重学習アプローチで共同でモデル化する,新しい拡張を提案する。
  論文  参考訳（メタデータ） (2022-01-28T09:20:28Z)
• Music-to-Dance Generation with Optimal Transport [48.92483627635586]
  本稿では,音楽から3Dダンス振付を生成するためのMDOT-Net(Music-to-Dance with Optimal Transport Network)を提案する。 生成したダンス分布とグロモフ=ワッサーシュタイン距離の信頼度を評価するための最適な移動距離を導入し、ダンス分布と入力音楽の対応性を測定する。
  論文  参考訳（メタデータ） (2021-12-03T09:37:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。