論文の概要: MACE-Dance: Motion-Appearance Cascaded Experts for Music-Driven Dance Video Generation

• arxiv url: http://arxiv.org/abs/2512.18181v1
• Date: Sat, 20 Dec 2025 02:34:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-23 18:54:32.219471
• Title: MACE-Dance: Motion-Appearance Cascaded Experts for Music-Driven Dance Video Generation
• Title（参考訳）: MACE-Dance:音楽駆動ダンスビデオ生成の専門家
• Authors: Kaixing Yang, Jiashu Zhu, Xulong Tang, Ziqiao Peng, Xiangyue Zhang, Puwei Wang, Jiahong Wu, Xiangxiang Chu, Hongyan Liu, Jun He,
• Abstract要約: MACE-Danceは、Mixture-of-appearance (MoE)を用いた音楽駆動ダンスビデオ生成フレームワークである。 モーションエキスパートは、キネマティックな可視性と芸術的な表現性を保ちながら、音楽から3Dのモーションジェネレーションを実行する。 外観エキスパートは、時間的コヒーレンスで視覚的アイデンティティを保持する、モーションおよび基準条件付きビデオ合成を実行する。
• 参考スコア（独自算出の注目度）: 20.517753182293095
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: With the rise of online dance-video platforms and rapid advances in AI-generated content (AIGC), music-driven dance generation has emerged as a compelling research direction. Despite substantial progress in related domains such as music-driven 3D dance generation, pose-driven image animation, and audio-driven talking-head synthesis, existing methods cannot be directly adapted to this task. Moreover, the limited studies in this area still struggle to jointly achieve high-quality visual appearance and realistic human motion. Accordingly, we present MACE-Dance, a music-driven dance video generation framework with cascaded Mixture-of-Experts (MoE). The Motion Expert performs music-to-3D motion generation while enforcing kinematic plausibility and artistic expressiveness, whereas the Appearance Expert carries out motion- and reference-conditioned video synthesis, preserving visual identity with spatiotemporal coherence. Specifically, the Motion Expert adopts a diffusion model with a BiMamba-Transformer hybrid architecture and a Guidance-Free Training (GFT) strategy, achieving state-of-the-art (SOTA) performance in 3D dance generation. The Appearance Expert employs a decoupled kinematic-aesthetic fine-tuning strategy, achieving state-of-the-art (SOTA) performance in pose-driven image animation. To better benchmark this task, we curate a large-scale and diverse dataset and design a motion-appearance evaluation protocol. Based on this protocol, MACE-Dance also achieves state-of-the-art performance. Project page: https://macedance.github.io/
• Abstract（参考訳）: オンラインダンスビデオプラットフォームの台頭とAIGC(AI- generated content)の急速な進歩により、音楽によるダンス生成は魅力的な研究の方向として現れてきた。 音楽駆動の3Dダンス生成、ポーズ駆動のイメージアニメーション、音声駆動のトーキングヘッド合成など、関連分野の大幅な進歩にもかかわらず、既存の手法はこの課題に適応できない。 さらに、この分野の限られた研究は、高品質な視覚的外観と現実的な人間の動きを共同で達成することに苦慮している。 そこで我々は,Mixture-of-Experts (MoE) を用いた音楽駆動ダンスビデオ生成フレームワーク MACE-Dance を提案する。 運動専門家は運動の可視性と芸術的表現性を強制しながら音楽から3Dのモーション生成を行い、対時的コヒーレンスで視覚的アイデンティティを保持する。 具体的には、Motion Expertは、BiMamba-TransformerハイブリッドアーキテクチャとGuidance-Free Training(GFT)戦略を備えた拡散モデルを採用し、3Dダンス生成における最先端(SOTA)パフォーマンスを実現する。 外観エキスパートは、分離されたキネマティック美学の微調整戦略を採用し、ポーズ駆動画像アニメーションにおける最先端(SOTA)パフォーマンスを達成する。 このタスクをよりよくベンチマークするために、大規模で多様なデータセットをキュレートし、動きの出現評価プロトコルを設計する。 このプロトコルに基づいて、MACE-Danceは最先端のパフォーマンスも達成する。 プロジェクトページ: https://macedance.github.io/

関連論文リスト

• PAMD: Plausibility-Aware Motion Diffusion Model for Long Dance Generation [51.2555550979386]
  Plausibility-Aware Motion Diffusion (PAMD)は、音楽的に整列し、物理的に現実的なダンスを生成するためのフレームワークである。 生成時により効果的なガイダンスを提供するために、プリエント・モーション・ガイダンス(PMG)を取り入れる。 実験により、PAMDは音楽のアライメントを著しく改善し、生成した動きの物理的妥当性を高めることが示された。
  論文  参考訳（メタデータ） (2025-05-26T14:44:09Z)
• X-Dancer: Expressive Music to Human Dance Video Generation [26.544761204917336]
  X-Dancerはゼロショット音楽駆動の画像アニメーションパイプラインである。 単一の静止画像から、多種多様で長い範囲の人間のダンスビデオを生成する。
  論文  参考訳（メタデータ） (2025-02-24T18:47:54Z)
• Controllable Dance Generation with Style-Guided Motion Diffusion [49.35282418951445]
  ダンスは人間の文化において芸術的な形式や表現として重要な役割を担っているが、ダンスの創造は依然として困難な課題である。 ほとんどのダンス生成法は音楽のみに依存しており、音楽スタイルやジャンルといった本質的な特質を考慮することは滅多にない。 本研究では,ダンス生成の多様なタスクに適した拡散型フレームワークであるDGSDP(Flexible Dance Generation with Style Description Prompts)を紹介する。
  論文  参考訳（メタデータ） (2024-06-12T04:55:14Z)
• TM2D: Bimodality Driven 3D Dance Generation via Music-Text Integration [75.37311932218773]
  テキストと音楽の両方を同時に組み込んだ3Dダンス運動を生成するための新しいタスクを提案する。 本手法は,テキストと音楽の両方に調和した現実的かつ一貫性のあるダンスの動きを生成できると同時に,2つの単一モーダルと同等の性能を維持することができる。
  論文  参考訳（メタデータ） (2023-04-05T12:58:33Z)
• BRACE: The Breakdancing Competition Dataset for Dance Motion Synthesis [123.73677487809418]
  ダンス・モーション・シンセサイザーにおける一般的な仮定に挑戦する新しいデータセットを提案する。 我々は、アクロバティックな動きと絡み合った姿勢を特徴とするブレイクダンスに焦点を当てている。 BRACEデータセットは、3時間30分以上の濃密な注釈付きポーズを含む。
  論文  参考訳（メタデータ） (2022-07-20T18:03:54Z)
• DanceFormer: Music Conditioned 3D Dance Generation with Parametric Motion Transformer [23.51701359698245]
  本稿では、2段階のプロセス, ie, キーポーズ生成, そしてパラメトリックな動き曲線の予測によってそれを再構成する。 本稿では,経験的アニメーターによって正確にラベル付けされた大規模な音楽条件付き3DダンスデータセットPhantomDanceを提案する。 実験により、提案手法は既存のデータセットで訓練されても、流動的で、演奏的で、音楽にマッチした3Dダンスを生成できることが示されている。
  論文  参考訳（メタデータ） (2021-03-18T12:17:38Z)
• Learning to Generate Diverse Dance Motions with Transformer [67.43270523386185]
  ダンス・モーション・シンセサイザーのための完全なシステムを提案する。 大規模なダンスモーションデータセットはYouTubeビデオから作成される。 新たな2ストリームモーショントランス生成モデルでは、高い柔軟性で動作シーケンスを生成することができる。
  論文  参考訳（メタデータ） (2020-08-18T22:29:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。