論文の概要: FlowDance: Music-Driven Dance Video Generation with Parallel Pose and RGB Streams
- arxiv url: http://arxiv.org/abs/2608.15818v1
- Date: Sun, 16 Aug 2026 15:48:53 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-18 19:59:03.433764
- Title: FlowDance: Music-Driven Dance Video Generation with Parallel Pose and RGB Streams
- Title（参考訳）: FlowDance: 並列ポーズとRGBストリームを備えた音楽駆動ダンスビデオ生成
- Abstract要約: FlowDanceは音楽駆動のダンスビデオ生成フレームワークである。
明示的なモーションモデリングと、並列ポーズとRGBストリームによる参照保存視覚合成を統合している。
ダンスモーション生成と音楽駆動のダンスビデオ合成の両方において高い性能を発揮する。
- 参考スコア（独自算出の注目度）: 22.399074928933956
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Music-driven dance video synthesis aims to animate a reference person according to a given music clip. The task is challenging because it requires a model to jointly learn music-to-motion correspondence, identity-preserving human animation, temporal coherence, and visually realistic video generation. We present FlowDance, a music-driven dance video generation framework that integrates explicit motion modeling with reference-preserving visual synthesis through parallel pose and RGB streams. We further introduce timestep-aware pose injection to adapt structural guidance across denoising steps and persistent identity injection to preserve the reference appearance over long video. To support this task, we further build a popularity-curated, high-resolution in-the-wild dance video dataset with synchronized music, RGB videos, 3D body motion, camera parameters, and projected 2D pose annotations. Extensive experiments show that FlowDance achieves strong performance in both dance motion generation and music-driven dance video synthesis.
- Abstract（参考訳）: 音楽駆動ダンスビデオ合成は、所定の音楽クリップに従って、参照した人物をアニメーション化することを目的としている。
このタスクは、音楽とモーションの対応、アイデンティティを保存する人間のアニメーション、時間的コヒーレンス、視覚的にリアルなビデオ生成を共同で学習するモデルを必要とするため、難しい。
本稿では,音楽駆動のダンスビデオ生成フレームワークであるFlowDanceについて紹介する。
さらに、時間段階対応のポーズインジェクションを導入し、長いビデオ上での参照外観を維持するために、視覚的ステップと永続的アイデンティティインジェクションを横断する構造的ガイダンスを適用した。
この課題を支援するために、我々はさらに、同期音楽、RGBビデオ、3Dボディモーション、カメラパラメータ、投影された2Dポーズアノテーションを備えた、人気の高い高精細度ダンスビデオデータセットを構築した。
大規模な実験により、FlowDanceはダンスモーション生成と音楽駆動のダンスビデオ合成の両方において、強い性能を発揮することが示された。
関連論文リスト
- MACE-Dance: Motion-Appearance Cascaded Experts for Music-Driven Dance Video Generation [20.517753182293095]
MACE-Danceは、Mixture-of-appearance (MoE)を用いた音楽駆動ダンスビデオ生成フレームワークである。
モーションエキスパートは、キネマティックな可視性と芸術的な表現性を保ちながら、音楽から3Dのモーションジェネレーションを実行する。
外観エキスパートは、時間的コヒーレンスで視覚的アイデンティティを保持する、モーションおよび基準条件付きビデオ合成を実行する。
論文 参考訳（メタデータ） (2025-12-20T02:34:34Z) - How Animals Dance (When You're Not Looking) [50.76342313977405]
本稿では,動物舞踊ビデオを生成するための枠組みを提案する。
入力拡散を最大6回行うことで、最大30秒のダンスビデオを生成することができる。
論文 参考訳（メタデータ） (2025-05-29T17:58:02Z) - X-Dancer: Expressive Music to Human Dance Video Generation [26.544761204917336]
X-Dancerはゼロショット音楽駆動の画像アニメーションパイプラインである。
単一の静止画像から、多種多様で長い範囲の人間のダンスビデオを生成する。
論文 参考訳（メタデータ） (2025-02-24T18:47:54Z) - Every Image Listens, Every Image Dances: Music-Driven Image Animation [8.085267959520843]
MuseDanceは、音楽とテキストの両方の入力を使って画像を参照するエンド・ツー・エンドのモデルである。
既存のアプローチとは異なり、MuseDanceはポーズや深さシーケンスのような複雑なモーションガイダンス入力を必要としない。
本稿では,2,904本のダンスビデオと,それに対応する背景音楽とテキスト記述を含むマルチモーダルデータセットを提案する。
論文 参考訳（メタデータ） (2025-01-30T23:38:51Z) - DanceCamAnimator: Keyframe-Based Controllable 3D Dance Camera Synthesis [49.614150163184064]
ダンスカメラの動きは、可変長の連続的なシーケンスと、複数のカメラの切り替えをシミュレートする突然の変化の両方を含む。
本稿では,この課題をアニメーター検出,合成,ツイーン関数予測という3段階のプロセスとして定式化し,撮影知識を統合することを提案する。
この定式化に続いて、人間のアニメーション手順を模倣し、可変長の強力な制御性を示す新しいエンドツーエンドのダンスカメラフレームワーク textbfDanceCamAnimator を設計する。
論文 参考訳（メタデータ） (2024-09-23T11:20:44Z) - Controllable Dance Generation with Style-Guided Motion Diffusion [49.35282418951445]
ダンスは人間の文化において芸術的な形式や表現として重要な役割を担っているが、ダンスの創造は依然として困難な課題である。
ほとんどのダンス生成法は音楽のみに依存しており、音楽スタイルやジャンルといった本質的な特質を考慮することは滅多にない。
本研究では,ダンス生成の多様なタスクに適した拡散型フレームワークであるDGSDP(Flexible Dance Generation with Style Description Prompts)を紹介する。
論文 参考訳（メタデータ） (2024-06-12T04:55:14Z) - Dance Any Beat: Blending Beats with Visuals in Dance Video Generation [12.018432669719742]
音楽によってガイドされた個人の画像から直接ダンスビデオを生成するという新しいタスクを導入する。
我々のソリューションであるDance Any Beat Diffusion Model (DabFusion)は、参照画像と楽曲を使用してダンスビデオを生成する。
AIST++データセットを用いてDabFusionの性能評価を行い,映像品質,オーディオ・ビデオ同期,モーション・ミュージックアライメントに着目した。
論文 参考訳（メタデータ） (2024-05-15T11:33:07Z) - BRACE: The Breakdancing Competition Dataset for Dance Motion Synthesis [123.73677487809418]
ダンス・モーション・シンセサイザーにおける一般的な仮定に挑戦する新しいデータセットを提案する。
我々は、アクロバティックな動きと絡み合った姿勢を特徴とするブレイクダンスに焦点を当てている。
BRACEデータセットは、3時間30分以上の濃密な注釈付きポーズを含む。
論文 参考訳（メタデータ） (2022-07-20T18:03:54Z) - Music-to-Dance Generation with Optimal Transport [48.92483627635586]
本稿では,音楽から3Dダンス振付を生成するためのMDOT-Net(Music-to-Dance with Optimal Transport Network)を提案する。
生成したダンス分布とグロモフ=ワッサーシュタイン距離の信頼度を評価するための最適な移動距離を導入し、ダンス分布と入力音楽の対応性を測定する。
論文 参考訳（メタデータ） (2021-12-03T09:37:26Z) - DanceFormer: Music Conditioned 3D Dance Generation with Parametric
Motion Transformer [23.51701359698245]
本稿では、2段階のプロセス, ie, キーポーズ生成, そしてパラメトリックな動き曲線の予測によってそれを再構成する。
本稿では,経験的アニメーターによって正確にラベル付けされた大規模な音楽条件付き3DダンスデータセットPhantomDanceを提案する。
実験により、提案手法は既存のデータセットで訓練されても、流動的で、演奏的で、音楽にマッチした3Dダンスを生成できることが示されている。
論文 参考訳（メタデータ） (2021-03-18T12:17:38Z) - Learning to Generate Diverse Dance Motions with Transformer [67.43270523386185]
ダンス・モーション・シンセサイザーのための完全なシステムを提案する。
大規模なダンスモーションデータセットはYouTubeビデオから作成される。
新たな2ストリームモーショントランス生成モデルでは、高い柔軟性で動作シーケンスを生成することができる。
論文 参考訳（メタデータ） (2020-08-18T22:29:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。