論文の概要: OpenDance: Multimodal Controllable 3D Dance Generation Using Large-scale Internet Data
- arxiv url: http://arxiv.org/abs/2506.07565v1
- Date: Mon, 09 Jun 2025 09:05:13 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-06-10 16:33:10.879744
- Title: OpenDance: Multimodal Controllable 3D Dance Generation Using Large-scale Internet Data
- Title（参考訳）: OpenDance:大規模インターネットデータを用いたマルチモーダル制御可能な3Dダンス生成
- Authors: Jinlu Zhang, Zixi Kang, Yizhou Wang,
- Abstract要約: OpenDance5Dは、14の異なるジャンルにわたる101時間以上の人間のダンスデータセットです。
それぞれのサンプルには、RGBビデオ、オーディオ、2Dキーポイント、3Dモーション、そして人間の芸術作品の細かい記述など、堅牢なクロスモーダル学習を促進するための5つのモダリティがある。
音楽に条件付けされた制御可能なダンス生成のための統一的なモデリングフレームワークOpenDanceNetと、テキストプロンプト、キーポイント、文字位置決めの任意の組み合わせを提案する。
- 参考スコア（独自算出の注目度）: 11.915309859714675
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Music-driven dance generation offers significant creative potential yet faces considerable challenges. The absence of fine-grained multimodal data and the difficulty of flexible multi-conditional generation limit previous works on generation controllability and diversity in practice. In this paper, we build OpenDance5D, an extensive human dance dataset comprising over 101 hours across 14 distinct genres. Each sample has five modalities to facilitate robust cross-modal learning: RGB video, audio, 2D keypoints, 3D motion, and fine-grained textual descriptions from human arts. Furthermore, we propose OpenDanceNet, a unified masked modeling framework for controllable dance generation conditioned on music and arbitrary combinations of text prompts, keypoints, or character positioning. Comprehensive experiments demonstrate that OpenDanceNet achieves high-fidelity and flexible controllability.
- Abstract（参考訳）: 音楽によるダンス生成は、創造的な可能性を秘めているが、かなりの課題に直面している。
微粒なマルチモーダルデータの欠如と、フレキシブルなマルチ条件生成制限の難しさは、実際には生成の可制御性と多様性に関する過去の研究である。
本稿では,14のジャンルにまたがって101時間を超える人間のダンスデータセットであるOpenDance5Dを構築した。
それぞれのサンプルには、RGBビデオ、オーディオ、2Dキーポイント、3Dモーション、そして人間の芸術作品の細かい記述など、堅牢なクロスモーダル学習を促進するための5つのモダリティがある。
さらに,音楽に条件付けされた制御可能なダンス生成と,テキストプロンプト,キーポイント,文字位置の任意の組み合わせのための統一マスク付きモデリングフレームワークOpenDanceNetを提案する。
総合的な実験により、OpenDanceNetは高忠実で柔軟な制御性を実現している。
関連論文リスト
- GCDance: Genre-Controlled 3D Full Body Dance Generation Driven By Music [22.352036716156967]
GCDanceは、音楽とテキストの両方のプロンプトに条件付きジャンル固有のダンスモーションを生成するための分類器なし拡散フレームワークである。
提案手法は,高レベルな事前学習音楽基礎モデルと手作りのマルチグラニュラリティ特徴融合機能を組み合わせることで,音楽の特徴を抽出する。
論文 参考訳（メタデータ） (2025-02-25T15:53:18Z) - DanceCamera3D: 3D Camera Movement Synthesis with Music and Dance [50.01162760878841]
DCMは、カメラの動きとダンスモーションと音楽オーディオを組み合わせた、新しいマルチモーダルな3Dデータセットである。
このデータセットは、アニメコミュニティからのペアダンスカメラ音楽データの108のダンスシーケンス(3.2時間)を含む。
本研究では,新しいボディアテンション損失と条件分離戦略を組み込んだトランスフォーマーに基づく拡散モデルであるDanceCamera3Dを提案する。
論文 参考訳（メタデータ） (2024-03-20T15:24:57Z) - TM2D: Bimodality Driven 3D Dance Generation via Music-Text Integration [75.37311932218773]
テキストと音楽の両方を同時に組み込んだ3Dダンス運動を生成するための新しいタスクを提案する。
本手法は,テキストと音楽の両方に調和した現実的かつ一貫性のあるダンスの動きを生成できると同時に,2つの単一モーダルと同等の性能を維持することができる。
論文 参考訳（メタデータ） (2023-04-05T12:58:33Z) - FineDance: A Fine-grained Choreography Dataset for 3D Full Body Dance
Generation [33.9261932800456]
ファインダンス(FineDance)は、ダンスのジャンルで最大の音楽とダンスのペアデータセットである。
従来手法に存在した単調・不自然な手の動きに対処するため,フルボディダンス生成ネットワークを提案する。
生成したダンスのジャンルマッチングと長期的安定性をさらに向上するため,Genre&Coherent aware Retrieval Moduleを提案する。
論文 参考訳（メタデータ） (2022-12-07T16:10:08Z) - Bailando: 3D Dance Generation by Actor-Critic GPT with Choreographic
Memory [92.81383016482813]
そこで我々は3Dキャラクターを1曲の楽曲に追従して踊るための新しい音楽間距離フレームワークBailandoを提案する。
本稿では,音楽に忠実な流麗なダンスにユニットを構成するアクタ批判型生成事前学習変換器(GPT)を紹介する。
提案するフレームワークは,定性的かつ定量的に最先端の性能を実現する。
論文 参考訳（メタデータ） (2022-03-24T13:06:43Z) - Music-to-Dance Generation with Optimal Transport [48.92483627635586]
本稿では,音楽から3Dダンス振付を生成するためのMDOT-Net(Music-to-Dance with Optimal Transport Network)を提案する。
生成したダンス分布とグロモフ=ワッサーシュタイン距離の信頼度を評価するための最適な移動距離を導入し、ダンス分布と入力音楽の対応性を測定する。
論文 参考訳（メタデータ） (2021-12-03T09:37:26Z) - Learn to Dance with AIST++: Music Conditioned 3D Dance Generation [28.623222697548456]
音楽に基づく3Dダンス生成のためのトランスフォーマーに基づく学習フレームワークを提案する。
また、AISTのマルチビューダンスビデオから再構成した、AIST++と呼ばれる3Dモーションと音楽のペア化データセットを提案する。
論文 参考訳（メタデータ） (2021-01-21T18:59:22Z) - Learning to Generate Diverse Dance Motions with Transformer [67.43270523386185]
ダンス・モーション・シンセサイザーのための完全なシステムを提案する。
大規模なダンスモーションデータセットはYouTubeビデオから作成される。
新たな2ストリームモーショントランス生成モデルでは、高い柔軟性で動作シーケンスを生成することができる。
論文 参考訳（メタデータ） (2020-08-18T22:29:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。