論文の概要: DanceFormer: Music Conditioned 3D Dance Generation with Parametric
Motion Transformer
- arxiv url: http://arxiv.org/abs/2103.10206v5
- Date: Thu, 27 Jul 2023 08:49:55 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-28 21:08:58.945307
- Title: DanceFormer: Music Conditioned 3D Dance Generation with Parametric
Motion Transformer
- Title(参考訳): DanceFormer:パラメトリックモーショントランスを用いた音楽調和型3Dダンス生成
- Authors: Buyu Li, Yongchi Zhao, Zhelun Shi, Lu Sheng
- Abstract要約: 本稿では、2段階のプロセス, ie, キーポーズ生成, そしてパラメトリックな動き曲線の予測によってそれを再構成する。
本稿では,経験的アニメーターによって正確にラベル付けされた大規模な音楽条件付き3DダンスデータセットPhantomDanceを提案する。
実験により、提案手法は既存のデータセットで訓練されても、流動的で、演奏的で、音楽にマッチした3Dダンスを生成できることが示されている。
- 参考スコア(独自算出の注目度): 23.51701359698245
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Generating 3D dances from music is an emerged research task that benefits a
lot of applications in vision and graphics. Previous works treat this task as
sequence generation, however, it is challenging to render a music-aligned
long-term sequence with high kinematic complexity and coherent movements. In
this paper, we reformulate it by a two-stage process, ie, a key pose generation
and then an in-between parametric motion curve prediction, where the key poses
are easier to be synchronized with the music beats and the parametric curves
can be efficiently regressed to render fluent rhythm-aligned movements. We
named the proposed method as DanceFormer, which includes two cascading
kinematics-enhanced transformer-guided networks (called DanTrans) that tackle
each stage, respectively. Furthermore, we propose a large-scale music
conditioned 3D dance dataset, called PhantomDance, that is accurately labeled
by experienced animators rather than reconstruction or motion capture. This
dataset also encodes dances as key poses and parametric motion curves apart
from pose sequences, thus benefiting the training of our DanceFormer. Extensive
experiments demonstrate that the proposed method, even trained by existing
datasets, can generate fluent, performative, and music-matched 3D dances that
surpass previous works quantitatively and qualitatively. Moreover, the proposed
DanceFormer, together with the PhantomDance dataset
(https://github.com/libuyu/PhantomDanceDataset), are seamlessly compatible with
industrial animation software, thus facilitating the adaptation for various
downstream applications.
- Abstract(参考訳): 音楽から3dダンスを生成することは、視覚とグラフィックの多くの応用に役立つ、出現した研究課題である。
以前の作品では、このタスクをシーケンス生成として扱っていたが、高いキネマティックな複雑さとコヒーレントな動きを持つ音楽指向の長期的なシーケンスをレンダリングすることは困難である。
本稿では,2段階のプロセス,すなわちキーポーズ生成,それから2段階のパラメトリック動作曲線予測によって,キーポーズが音楽のビートと同期しやすくなり,パラメトリック曲線を効率よく回帰し,流速リズムに沿った動きを描画する。
そこで我々は,提案手法をDanceFormerと命名し,各ステージに対応する2つのカスケーディングキネマティクス付きトランスフォーマー誘導ネットワーク(DanTrans)を含む。
さらに,大規模な音楽条件付3dダンスデータセットであるphantomdanceを提案し,リコンストラクションやモーションキャプチャではなく,経験豊富なアニメーターによって正確にラベル付けされる。
このデータセットは、ポーズシーケンスとは別に、キーポーズとパラメトリックモーションカーブとしてダンスをエンコードするので、DanceFormerのトレーニングに役立ちます。
大規模な実験により,提案手法は既存のデータセットで訓練されてさえも,従来の作品を定量的かつ質的に超越した,流動的で演奏性の高い3Dダンスを生成できることが実証された。
さらに、提案されたDanceFormerはPhantomDanceデータセット(https://github.com/libuyu/PhantomDanceDataset)とともに産業アニメーションソフトウェアとシームレスに互換性があり、様々な下流アプリケーションへの適応を容易にする。
関連論文リスト
- DiffDance: Cascaded Human Motion Diffusion Model for Dance Generation [89.50310360658791]
本稿では,高分解能長周期ダンス生成のための新しい動き拡散モデルDiffDanceを提案する。
本モデルは、音楽間拡散モデルとシーケンス超解像拡散モデルとから構成される。
DiffDanceは、入力された音楽と効果的に一致したリアルなダンスシーケンスを生成することができることを実証する。
論文 参考訳(メタデータ) (2023-08-05T16:18:57Z) - TM2D: Bimodality Driven 3D Dance Generation via Music-Text Integration [75.37311932218773]
テキストと音楽の両方を同時に組み込んだ3Dダンス運動を生成するための新しいタスクを提案する。
本手法は,テキストと音楽の両方に調和した現実的かつ一貫性のあるダンスの動きを生成できると同時に,2つの単一モーダルと同等の性能を維持することができる。
論文 参考訳(メタデータ) (2023-04-05T12:58:33Z) - BRACE: The Breakdancing Competition Dataset for Dance Motion Synthesis [123.73677487809418]
ダンス・モーション・シンセサイザーにおける一般的な仮定に挑戦する新しいデータセットを提案する。
我々は、アクロバティックな動きと絡み合った姿勢を特徴とするブレイクダンスに焦点を当てている。
BRACEデータセットは、3時間30分以上の濃密な注釈付きポーズを含む。
論文 参考訳(メタデータ) (2022-07-20T18:03:54Z) - Bailando: 3D Dance Generation by Actor-Critic GPT with Choreographic
Memory [92.81383016482813]
そこで我々は3Dキャラクターを1曲の楽曲に追従して踊るための新しい音楽間距離フレームワークBailandoを提案する。
本稿では,音楽に忠実な流麗なダンスにユニットを構成するアクタ批判型生成事前学習変換器(GPT)を紹介する。
提案するフレームワークは,定性的かつ定量的に最先端の性能を実現する。
論文 参考訳(メタデータ) (2022-03-24T13:06:43Z) - Music-to-Dance Generation with Optimal Transport [48.92483627635586]
本稿では,音楽から3Dダンス振付を生成するためのMDOT-Net(Music-to-Dance with Optimal Transport Network)を提案する。
生成したダンス分布とグロモフ=ワッサーシュタイン距離の信頼度を評価するための最適な移動距離を導入し、ダンス分布と入力音楽の対応性を測定する。
論文 参考訳(メタデータ) (2021-12-03T09:37:26Z) - Transflower: probabilistic autoregressive dance generation with
multimodal attention [31.308435764603658]
本稿では,従来のポーズに条件付き正規化フローと音楽文脈をモデル化した,確率的自己回帰型アーキテクチャを提案する。
第2に,プロとカジュアルの両方のダンサーを含む,さまざまなモーションキャプチャ技術で得られた,現在最大の3Dダンスモーションデータセットを紹介する。
論文 参考訳(メタデータ) (2021-06-25T20:14:28Z) - Learn to Dance with AIST++: Music Conditioned 3D Dance Generation [28.623222697548456]
音楽に基づく3Dダンス生成のためのトランスフォーマーに基づく学習フレームワークを提案する。
また、AISTのマルチビューダンスビデオから再構成した、AIST++と呼ばれる3Dモーションと音楽のペア化データセットを提案する。
論文 参考訳(メタデータ) (2021-01-21T18:59:22Z) - Learning to Generate Diverse Dance Motions with Transformer [67.43270523386185]
ダンス・モーション・シンセサイザーのための完全なシステムを提案する。
大規模なダンスモーションデータセットはYouTubeビデオから作成される。
新たな2ストリームモーショントランス生成モデルでは、高い柔軟性で動作シーケンスを生成することができる。
論文 参考訳(メタデータ) (2020-08-18T22:29:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。