論文の概要: DanceCamera3D: 3D Camera Movement Synthesis with Music and Dance
- arxiv url: http://arxiv.org/abs/2403.13667v1
- Date: Wed, 20 Mar 2024 15:24:57 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-21 16:28:26.791385
- Title: DanceCamera3D: 3D Camera Movement Synthesis with Music and Dance
- Title（参考訳）: DanceCamera3D:音楽とダンスによる3Dカメラモーション合成
- Authors: Zixuan Wang, Jia Jia, Shikun Sun, Haozhe Wu, Rong Han, Zhenyu Li, Di Tang, Jiaqing Zhou, Jiebo Luo,
- Abstract要約: DCMは、カメラの動きとダンスモーションと音楽オーディオを組み合わせた、新しいマルチモーダルな3Dデータセットである。
このデータセットは、アニメコミュニティからのペアダンスカメラ音楽データの108のダンスシーケンス(3.2時間)を含む。
本研究では,新しいボディアテンション損失と条件分離戦略を組み込んだトランスフォーマーに基づく拡散モデルであるDanceCamera3Dを提案する。
- 参考スコア（独自算出の注目度）: 50.01162760878841
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Choreographers determine what the dances look like, while cameramen determine the final presentation of dances. Recently, various methods and datasets have showcased the feasibility of dance synthesis. However, camera movement synthesis with music and dance remains an unsolved challenging problem due to the scarcity of paired data. Thus, we present DCM, a new multi-modal 3D dataset, which for the first time combines camera movement with dance motion and music audio. This dataset encompasses 108 dance sequences (3.2 hours) of paired dance-camera-music data from the anime community, covering 4 music genres. With this dataset, we uncover that dance camera movement is multifaceted and human-centric, and possesses multiple influencing factors, making dance camera synthesis a more challenging task compared to camera or dance synthesis alone. To overcome these difficulties, we propose DanceCamera3D, a transformer-based diffusion model that incorporates a novel body attention loss and a condition separation strategy. For evaluation, we devise new metrics measuring camera movement quality, diversity, and dancer fidelity. Utilizing these metrics, we conduct extensive experiments on our DCM dataset, providing both quantitative and qualitative evidence showcasing the effectiveness of our DanceCamera3D model. Code and video demos are available at https://github.com/Carmenw1203/DanceCamera3D-Official.
- Abstract（参考訳）: 振付師はダンスがどのようなものかを決定するが、カメラマンはダンスの最後のプレゼンテーションを決定する。
近年,様々な手法やデータセットがダンス合成の可能性を示している。
しかし、ペアデータの不足により、音楽やダンスによるカメラの動き合成は未解決の問題のままである。
そこで我々は、DCMという新しいマルチモーダルな3Dデータセットを提案し、初めてカメラの動きとダンスモーションと音楽オーディオを組み合わせた。
このデータセットは、アニメコミュニティからのペアダンス・カメラ・ミュージック・データの108のダンス・シーケンス(3.2時間)を含み、4つのジャンルをカバーしている。
このデータセットにより、ダンスカメラの動きは多面的であり、人間中心であり、複数の要因を持つことが明らかとなり、ダンスカメラの合成は、カメラやダンスの合成だけでは難しい課題となる。
これらの課題を克服するために,トランスフォーマーに基づく拡散モデルであるDanceCamera3Dを提案する。
評価のために,カメラの動きの質,多様性,ダンサーの忠実度を計測する新しい指標を考案した。
これらの指標を利用して、DCMデータセット上で広範な実験を行い、DanceCamera3Dモデルの有効性を示す定量的および定性的な証拠を提供する。
コードとビデオのデモはhttps://github.com/Carmenw1203/DanceCamera3D-Official.comで公開されている。
関連論文リスト
- DanceCamAnimator: Keyframe-Based Controllable 3D Dance Camera Synthesis [49.614150163184064]
ダンスカメラの動きは、可変長の連続的なシーケンスと、複数のカメラの切り替えをシミュレートする突然の変化の両方を含む。
本稿では,この課題をアニメーター検出,合成,ツイーン関数予測という3段階のプロセスとして定式化し,撮影知識を統合することを提案する。
この定式化に続いて、人間のアニメーション手順を模倣し、可変長の強力な制御性を示す新しいエンドツーエンドのダンスカメラフレームワーク textbfDanceCamAnimator を設計する。
論文 参考訳（メタデータ） (2024-09-23T11:20:44Z) - Duolando: Follower GPT with Off-Policy Reinforcement Learning for Dance Accompaniment [87.20240797625648]
舞踊伴奏と呼ばれる3次元舞踊生成の分野における新しい課題を紹介する。
これは、リードダンサーの動きと、基礎となる音楽リズムと同期した「フォロワー」と呼ばれるダンスパートナーからの応答的な動きを生成する必要がある。
本稿では,GPTに基づくDuolandoモデルを提案する。このモデルでは,音楽の協調情報,リーダの動作,従者の動きに基づいて,後続のトークン化動作を自動回帰予測する。
論文 参考訳（メタデータ） (2024-03-27T17:57:02Z) - Music- and Lyrics-driven Dance Synthesis [25.474741654098114]
音楽と歌詞を用いた新しい3Dダンス・モーション・データセットであるJustLMDを紹介した。
私たちの知る限りでは、ダンスの動き、音楽、歌詞を含む三重奏情報を備えた最初のデータセットである。
提案したJustLMDデータセットは、1867年の連続した3Dダンスの4.6時間、音楽トラックとそれに対応する英語の歌詞を伴って構成されている。
論文 参考訳（メタデータ） (2023-09-30T18:27:14Z) - TM2D: Bimodality Driven 3D Dance Generation via Music-Text Integration [75.37311932218773]
テキストと音楽の両方を同時に組み込んだ3Dダンス運動を生成するための新しいタスクを提案する。
本手法は,テキストと音楽の両方に調和した現実的かつ一貫性のあるダンスの動きを生成できると同時に,2つの単一モーダルと同等の性能を維持することができる。
論文 参考訳（メタデータ） (2023-04-05T12:58:33Z) - Music-Driven Group Choreography [10.501572863039852]
$rm AIOZ-GDANCE$は、音楽駆動のグループダンス生成のための新しい大規模データセットである。
集団舞踊運動の生成に単一舞踊生成法を鼻で適用することで,満足のいく結果が得られないことが示唆された。
本稿では,複数のグループコヒーレントな振付を効率よく作成するために,入力音楽シーケンスとダンサーの3D位置のセットを取り入れた新しい手法を提案する。
論文 参考訳（メタデータ） (2023-03-22T06:26:56Z) - BRACE: The Breakdancing Competition Dataset for Dance Motion Synthesis [123.73677487809418]
ダンス・モーション・シンセサイザーにおける一般的な仮定に挑戦する新しいデータセットを提案する。
我々は、アクロバティックな動きと絡み合った姿勢を特徴とするブレイクダンスに焦点を当てている。
BRACEデータセットは、3時間30分以上の濃密な注釈付きポーズを含む。
論文 参考訳（メタデータ） (2022-07-20T18:03:54Z) - Unsupervised 3D Pose Estimation for Hierarchical Dance Video Recognition [13.289339907084424]
階層型ダンスビデオ認識フレームワーク(HDVR)を提案する。
HDVRは2Dポーズシーケンスを推定し、ダンサーを追跡し、同時に対応する3Dポーズと3Dから2Dイメージングパラメータを推定する。
推定した3Dポーズシーケンスから、HDVRは身体部分の動きを抽出し、ダンスジャンルから抽出する。
論文 参考訳（メタデータ） (2021-09-19T16:59:37Z) - Learn to Dance with AIST++: Music Conditioned 3D Dance Generation [28.623222697548456]
音楽に基づく3Dダンス生成のためのトランスフォーマーに基づく学習フレームワークを提案する。
また、AISTのマルチビューダンスビデオから再構成した、AIST++と呼ばれる3Dモーションと音楽のペア化データセットを提案する。
論文 参考訳（メタデータ） (2021-01-21T18:59:22Z) - Learning to Generate Diverse Dance Motions with Transformer [67.43270523386185]
ダンス・モーション・シンセサイザーのための完全なシステムを提案する。
大規模なダンスモーションデータセットはYouTubeビデオから作成される。
新たな2ストリームモーショントランス生成モデルでは、高い柔軟性で動作シーケンスを生成することができる。
論文 参考訳（メタデータ） (2020-08-18T22:29:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。