論文の概要: BRACE: The Breakdancing Competition Dataset for Dance Motion Synthesis

• arxiv url: http://arxiv.org/abs/2207.10120v2
• Date: Fri, 22 Jul 2022 13:02:35 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-25 10:48:49.934690
• Title: BRACE: The Breakdancing Competition Dataset for Dance Motion Synthesis
• Title（参考訳）: brace:ダンスモーション合成のためのブレイクダンス競技データセット
• Authors: Davide Moltisanti, Jinyi Wu, Bo Dai, Chen Change Loy
• Abstract要約: ダンス・モーション・シンセサイザーにおける一般的な仮定に挑戦する新しいデータセットを提案する。 我々は、アクロバティックな動きと絡み合った姿勢を特徴とするブレイクダンスに焦点を当てている。 BRACEデータセットは、3時間30分以上の濃密な注釈付きポーズを含む。
• 参考スコア（独自算出の注目度）: 123.73677487809418
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Generative models for audio-conditioned dance motion synthesis map music features to dance movements. Models are trained to associate motion patterns to audio patterns, usually without an explicit knowledge of the human body. This approach relies on a few assumptions: strong music-dance correlation, controlled motion data and relatively simple poses and movements. These characteristics are found in all existing datasets for dance motion synthesis, and indeed recent methods can achieve good results.We introduce a new dataset aiming to challenge these common assumptions, compiling a set of dynamic dance sequences displaying complex human poses. We focus on breakdancing which features acrobatic moves and tangled postures. We source our data from the Red Bull BC One competition videos. Estimating human keypoints from these videos is difficult due to the complexity of the dance, as well as the multiple moving cameras recording setup. We adopt a hybrid labelling pipeline leveraging deep estimation models as well as manual annotations to obtain good quality keypoint sequences at a reduced cost. Our efforts produced the BRACE dataset, which contains over 3 hours and 30 minutes of densely annotated poses. We test state-of-the-art methods on BRACE, showing their limitations when evaluated on complex sequences. Our dataset can readily foster advance in dance motion synthesis. With intricate poses and swift movements, models are forced to go beyond learning a mapping between modalities and reason more effectively about body structure and movements.
• Abstract（参考訳）: 音響条件付きダンスモーション合成のための生成モデル -ダンスモーションに対する音楽特徴- モデルは通常、人体の明確な知識なしに、動きパターンとオーディオパターンを関連付けるように訓練されている。 このアプローチは、強い音楽-ダンス相関、制御された動きデータ、比較的単純なポーズと動きの仮定に依存している。 これらの特徴はダンス・モーション・シンセサイザーのための既存のすべてのデータセットに見られ、実際に最近の手法で良い結果が得られ、複雑な人間のポーズを示す動的なダンス・シーケンスの集合をコンパイルし、これらの一般的な仮定に挑戦する新しいデータセットを導入する。 我々はアクロバティックな動きと絡み合った姿勢を特徴とするブレイクダンスに焦点を当てている。 本誌はRed Bull BC Oneのコンペティションビデオからデータを入手した。 これらのビデオから人間のキーポイントを推定するのは、ダンスの複雑さと複数の移動カメラが記録されるため難しい。 我々は,詳細な推定モデルと手動アノテーションを活用して,高品質なキーポイントシーケンスを低コストで取得するハイブリッドラベリングパイプラインを採用する。 当社の努力は、3時間30分以上の密に注釈されたポーズを含むbraceデータセットを作成しました。 我々は,ブラスに関する最先端手法をテストし,複雑なシーケンスで評価した場合の限界を示した。 我々のデータセットは容易にダンスモーション合成の進歩を育むことができる。 複雑なポーズやスイフトの動きでは、モデルはモダリティと理性の間のマッピングを学ぶこと以上のことを余儀なくされます。

関連論文リスト

• Duolando: Follower GPT with Off-Policy Reinforcement Learning for Dance Accompaniment [87.20240797625648]
  舞踊伴奏と呼ばれる3次元舞踊生成の分野における新しい課題を紹介する。 これは、リードダンサーの動きと、基礎となる音楽リズムと同期した「フォロワー」と呼ばれるダンスパートナーからの応答的な動きを生成する必要がある。 本稿では,GPTに基づくDuolandoモデルを提案する。このモデルでは,音楽の協調情報,リーダの動作,従者の動きに基づいて,後続のトークン化動作を自動回帰予測する。
  論文  参考訳（メタデータ） (2024-03-27T17:57:02Z)
• DanceCamera3D: 3D Camera Movement Synthesis with Music and Dance [50.01162760878841]
  DCMは、カメラの動きとダンスモーションと音楽オーディオを組み合わせた、新しいマルチモーダルな3Dデータセットである。 このデータセットは、アニメコミュニティからのペアダンスカメラ音楽データの108のダンスシーケンス(3.2時間)を含む。 本研究では,新しいボディアテンション損失と条件分離戦略を組み込んだトランスフォーマーに基づく拡散モデルであるDanceCamera3Dを提案する。
  論文  参考訳（メタデータ） (2024-03-20T15:24:57Z)
• QEAN: Quaternion-Enhanced Attention Network for Visual Dance Generation [6.060426136203966]
  四元数を考慮した視覚舞踊合成のための四元数拡張注意ネットワーク(QEAN)を提案する。 第一に、SPEは位置情報を回転的に自己注意に埋め込み、運動シーケンスと音声シーケンスの特徴をよりよく学習する。 第2に、QRAは一連の四元数という形で3Dモーション特徴とオーディオ特徴を表現・融合し、モデルが音楽とダンスの時間的調整をよりよく学習できるようにする。
  論文  参考訳（メタデータ） (2024-03-18T09:58:43Z)
• DiffDance: Cascaded Human Motion Diffusion Model for Dance Generation [89.50310360658791]
  本稿では,高分解能長周期ダンス生成のための新しい動き拡散モデルDiffDanceを提案する。 本モデルは、音楽間拡散モデルとシーケンス超解像拡散モデルとから構成される。 DiffDanceは、入力された音楽と効果的に一致したリアルなダンスシーケンスを生成することができることを実証する。
  論文  参考訳（メタデータ） (2023-08-05T16:18:57Z)
• Rhythm is a Dancer: Music-Driven Motion Synthesis with Global Structure [47.09425316677689]
  本稿では、入力ビートと同期した人間の動作の長期シーケンスを生成する音楽駆動型モーション合成フレームワークを提案する。 我々のフレームワークは、ビートだけでなく、音楽の内容によって制御される多様な動きの生成を可能にする。
  論文  参考訳（メタデータ） (2021-11-23T21:26:31Z)
• Transflower: probabilistic autoregressive dance generation with multimodal attention [31.308435764603658]
  本稿では,従来のポーズに条件付き正規化フローと音楽文脈をモデル化した,確率的自己回帰型アーキテクチャを提案する。 第2に,プロとカジュアルの両方のダンサーを含む,さまざまなモーションキャプチャ技術で得られた,現在最大の3Dダンスモーションデータセットを紹介する。
  論文  参考訳（メタデータ） (2021-06-25T20:14:28Z)
• DanceFormer: Music Conditioned 3D Dance Generation with Parametric Motion Transformer [23.51701359698245]
  本稿では、2段階のプロセス, ie, キーポーズ生成, そしてパラメトリックな動き曲線の予測によってそれを再構成する。 本稿では,経験的アニメーターによって正確にラベル付けされた大規模な音楽条件付き3DダンスデータセットPhantomDanceを提案する。 実験により、提案手法は既存のデータセットで訓練されても、流動的で、演奏的で、音楽にマッチした3Dダンスを生成できることが示されている。
  論文  参考訳（メタデータ） (2021-03-18T12:17:38Z)
• Learning to Generate Diverse Dance Motions with Transformer [67.43270523386185]
  ダンス・モーション・シンセサイザーのための完全なシステムを提案する。 大規模なダンスモーションデータセットはYouTubeビデオから作成される。 新たな2ストリームモーショントランス生成モデルでは、高い柔軟性で動作シーケンスを生成することができる。
  論文  参考訳（メタデータ） (2020-08-18T22:29:40Z)
• Dance Revolution: Long-Term Dance Generation with Music via Curriculum Learning [55.854205371307884]
  音楽条件付きダンス生成をシーケンス・ツー・シーケンスの学習問題として定式化する。 本稿では,長動き列生成における自己回帰モデルの誤り蓄積を軽減するための新しいカリキュラム学習戦略を提案する。 提案手法は,自動計測と人的評価において,既存の最先端技術よりも大幅に優れている。
  論文  参考訳（メタデータ） (2020-06-11T00:08:25Z)
• Music2Dance: DanceNet for Music-driven Dance Generation [11.73506542921528]
  本研究では,音楽のスタイル,リズム,メロディを制御信号とする自己回帰生成モデルDanceNetを提案する。 プロのダンサーによる複数の同期音楽ダンスペアをキャプチャし、高品質な音楽ダンスペアデータセットを構築する。
  論文  参考訳（メタデータ） (2020-02-02T17:18:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。