論文の概要: DanceFormer: Music Conditioned 3D Dance Generation with Parametric Motion Transformer

• arxiv url: http://arxiv.org/abs/2103.10206v5
• Date: Thu, 27 Jul 2023 08:49:55 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-28 21:08:58.945307
• Title: DanceFormer: Music Conditioned 3D Dance Generation with Parametric Motion Transformer
• Title（参考訳）: DanceFormer:パラメトリックモーショントランスを用いた音楽調和型3Dダンス生成
• Authors: Buyu Li, Yongchi Zhao, Zhelun Shi, Lu Sheng
• Abstract要約: 本稿では、2段階のプロセス, ie, キーポーズ生成, そしてパラメトリックな動き曲線の予測によってそれを再構成する。 本稿では,経験的アニメーターによって正確にラベル付けされた大規模な音楽条件付き3DダンスデータセットPhantomDanceを提案する。 実験により、提案手法は既存のデータセットで訓練されても、流動的で、演奏的で、音楽にマッチした3Dダンスを生成できることが示されている。
• 参考スコア（独自算出の注目度）: 23.51701359698245
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Generating 3D dances from music is an emerged research task that benefits a lot of applications in vision and graphics. Previous works treat this task as sequence generation, however, it is challenging to render a music-aligned long-term sequence with high kinematic complexity and coherent movements. In this paper, we reformulate it by a two-stage process, ie, a key pose generation and then an in-between parametric motion curve prediction, where the key poses are easier to be synchronized with the music beats and the parametric curves can be efficiently regressed to render fluent rhythm-aligned movements. We named the proposed method as DanceFormer, which includes two cascading kinematics-enhanced transformer-guided networks (called DanTrans) that tackle each stage, respectively. Furthermore, we propose a large-scale music conditioned 3D dance dataset, called PhantomDance, that is accurately labeled by experienced animators rather than reconstruction or motion capture. This dataset also encodes dances as key poses and parametric motion curves apart from pose sequences, thus benefiting the training of our DanceFormer. Extensive experiments demonstrate that the proposed method, even trained by existing datasets, can generate fluent, performative, and music-matched 3D dances that surpass previous works quantitatively and qualitatively. Moreover, the proposed DanceFormer, together with the PhantomDance dataset (https://github.com/libuyu/PhantomDanceDataset), are seamlessly compatible with industrial animation software, thus facilitating the adaptation for various downstream applications.
• Abstract（参考訳）: 音楽から3dダンスを生成することは、視覚とグラフィックの多くの応用に役立つ、出現した研究課題である。 以前の作品では、このタスクをシーケンス生成として扱っていたが、高いキネマティックな複雑さとコヒーレントな動きを持つ音楽指向の長期的なシーケンスをレンダリングすることは困難である。 本稿では,2段階のプロセス,すなわちキーポーズ生成,それから2段階のパラメトリック動作曲線予測によって,キーポーズが音楽のビートと同期しやすくなり,パラメトリック曲線を効率よく回帰し,流速リズムに沿った動きを描画する。 そこで我々は,提案手法をDanceFormerと命名し,各ステージに対応する2つのカスケーディングキネマティクス付きトランスフォーマー誘導ネットワーク(DanTrans)を含む。 さらに,大規模な音楽条件付3dダンスデータセットであるphantomdanceを提案し,リコンストラクションやモーションキャプチャではなく,経験豊富なアニメーターによって正確にラベル付けされる。 このデータセットは、ポーズシーケンスとは別に、キーポーズとパラメトリックモーションカーブとしてダンスをエンコードするので、DanceFormerのトレーニングに役立ちます。 大規模な実験により,提案手法は既存のデータセットで訓練されてさえも,従来の作品を定量的かつ質的に超越した,流動的で演奏性の高い3Dダンスを生成できることが実証された。 さらに、提案されたDanceFormerはPhantomDanceデータセット(https://github.com/libuyu/PhantomDanceDataset)とともに産業アニメーションソフトウェアとシームレスに互換性があり、様々な下流アプリケーションへの適応を容易にする。

関連論文リスト

• DanceCamAnimator: Keyframe-Based Controllable 3D Dance Camera Synthesis [49.614150163184064]
  ダンスカメラの動きは、可変長の連続的なシーケンスと、複数のカメラの切り替えをシミュレートする突然の変化の両方を含む。 本稿では,この課題をアニメーター検出,合成,ツイーン関数予測という3段階のプロセスとして定式化し,撮影知識を統合することを提案する。 この定式化に続いて、人間のアニメーション手順を模倣し、可変長の強力な制御性を示す新しいエンドツーエンドのダンスカメラフレームワーク textbfDanceCamAnimator を設計する。
  論文  参考訳（メタデータ） (2024-09-23T11:20:44Z)
• Duolando: Follower GPT with Off-Policy Reinforcement Learning for Dance Accompaniment [87.20240797625648]
  舞踊伴奏と呼ばれる3次元舞踊生成の分野における新しい課題を紹介する。 これは、リードダンサーの動きと、基礎となる音楽リズムと同期した「フォロワー」と呼ばれるダンスパートナーからの応答的な動きを生成する必要がある。 本稿では,GPTに基づくDuolandoモデルを提案する。このモデルでは,音楽の協調情報,リーダの動作,従者の動きに基づいて,後続のトークン化動作を自動回帰予測する。
  論文  参考訳（メタデータ） (2024-03-27T17:57:02Z)
• QEAN: Quaternion-Enhanced Attention Network for Visual Dance Generation [6.060426136203966]
  四元数を考慮した視覚舞踊合成のための四元数拡張注意ネットワーク(QEAN)を提案する。 第一に、SPEは位置情報を回転的に自己注意に埋め込み、運動シーケンスと音声シーケンスの特徴をよりよく学習する。 第2に、QRAは一連の四元数という形で3Dモーション特徴とオーディオ特徴を表現・融合し、モデルが音楽とダンスの時間的調整をよりよく学習できるようにする。
  論文  参考訳（メタデータ） (2024-03-18T09:58:43Z)
• TM2D: Bimodality Driven 3D Dance Generation via Music-Text Integration [75.37311932218773]
  テキストと音楽の両方を同時に組み込んだ3Dダンス運動を生成するための新しいタスクを提案する。 本手法は,テキストと音楽の両方に調和した現実的かつ一貫性のあるダンスの動きを生成できると同時に,2つの単一モーダルと同等の性能を維持することができる。
  論文  参考訳（メタデータ） (2023-04-05T12:58:33Z)
• BRACE: The Breakdancing Competition Dataset for Dance Motion Synthesis [123.73677487809418]
  ダンス・モーション・シンセサイザーにおける一般的な仮定に挑戦する新しいデータセットを提案する。 我々は、アクロバティックな動きと絡み合った姿勢を特徴とするブレイクダンスに焦点を当てている。 BRACEデータセットは、3時間30分以上の濃密な注釈付きポーズを含む。
  論文  参考訳（メタデータ） (2022-07-20T18:03:54Z)
• Bailando: 3D Dance Generation by Actor-Critic GPT with Choreographic Memory [92.81383016482813]
  そこで我々は3Dキャラクターを1曲の楽曲に追従して踊るための新しい音楽間距離フレームワークBailandoを提案する。 本稿では,音楽に忠実な流麗なダンスにユニットを構成するアクタ批判型生成事前学習変換器(GPT)を紹介する。 提案するフレームワークは,定性的かつ定量的に最先端の性能を実現する。
  論文  参考訳（メタデータ） (2022-03-24T13:06:43Z)
• Transflower: probabilistic autoregressive dance generation with multimodal attention [31.308435764603658]
  本稿では,従来のポーズに条件付き正規化フローと音楽文脈をモデル化した,確率的自己回帰型アーキテクチャを提案する。 第2に,プロとカジュアルの両方のダンサーを含む,さまざまなモーションキャプチャ技術で得られた,現在最大の3Dダンスモーションデータセットを紹介する。
  論文  参考訳（メタデータ） (2021-06-25T20:14:28Z)
• Learning to Generate Diverse Dance Motions with Transformer [67.43270523386185]
  ダンス・モーション・シンセサイザーのための完全なシステムを提案する。 大規模なダンスモーションデータセットはYouTubeビデオから作成される。 新たな2ストリームモーショントランス生成モデルでは、高い柔軟性で動作シーケンスを生成することができる。
  論文  参考訳（メタデータ） (2020-08-18T22:29:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。