論文の概要: DanceNet3D: Music Based Dance Generation with Parametric Motion Transformer

• arxiv url: http://arxiv.org/abs/2103.10206v2
• Date: Sat, 20 Mar 2021 07:28:26 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-23 13:13:15.805173
• Title: DanceNet3D: Music Based Dance Generation with Parametric Motion Transformer
• Title（参考訳）: DanceNet3D:パラメトリックモーショントランスを用いた音楽ベースダンス生成
• Authors: Buyu Li, Yongchi Zhao, Lu Sheng
• Abstract要約: 音楽全体から生き生きとしたダンスを生み出すことができる新しい深層学習フレームワークを提案します。 提案したフレームワークはDanceNet3Dと呼ばれ、まず与えられた音楽のビートにキーポーズを生成し、その間の動き曲線を予測する。
• 参考スコア（独自算出の注目度）: 26.560190187010043
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this work, we propose a novel deep learning framework that can generate a vivid dance from a whole piece of music. In contrast to previous works that define the problem as generation of frames of motion state parameters, we formulate the task as a prediction of motion curves between key poses, which is inspired by the animation industry practice. The proposed framework, named DanceNet3D, first generates key poses on beats of the given music and then predicts the in-between motion curves. DanceNet3D adopts the encoder-decoder architecture and the adversarial schemes for training. The decoders in DanceNet3D are constructed on MoTrans, a transformer tailored for motion generation. In MoTrans we introduce the kinematic correlation by the Kinematic Chain Networks, and we also propose the Learned Local Attention module to take the temporal local correlation of human motion into consideration. Furthermore, we propose PhantomDance, the first large-scale dance dataset produced by professional animatiors, with accurate synchronization with music. Extensive experiments demonstrate that the proposed approach can generate fluent, elegant, performative and beat-synchronized 3D dances, which significantly surpasses previous works quantitatively and qualitatively.
• Abstract（参考訳）: 本研究では,音楽全体から鮮やかなダンスを生成できる新しい深層学習フレームワークを提案する。 課題を運動状態パラメータのフレーム生成と定義した先行研究とは対照的に,この課題を,アニメーション産業の実践に触発された,キーポーズ間の動き曲線の予測として定式化する。 提案したフレームワークはDanceNet3Dと呼ばれ、まず与えられた音楽のビートにキーポーズを生成し、その間の動き曲線を予測する。 DanceNet3Dは、エンコーダ・デコーダアーキテクチャと、トレーニングのための敵のスキームを採用している。 DanceNet3Dのデコーダはモーション生成に適した変換器であるMoTrans上に構築されている。 MoTransでは,キネマティック・チェーン・ネットワークによるキネマティック・相関を導入し,人間の動作の時間的局所的相関を考慮に入れた学習的局所注意モジュールを提案する。 さらに,プロのアニマティエータが生成した最初の大規模ダンスデータセットであるPhantomDanceを提案する。 広範囲にわたる実験により、提案手法は、能動的、エレガント、パフォーマンス、ビート同期の3dダンスを生成できることが示されている。

関連論文リスト

• DanceCamAnimator: Keyframe-Based Controllable 3D Dance Camera Synthesis [49.614150163184064]
  ダンスカメラの動きは、可変長の連続的なシーケンスと、複数のカメラの切り替えをシミュレートする突然の変化の両方を含む。 本稿では,この課題をアニメーター検出,合成,ツイーン関数予測という3段階のプロセスとして定式化し,撮影知識を統合することを提案する。 この定式化に続いて、人間のアニメーション手順を模倣し、可変長の強力な制御性を示す新しいエンドツーエンドのダンスカメラフレームワーク textbfDanceCamAnimator を設計する。
  論文  参考訳（メタデータ） (2024-09-23T11:20:44Z)
• Duolando: Follower GPT with Off-Policy Reinforcement Learning for Dance Accompaniment [87.20240797625648]
  舞踊伴奏と呼ばれる3次元舞踊生成の分野における新しい課題を紹介する。 これは、リードダンサーの動きと、基礎となる音楽リズムと同期した「フォロワー」と呼ばれるダンスパートナーからの応答的な動きを生成する必要がある。 本稿では,GPTに基づくDuolandoモデルを提案する。このモデルでは,音楽の協調情報,リーダの動作,従者の動きに基づいて,後続のトークン化動作を自動回帰予測する。
  論文  参考訳（メタデータ） (2024-03-27T17:57:02Z)
• QEAN: Quaternion-Enhanced Attention Network for Visual Dance Generation [6.060426136203966]
  四元数を考慮した視覚舞踊合成のための四元数拡張注意ネットワーク(QEAN)を提案する。 第一に、SPEは位置情報を回転的に自己注意に埋め込み、運動シーケンスと音声シーケンスの特徴をよりよく学習する。 第2に、QRAは一連の四元数という形で3Dモーション特徴とオーディオ特徴を表現・融合し、モデルが音楽とダンスの時間的調整をよりよく学習できるようにする。
  論文  参考訳（メタデータ） (2024-03-18T09:58:43Z)
• TM2D: Bimodality Driven 3D Dance Generation via Music-Text Integration [75.37311932218773]
  テキストと音楽の両方を同時に組み込んだ3Dダンス運動を生成するための新しいタスクを提案する。 本手法は,テキストと音楽の両方に調和した現実的かつ一貫性のあるダンスの動きを生成できると同時に,2つの単一モーダルと同等の性能を維持することができる。
  論文  参考訳（メタデータ） (2023-04-05T12:58:33Z)
• BRACE: The Breakdancing Competition Dataset for Dance Motion Synthesis [123.73677487809418]
  ダンス・モーション・シンセサイザーにおける一般的な仮定に挑戦する新しいデータセットを提案する。 我々は、アクロバティックな動きと絡み合った姿勢を特徴とするブレイクダンスに焦点を当てている。 BRACEデータセットは、3時間30分以上の濃密な注釈付きポーズを含む。
  論文  参考訳（メタデータ） (2022-07-20T18:03:54Z)
• Bailando: 3D Dance Generation by Actor-Critic GPT with Choreographic Memory [92.81383016482813]
  そこで我々は3Dキャラクターを1曲の楽曲に追従して踊るための新しい音楽間距離フレームワークBailandoを提案する。 本稿では,音楽に忠実な流麗なダンスにユニットを構成するアクタ批判型生成事前学習変換器(GPT)を紹介する。 提案するフレームワークは,定性的かつ定量的に最先端の性能を実現する。
  論文  参考訳（メタデータ） (2022-03-24T13:06:43Z)
• Transflower: probabilistic autoregressive dance generation with multimodal attention [31.308435764603658]
  本稿では,従来のポーズに条件付き正規化フローと音楽文脈をモデル化した,確率的自己回帰型アーキテクチャを提案する。 第2に,プロとカジュアルの両方のダンサーを含む,さまざまなモーションキャプチャ技術で得られた,現在最大の3Dダンスモーションデータセットを紹介する。
  論文  参考訳（メタデータ） (2021-06-25T20:14:28Z)
• Learning to Generate Diverse Dance Motions with Transformer [67.43270523386185]
  ダンス・モーション・シンセサイザーのための完全なシステムを提案する。 大規模なダンスモーションデータセットはYouTubeビデオから作成される。 新たな2ストリームモーショントランス生成モデルでは、高い柔軟性で動作シーケンスを生成することができる。
  論文  参考訳（メタデータ） (2020-08-18T22:29:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。