論文の概要: Dance with You: The Diversity Controllable Dancer Generation via Diffusion Models

• arxiv url: http://arxiv.org/abs/2308.13551v2
• Date: Mon, 4 Sep 2023 13:12:13 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-07 02:45:58.168347
• Title: Dance with You: The Diversity Controllable Dancer Generation via Diffusion Models
• Title（参考訳）: Dance with You: The Diversity Controllable Dancer Generation by Diffusion Models
• Authors: Siyue Yao, Mingjie Sun, Bingliang Li, Fengyu Yang, Junle Wang, Ruimao Zhang
• Abstract要約: 本稿では,パートナーダンサー生成と呼ばれる新しいマルチダンサー合成タスクを提案する。 このタスクの中核は、生成されたパートナーダンサーのコントロール可能な多様性を保証することです。 マルチパーソンデータセットの欠如に対処するために、パートナーダンサー生成のための新しいデータセットであるAIST-Mを導入する。
• 参考スコア（独自算出の注目度）: 27.82646255903689
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recently, digital humans for interpersonal interaction in virtual environments have gained significant attention. In this paper, we introduce a novel multi-dancer synthesis task called partner dancer generation, which involves synthesizing virtual human dancers capable of performing dance with users. The task aims to control the pose diversity between the lead dancer and the partner dancer. The core of this task is to ensure the controllable diversity of the generated partner dancer while maintaining temporal coordination with the lead dancer. This scenario varies from earlier research in generating dance motions driven by music, as our emphasis is on automatically designing partner dancer postures according to pre-defined diversity, the pose of lead dancer, as well as the accompanying tunes. To achieve this objective, we propose a three-stage framework called Dance-with-You (DanY). Initially, we employ a 3D Pose Collection stage to collect a wide range of basic dance poses as references for motion generation. Then, we introduce a hyper-parameter that coordinates the similarity between dancers by masking poses to prevent the generation of sequences that are over-diverse or consistent. To avoid the rigidity of movements, we design a Dance Pre-generated stage to pre-generate these masked poses instead of filling them with zeros. After that, a Dance Motion Transfer stage is adopted with leader sequences and music, in which a multi-conditional sampling formula is rewritten to transfer the pre-generated poses into a sequence with a partner style. In practice, to address the lack of multi-person datasets, we introduce AIST-M, a new dataset for partner dancer generation, which is publicly availiable. Comprehensive evaluations on our AIST-M dataset demonstrate that the proposed DanY can synthesize satisfactory partner dancer results with controllable diversity.
• Abstract（参考訳）: 近年,仮想環境における対人インタラクションのためのデジタル人間が注目されている。 本稿では,ユーザとのダンスを行うことができる仮想的人間ダンサーを合成する,パートナダンサー生成という,新しいマルチダンサー合成タスクを提案する。 このタスクは、リードダンサーとパートナーダンサーの間のポーズの多様性を制御することを目的としている。 このタスクの中核は、リードダンサーとの時間的調整を維持しながら、生成したパートナーダンサーの制御可能な多様性を確保することである。 このシナリオは、事前に定義された多様性、リードダンサーのポーズ、伴奏曲に応じてパートナーダンサーの姿勢を自動的に設計することを重視し、音楽によって駆動されるダンスの動きを生成する以前の研究から異なる。 この目的を達成するために,Dance-with-You (DanY) と呼ばれる3段階のフレームワークを提案する。 まず,3次元ポーズ収集ステージを用いて,動作生成のための基準として,様々な基本ダンスポーズを収集する。 次に,ポーズをマスキングすることでダンサー間の類似性を調整するハイパーパラメータを導入し,多変量あるいは一貫したシーケンスの生成を防止する。 動きの剛性を避けるために,これらの仮面ポーズをゼロで満たすのではなく,事前に生成するダンス前生成ステージをデザインする。 その後、ダンス・モーション・トランスファー(Dance Motion Transfer)ステージがリーダーシーケンスと音楽に採用され、複数条件のサンプリング式が書き換えられ、プレ生成されたポーズがパートナースタイルのシーケンスに転送される。 実際には、マルチパーソンデータセットの欠如に対処するために、パートナーダンサー生成のための新しいデータセットであるAIST-Mを導入する。 AIST-Mデータセットの総合的な評価は、提案したDanYが良好なパートナーダンサー結果を制御可能な多様性で合成できることを実証している。

関連論文リスト

• Duolando: Follower GPT with Off-Policy Reinforcement Learning for Dance Accompaniment [87.20240797625648]
  舞踊伴奏と呼ばれる3次元舞踊生成の分野における新しい課題を紹介する。 これは、リードダンサーの動きと、基礎となる音楽リズムと同期した「フォロワー」と呼ばれるダンスパートナーからの応答的な動きを生成する必要がある。 本稿では,GPTに基づくDuolandoモデルを提案する。このモデルでは,音楽の協調情報,リーダの動作,従者の動きに基づいて,後続のトークン化動作を自動回帰予測する。
  論文  参考訳（メタデータ） (2024-03-27T17:57:02Z)
• DanceCamera3D: 3D Camera Movement Synthesis with Music and Dance [50.01162760878841]
  DCMは、カメラの動きとダンスモーションと音楽オーディオを組み合わせた、新しいマルチモーダルな3Dデータセットである。 このデータセットは、アニメコミュニティからのペアダンスカメラ音楽データの108のダンスシーケンス(3.2時間)を含む。 本研究では,新しいボディアテンション損失と条件分離戦略を組み込んだトランスフォーマーに基づく拡散モデルであるDanceCamera3Dを提案する。
  論文  参考訳（メタデータ） (2024-03-20T15:24:57Z)
• Controllable Group Choreography using Contrastive Diffusion [9.524877757674176]
  音楽によるグループコレオグラフィーは、幅広い産業用途において大きな可能性を秘めている。 ダンサーとグループ間のつながりを高めるために,グループコントラスト拡散(GCD)戦略を導入する。 本研究は,グループダンスの動きを視覚的に捕食し,一貫した動作で再現する手法の有効性を実証する。
  論文  参考訳（メタデータ） (2023-10-29T11:59:12Z)
• FineDance: A Fine-grained Choreography Dataset for 3D Full Body Dance Generation [33.9261932800456]
  ファインダンス(FineDance)は、ダンスのジャンルで最大の音楽とダンスのペアデータセットである。 従来手法に存在した単調・不自然な手の動きに対処するため,フルボディダンス生成ネットワークを提案する。 生成したダンスのジャンルマッチングと長期的安定性をさらに向上するため,Genre&Coherent aware Retrieval Moduleを提案する。
  論文  参考訳（メタデータ） (2022-12-07T16:10:08Z)
• BRACE: The Breakdancing Competition Dataset for Dance Motion Synthesis [123.73677487809418]
  ダンス・モーション・シンセサイザーにおける一般的な仮定に挑戦する新しいデータセットを提案する。 我々は、アクロバティックな動きと絡み合った姿勢を特徴とするブレイクダンスに焦点を当てている。 BRACEデータセットは、3時間30分以上の濃密な注釈付きポーズを含む。
  論文  参考訳（メタデータ） (2022-07-20T18:03:54Z)
• Bailando: 3D Dance Generation by Actor-Critic GPT with Choreographic Memory [92.81383016482813]
  そこで我々は3Dキャラクターを1曲の楽曲に追従して踊るための新しい音楽間距離フレームワークBailandoを提案する。 本稿では,音楽に忠実な流麗なダンスにユニットを構成するアクタ批判型生成事前学習変換器(GPT)を紹介する。 提案するフレームワークは,定性的かつ定量的に最先端の性能を実現する。
  論文  参考訳（メタデータ） (2022-03-24T13:06:43Z)
• Music-to-Dance Generation with Optimal Transport [48.92483627635586]
  本稿では,音楽から3Dダンス振付を生成するためのMDOT-Net(Music-to-Dance with Optimal Transport Network)を提案する。 生成したダンス分布とグロモフ=ワッサーシュタイン距離の信頼度を評価するための最適な移動距離を導入し、ダンス分布と入力音楽の対応性を測定する。
  論文  参考訳（メタデータ） (2021-12-03T09:37:26Z)
• Learning to Generate Diverse Dance Motions with Transformer [67.43270523386185]
  ダンス・モーション・シンセサイザーのための完全なシステムを提案する。 大規模なダンスモーションデータセットはYouTubeビデオから作成される。 新たな2ストリームモーショントランス生成モデルでは、高い柔軟性で動作シーケンスを生成することができる。
  論文  参考訳（メタデータ） (2020-08-18T22:29:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。