論文の概要: Exploring Multi-Modal Control in Music-Driven Dance Generation

• arxiv url: http://arxiv.org/abs/2401.01382v1
• Date: Mon, 1 Jan 2024 09:25:20 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-04 16:14:08.717322
• Title: Exploring Multi-Modal Control in Music-Driven Dance Generation
• Title（参考訳）: 音楽駆動ダンス生成におけるマルチモーダル制御の探索
• Authors: Ronghui Li, Yuqin Dai, Yachao Zhang, Jun Li, Jian Yang, Jie Guo, Xiu Li
• Abstract要約: 高品質なダンスの動きを生成でき、ジャンル制御、意味制御、空間制御を含むマルチモーダル制御をサポートする統一的なフレームワークを提案する。 実験結果から,提案するダンス生成フレームワークは,動作品質と制御性の観点から,最先端の手法よりも優れていた。
• 参考スコア（独自算出の注目度）: 37.17268422378024
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Existing music-driven 3D dance generation methods mainly concentrate on high-quality dance generation, but lack sufficient control during the generation process. To address these issues, we propose a unified framework capable of generating high-quality dance movements and supporting multi-modal control, including genre control, semantic control, and spatial control. First, we decouple the dance generation network from the dance control network, thereby avoiding the degradation in dance quality when adding additional control information. Second, we design specific control strategies for different control information and integrate them into a unified framework. Experimental results show that the proposed dance generation framework outperforms state-of-the-art methods in terms of motion quality and controllability.
• Abstract（参考訳）: 既存の音楽駆動の3Dダンス生成法は主に高品質なダンス生成に重点を置いているが、生成過程において十分な制御が不十分である。 そこで本稿では,高品質なダンス動作を生成し,ジャンル制御,意味制御,空間制御を含むマルチモーダル制御をサポートする統一フレームワークを提案する。 まず、ダンス生成ネットワークをダンス制御ネットワークから分離し、追加の制御情報を追加する際にダンス品質の劣化を回避する。 第2に、異なる制御情報に対する特定の制御戦略を設計し、それらを統一されたフレームワークに統合する。 実験結果から,提案するダンス生成フレームワークは,動作品質と制御性の観点から,最先端の手法よりも優れていた。

関連論文リスト

• Lodge++: High-quality and Long Dance Generation with Vivid Choreography Patterns [48.54956784928394]
  Lodge++は、高品質で、超長い、鮮やかなダンスを生成するためのコレオグラフィーフレームワークである。 計算効率の課題に対処するため、Lodge++では、粗いダンスから罰金までのダンスを生成するための2段階の戦略を採用している。 Lodge++は,様々なダンスジャンルに適した超長いダンスを高速に生成できることを示す広範な実験によって検証されている。
  論文  参考訳（メタデータ） (2024-10-27T09:32:35Z)
• Duolando: Follower GPT with Off-Policy Reinforcement Learning for Dance Accompaniment [87.20240797625648]
  舞踊伴奏と呼ばれる3次元舞踊生成の分野における新しい課題を紹介する。 これは、リードダンサーの動きと、基礎となる音楽リズムと同期した「フォロワー」と呼ばれるダンスパートナーからの応答的な動きを生成する必要がある。 本稿では,GPTに基づくDuolandoモデルを提案する。このモデルでは,音楽の協調情報,リーダの動作,従者の動きに基づいて,後続のトークン化動作を自動回帰予測する。
  論文  参考訳（メタデータ） (2024-03-27T17:57:02Z)
• Bidirectional Autoregressive Diffusion Model for Dance Generation [26.449135437337034]
  本稿では,双方向自己回帰拡散モデル(BADM)を提案する。 生成したダンスが前方方向と後方方向の両方で調和することを強制するために、双方向エンコーダが構築される。 生成したダンス動作をよりスムーズにするため、局所運動強調のための局所情報デコーダを構築する。
  論文  参考訳（メタデータ） (2024-02-06T19:42:18Z)
• Controllable Group Choreography using Contrastive Diffusion [9.524877757674176]
  音楽によるグループコレオグラフィーは、幅広い産業用途において大きな可能性を秘めている。 ダンサーとグループ間のつながりを高めるために,グループコントラスト拡散(GCD)戦略を導入する。 本研究は,グループダンスの動きを視覚的に捕食し,一貫した動作で再現する手法の有効性を実証する。
  論文  参考訳（メタデータ） (2023-10-29T11:59:12Z)
• TM2D: Bimodality Driven 3D Dance Generation via Music-Text Integration [75.37311932218773]
  テキストと音楽の両方を同時に組み込んだ3Dダンス運動を生成するための新しいタスクを提案する。 本手法は,テキストと音楽の両方に調和した現実的かつ一貫性のあるダンスの動きを生成できると同時に,2つの単一モーダルと同等の性能を維持することができる。
  論文  参考訳（メタデータ） (2023-04-05T12:58:33Z)
• FineDance: A Fine-grained Choreography Dataset for 3D Full Body Dance Generation [33.9261932800456]
  ファインダンス(FineDance)は、ダンスのジャンルで最大の音楽とダンスのペアデータセットである。 従来手法に存在した単調・不自然な手の動きに対処するため,フルボディダンス生成ネットワークを提案する。 生成したダンスのジャンルマッチングと長期的安定性をさらに向上するため,Genre&Coherent aware Retrieval Moduleを提案する。
  論文  参考訳（メタデータ） (2022-12-07T16:10:08Z)
• Bailando: 3D Dance Generation by Actor-Critic GPT with Choreographic Memory [92.81383016482813]
  そこで我々は3Dキャラクターを1曲の楽曲に追従して踊るための新しい音楽間距離フレームワークBailandoを提案する。 本稿では,音楽に忠実な流麗なダンスにユニットを構成するアクタ批判型生成事前学習変換器(GPT)を紹介する。 提案するフレームワークは,定性的かつ定量的に最先端の性能を実現する。
  論文  参考訳（メタデータ） (2022-03-24T13:06:43Z)
• Music-to-Dance Generation with Optimal Transport [48.92483627635586]
  本稿では,音楽から3Dダンス振付を生成するためのMDOT-Net(Music-to-Dance with Optimal Transport Network)を提案する。 生成したダンス分布とグロモフ=ワッサーシュタイン距離の信頼度を評価するための最適な移動距離を導入し、ダンス分布と入力音楽の対応性を測定する。
  論文  参考訳（メタデータ） (2021-12-03T09:37:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。