論文の概要: Align Your Rhythm: Generating Highly Aligned Dance Poses with Gating-Enhanced Rhythm-Aware Feature Representation
- arxiv url: http://arxiv.org/abs/2503.17340v1
- Date: Fri, 21 Mar 2025 17:42:50 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-03-24 14:57:39.780912
- Title: Align Your Rhythm: Generating Highly Aligned Dance Poses with Gating-Enhanced Rhythm-Aware Feature Representation
- Title（参考訳）: Aign Your Rhythm: Gating-Enhanced Rhythm-Aware Feature Representation を用いたハイアライズドダンスポーザの生成
- Authors: Congyi Fan, Jian Guan, Xuanjia Zhao, Dongli Xu, Youtian Lin, Tong Ye, Pengming Feng, Haiwei Pan,
- Abstract要約: 本研究では、リズム認識機能表現を強化するためにゲーティング機構を活用する新しいフレームワークであるDancebaを提案する。
位相に基づくリズム抽出(PRE)により、音楽相データからリズム情報を正確に抽出する。
TGCA(Temporal-Gated Causal Attention)は、グローバルリズミカルな特徴に焦点を当てる。
上肢と下肢の運動を別々にモデル化する並列マンバ運動モデリング(PMMM)アーキテクチャ。
- 参考スコア（独自算出の注目度）: 22.729568599120846
- License:
- Abstract: Automatically generating natural, diverse and rhythmic human dance movements driven by music is vital for virtual reality and film industries. However, generating dance that naturally follows music remains a challenge, as existing methods lack proper beat alignment and exhibit unnatural motion dynamics. In this paper, we propose Danceba, a novel framework that leverages gating mechanism to enhance rhythm-aware feature representation for music-driven dance generation, which achieves highly aligned dance poses with enhanced rhythmic sensitivity. Specifically, we introduce Phase-Based Rhythm Extraction (PRE) to precisely extract rhythmic information from musical phase data, capitalizing on the intrinsic periodicity and temporal structures of music. Additionally, we propose Temporal-Gated Causal Attention (TGCA) to focus on global rhythmic features, ensuring that dance movements closely follow the musical rhythm. We also introduce Parallel Mamba Motion Modeling (PMMM) architecture to separately model upper and lower body motions along with musical features, thereby improving the naturalness and diversity of generated dance movements. Extensive experiments confirm that Danceba outperforms state-of-the-art methods, achieving significantly better rhythmic alignment and motion diversity. Project page: https://danceba.github.io/ .
- Abstract（参考訳）: 音楽によって駆動される自然で多様でリズミカルな人間のダンスの動きを自動生成することは、仮想現実や映画産業にとって不可欠である。
しかし、既存の手法では適切なビートアライメントが欠如し、不自然な動きのダイナミクスを示すため、自然に音楽に従うダンスの生成は依然として困難である。
本稿では,音楽駆動ダンス生成におけるリズム認識特徴表現の強化にゲーティング機構を活用する新しいフレームワークであるDancebaを提案する。
具体的には、音楽の本質的な周期性と時間構造に着目し、音楽相データからリズム情報を正確に抽出するための位相ベースリズム抽出(PRE)を導入する。
さらに,TGCA (Temporal-Gated Causal Attention) を提案し,音楽リズムに追従する舞踊の動きを確実にする。
またParallel Mamba Motion Modeling (PMMM) アーキテクチャを導入し,上半身動作と下半身動作とを別々にモデル化し,生成したダンス運動の自然性と多様性を向上させる。
大規模な実験により、ダンスバは最先端の手法よりも優れており、リズムアライメントと動きの多様性が著しく向上していることが確認された。
プロジェクトページ: https://danceba.github.io/
関連論文リスト
- Lodge++: High-quality and Long Dance Generation with Vivid Choreography Patterns [48.54956784928394]
Lodge++は、高品質で、超長い、鮮やかなダンスを生成するためのコレオグラフィーフレームワークである。
計算効率の課題に対処するため、Lodge++では、粗いダンスから罰金までのダンスを生成するための2段階の戦略を採用している。
Lodge++は,様々なダンスジャンルに適した超長いダンスを高速に生成できることを示す広範な実験によって検証されている。
論文 参考訳（メタデータ） (2024-10-27T09:32:35Z) - Flexible Music-Conditioned Dance Generation with Style Description Prompts [41.04549275897979]
本稿では,ダンス生成の多種多様なタスクに適した拡散型フレームワークであるDGSDP(Flexible Dance Generation with Style Description Prompts)を紹介する。
このフレームワークの中核となるコンポーネントはMusic-Conditioned Style-Aware Diffusion (MCSAD)であり、TransformerベースのネットワークとMusic Style Modulationモジュールで構成される。
提案手法は, 長期的生成, ダンス・イン・ベントワイニング, ダンス・イン・ペイントなど, 様々なタスクにおいて, 音楽と正確に整合したリアルなダンス・シーケンスを生成する。
論文 参考訳（メタデータ） (2024-06-12T04:55:14Z) - Duolando: Follower GPT with Off-Policy Reinforcement Learning for Dance Accompaniment [87.20240797625648]
舞踊伴奏と呼ばれる3次元舞踊生成の分野における新しい課題を紹介する。
これは、リードダンサーの動きと、基礎となる音楽リズムと同期した「フォロワー」と呼ばれるダンスパートナーからの応答的な動きを生成する必要がある。
本稿では,GPTに基づくDuolandoモデルを提案する。このモデルでは,音楽の協調情報,リーダの動作,従者の動きに基づいて,後続のトークン化動作を自動回帰予測する。
論文 参考訳（メタデータ） (2024-03-27T17:57:02Z) - Bidirectional Autoregressive Diffusion Model for Dance Generation [26.449135437337034]
本稿では,双方向自己回帰拡散モデル(BADM)を提案する。
生成したダンスが前方方向と後方方向の両方で調和することを強制するために、双方向エンコーダが構築される。
生成したダンス動作をよりスムーズにするため、局所運動強調のための局所情報デコーダを構築する。
論文 参考訳（メタデータ） (2024-02-06T19:42:18Z) - Learning Music-Dance Representations through Explicit-Implicit Rhythm
Synchronization [22.279424952432677]
音楽距離表現は、(a)ダンス分類、(b)音楽距離検索、(c)音楽距離の3つの下流タスクに適用することができる。
音楽のリズム分析にインスパイアされた視覚的外観と動きの手がかりに基づいてダンスリズムを導出し、その後、音響強度の振幅によって抽出される音楽リズムと時間的に一致させる。
論文 参考訳（メタデータ） (2022-07-07T09:44:44Z) - Bailando: 3D Dance Generation by Actor-Critic GPT with Choreographic
Memory [92.81383016482813]
そこで我々は3Dキャラクターを1曲の楽曲に追従して踊るための新しい音楽間距離フレームワークBailandoを提案する。
本稿では,音楽に忠実な流麗なダンスにユニットを構成するアクタ批判型生成事前学習変換器(GPT)を紹介する。
提案するフレームワークは,定性的かつ定量的に最先端の性能を実現する。
論文 参考訳（メタデータ） (2022-03-24T13:06:43Z) - Music-to-Dance Generation with Optimal Transport [48.92483627635586]
本稿では,音楽から3Dダンス振付を生成するためのMDOT-Net(Music-to-Dance with Optimal Transport Network)を提案する。
生成したダンス分布とグロモフ=ワッサーシュタイン距離の信頼度を評価するための最適な移動距離を導入し、ダンス分布と入力音楽の対応性を測定する。
論文 参考訳（メタデータ） (2021-12-03T09:37:26Z) - Rhythm is a Dancer: Music-Driven Motion Synthesis with Global Structure [47.09425316677689]
本稿では、入力ビートと同期した人間の動作の長期シーケンスを生成する音楽駆動型モーション合成フレームワークを提案する。
我々のフレームワークは、ビートだけでなく、音楽の内容によって制御される多様な動きの生成を可能にする。
論文 参考訳（メタデータ） (2021-11-23T21:26:31Z) - Learning to Generate Diverse Dance Motions with Transformer [67.43270523386185]
ダンス・モーション・シンセサイザーのための完全なシステムを提案する。
大規模なダンスモーションデータセットはYouTubeビデオから作成される。
新たな2ストリームモーショントランス生成モデルでは、高い柔軟性で動作シーケンスを生成することができる。
論文 参考訳（メタデータ） (2020-08-18T22:29:40Z) - Music2Dance: DanceNet for Music-driven Dance Generation [11.73506542921528]
本研究では,音楽のスタイル,リズム,メロディを制御信号とする自己回帰生成モデルDanceNetを提案する。
プロのダンサーによる複数の同期音楽ダンスペアをキャプチャし、高品質な音楽ダンスペアデータセットを構築する。
論文 参考訳（メタデータ） (2020-02-02T17:18:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。