論文の概要: EgoMusic-driven Human Dance Motion Estimation with Skeleton Mamba

• arxiv url: http://arxiv.org/abs/2508.10522v1
• Date: Thu, 14 Aug 2025 10:48:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-15 22:24:48.276591
• Title: EgoMusic-driven Human Dance Motion Estimation with Skeleton Mamba
• Title（参考訳）: スケルトン・マンバを用いたエゴミュージックによる人間のダンスモーション推定
• Authors: Quang Nguyen, Nhat Le, Baoru Huang, Minh Nhat Vu, Chengcheng Tang, Van Nguyen, Ngan Le, Thieu Vo, Anh Nguyen,
• Abstract要約: 我々は,エゴセントリックなビデオと音楽の両方から人間のダンスの動きを予測する新しい手法を開発した。 最初にEgoAIST++を紹介した。これは、エゴセントリックなビューと音楽と36時間以上のダンスモーションを組み合わせた、新しい大規模データセットだ。 提案手法は, 最先端の手法より明らかに優れ, 実世界のデータに対して効果的に一般化する。
• 参考スコア（独自算出の注目度）: 12.993829432259572
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Estimating human dance motion is a challenging task with various industrial applications. Recently, many efforts have focused on predicting human dance motion using either egocentric video or music as input. However, the task of jointly estimating human motion from both egocentric video and music remains largely unexplored. In this paper, we aim to develop a new method that predicts human dance motion from both egocentric video and music. In practice, the egocentric view often obscures much of the body, making accurate full-pose estimation challenging. Additionally, incorporating music requires the generated head and body movements to align well with both visual and musical inputs. We first introduce EgoAIST++, a new large-scale dataset that combines both egocentric views and music with more than 36 hours of dancing motion. Drawing on the success of diffusion models and Mamba on modeling sequences, we develop an EgoMusic Motion Network with a core Skeleton Mamba that explicitly captures the skeleton structure of the human body. We illustrate that our approach is theoretically supportive. Intensive experiments show that our method clearly outperforms state-of-the-art approaches and generalizes effectively to real-world data.
• Abstract（参考訳）: 人間のダンスの動きを推定することは、様々な産業的応用において難しい課題である。 近年,エゴセントリックなビデオや音楽を入力として,人間のダンスの動きを予測することに注力している。 しかし、人間の動きを自我中心のビデオと音楽の両方から共同で推定する作業はほとんど探索されていない。 本稿では,エゴセントリックな映像と音楽の両方から人間のダンスの動きを予測する新しい手法を開発することを目的とする。 実際には、自我中心の視点は身体の大部分を曖昧にし、正確な完全な位置推定を困難にしている。 さらに、音楽の取り入れには、生成した頭部と身体の動きが視覚と音楽の両方の入力とうまく一致するように要求される。 最初にEgoAIST++を紹介した。これは、エゴセントリックなビューと音楽と36時間以上のダンスモーションを組み合わせた、新しい大規模データセットだ。 拡散モデルとマンバのモデリングシーケンスにおける成功に基づいて,人体の骨格構造を明示的に捉えたコアSkeleton Mambaを用いたEgoMusic Motion Networkを開発した。 我々は、我々のアプローチが理論的に支持的であることを説明している。 集中的な実験により,本手法は最先端の手法よりも明らかに優れ,実世界のデータに対して効果的に一般化できることが示された。

関連論文リスト

• EgoAvatar: Egocentric View-Driven and Photorealistic Full-body Avatars [56.56236652774294]
  本研究では,光合成デジタルアバターを共同でモデル化し,同時に1つの自我中心映像から駆動する人物中心型テレプレゼンス手法を提案する。 提案手法は,エゴセントリック・フォトリアル・テレプレゼンスへの明確な一歩として,ベースラインと競合する手法に優れることを示す。
  論文  参考訳（メタデータ） (2024-09-22T22:50:27Z)
• Ego-Body Pose Estimation via Ego-Head Pose Estimation [22.08240141115053]
  エゴセントリックなビデオシーケンスから3次元の人間の動きを推定することは、人間の行動理解において重要な役割を担い、VR/ARに様々な応用がある。 Ego-Head Pose Estimation (EgoEgo) と呼ばれる新しい手法を提案する。 この頭と体のポーズのゆがみは、ペア化されたエゴセントリックなビデオと3D人間の動きでデータセットをトレーニングする必要をなくす。
  論文  参考訳（メタデータ） (2022-12-09T02:25:20Z)
• BRACE: The Breakdancing Competition Dataset for Dance Motion Synthesis [123.73677487809418]
  ダンス・モーション・シンセサイザーにおける一般的な仮定に挑戦する新しいデータセットを提案する。 我々は、アクロバティックな動きと絡み合った姿勢を特徴とするブレイクダンスに焦点を当てている。 BRACEデータセットは、3時間30分以上の濃密な注釈付きポーズを含む。
  論文  参考訳（メタデータ） (2022-07-20T18:03:54Z)
• Music-to-Dance Generation with Optimal Transport [48.92483627635586]
  本稿では,音楽から3Dダンス振付を生成するためのMDOT-Net(Music-to-Dance with Optimal Transport Network)を提案する。 生成したダンス分布とグロモフ=ワッサーシュタイン距離の信頼度を評価するための最適な移動距離を導入し、ダンス分布と入力音楽の対応性を測定する。
  論文  参考訳（メタデータ） (2021-12-03T09:37:26Z)
• Learning to Generate Diverse Dance Motions with Transformer [67.43270523386185]
  ダンス・モーション・シンセサイザーのための完全なシステムを提案する。 大規模なダンスモーションデータセットはYouTubeビデオから作成される。 新たな2ストリームモーショントランス生成モデルでは、高い柔軟性で動作シーケンスを生成することができる。
  論文  参考訳（メタデータ） (2020-08-18T22:29:40Z)
• Dance Revolution: Long-Term Dance Generation with Music via Curriculum Learning [55.854205371307884]
  音楽条件付きダンス生成をシーケンス・ツー・シーケンスの学習問題として定式化する。 本稿では,長動き列生成における自己回帰モデルの誤り蓄積を軽減するための新しいカリキュラム学習戦略を提案する。 提案手法は,自動計測と人的評価において,既存の最先端技術よりも大幅に優れている。
  論文  参考訳（メタデータ） (2020-06-11T00:08:25Z)
• Music2Dance: DanceNet for Music-driven Dance Generation [11.73506542921528]
  本研究では,音楽のスタイル,リズム,メロディを制御信号とする自己回帰生成モデルDanceNetを提案する。 プロのダンサーによる複数の同期音楽ダンスペアをキャプチャし、高品質な音楽ダンスペアデータセットを構築する。
  論文  参考訳（メタデータ） (2020-02-02T17:18:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。