論文の概要: MDSC: Towards Evaluating the Style Consistency Between Music and

• arxiv url: http://arxiv.org/abs/2309.01340v1
• Date: Mon, 4 Sep 2023 03:55:41 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-06 20:04:31.775200
• Title: MDSC: Towards Evaluating the Style Consistency Between Music and
• Title（参考訳）: MDSC:音楽とスタイルの整合性の評価に向けて
• Authors: Zixiang Zhou, Baoyuan Wang
• Abstract要約: MDSCは、生成したダンス・モーション・シーケンスとコンディショニング・ミュージック・シーケンスがいかにスタイリスティックに相関しているかを測定する。 提案手法は,音楽・ダンススタイルの相関測定におけるロバストな評価指標である。
• 参考スコア（独自算出の注目度）: 18.537994617999757
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We propose MDSC(Music-Dance-Style Consistency), the first evaluation metric which assesses to what degree the dance moves and music match. Existing metrics can only evaluate the fidelity and diversity of motion and the degree of rhythmic matching between music and motion. MDSC measures how stylistically correlated the generated dance motion sequences and the conditioning music sequences are. We found that directly measuring the embedding distance between motion and music is not an optimal solution. We instead tackle this through modelling it as a clustering problem. Specifically, 1) we pre-train a music encoder and a motion encoder, then 2) we learn to map and align the motion and music embedding in joint space by jointly minimizing the intra-cluster distance and maximizing the inter-cluster distance, and 3) for evaluation purpose, we encode the dance moves into embedding and measure the intra-cluster and inter-cluster distances, as well as the ratio between them. We evaluate our metric on the results of several music-conditioned motion generation methods, combined with user study, we found that our proposed metric is a robust evaluation metric in measuring the music-dance style correlation. The code is available at: https://github.com/zixiangzhou916/MDSC.
• Abstract（参考訳）: ダンスと音楽の一致度を評価する最初の評価指標であるMDSC(Music-Dance-Style Consistency)を提案する。 既存の測定基準では、動きの忠実性と多様性と、音楽と動きのリズムマッチングの程度のみが評価できる。 MDSCは、生成したダンス・モーション・シーケンスとコンディショニング・ミュージック・シーケンスがいかにスタイリスティックに相関しているかを測定する。 運動と音楽の埋め込み距離を直接測定することは最適解ではないことがわかった。 代わりに、クラスタリング問題としてモデル化することで、この問題に取り組みます。 具体的には 1)音楽エンコーダとモーションエンコーダの事前訓練を行い、 2) クラスタ内距離を最小化し, クラスタ間距離を最大化し, 共同空間内での動作と音楽の埋め込みを地図化・調整することを学ぶ。 3) 評価のために, ダンスの動きを組込み, クラスタ間距離, クラスタ間距離, およびそれらの比率にエンコードする。 提案手法は,音楽条件付き動作生成手法の結果に基づいて評価し,ユーザスタディと組み合わせることで,音楽距離スタイルの相関を計測する上で,ロバストな評価基準であることが判明した。 コードはhttps://github.com/zixiangzhou916/mdscで入手できる。

関連論文リスト

• Duolando: Follower GPT with Off-Policy Reinforcement Learning for Dance Accompaniment [87.20240797625648]
  舞踊伴奏と呼ばれる3次元舞踊生成の分野における新しい課題を紹介する。 これは、リードダンサーの動きと、基礎となる音楽リズムと同期した「フォロワー」と呼ばれるダンスパートナーからの応答的な動きを生成する必要がある。 本稿では,GPTに基づくDuolandoモデルを提案する。このモデルでは,音楽の協調情報,リーダの動作,従者の動きに基づいて,後続のトークン化動作を自動回帰予測する。
  論文  参考訳（メタデータ） (2024-03-27T17:57:02Z)
• Harmonious Group Choreography with Trajectory-Controllable Diffusion [28.82215057058883]
  Trajectory-Controllable Diffusion (TCDiff) は、重複しない軌道を利用してコヒーレントなダンスの動きを促進する新しい手法である。 ダンサーの衝突に対処するために,音楽に基づいて複数のダンサーの軌道を生成できるダンス・ビート・ナビゲータを導入する。 フレキシブルなフットワークを実現するために,隣接するフレームからの軌道変位を利用したフットワークアダプタを提案する。
  論文  参考訳（メタデータ） (2024-03-10T12:11:34Z)
• DiffDance: Cascaded Human Motion Diffusion Model for Dance Generation [89.50310360658791]
  本稿では,高分解能長周期ダンス生成のための新しい動き拡散モデルDiffDanceを提案する。 本モデルは、音楽間拡散モデルとシーケンス超解像拡散モデルとから構成される。 DiffDanceは、入力された音楽と効果的に一致したリアルなダンスシーケンスを生成することができることを実証する。
  論文  参考訳（メタデータ） (2023-08-05T16:18:57Z)
• TM2D: Bimodality Driven 3D Dance Generation via Music-Text Integration [75.37311932218773]
  テキストと音楽の両方を同時に組み込んだ3Dダンス運動を生成するための新しいタスクを提案する。 本手法は,テキストと音楽の両方に調和した現実的かつ一貫性のあるダンスの動きを生成できると同時に,2つの単一モーダルと同等の性能を維持することができる。
  論文  参考訳（メタデータ） (2023-04-05T12:58:33Z)
• BRACE: The Breakdancing Competition Dataset for Dance Motion Synthesis [123.73677487809418]
  ダンス・モーション・シンセサイザーにおける一般的な仮定に挑戦する新しいデータセットを提案する。 我々は、アクロバティックな動きと絡み合った姿勢を特徴とするブレイクダンスに焦点を当てている。 BRACEデータセットは、3時間30分以上の濃密な注釈付きポーズを含む。
  論文  参考訳（メタデータ） (2022-07-20T18:03:54Z)
• Learning Music-Dance Representations through Explicit-Implicit Rhythm Synchronization [22.279424952432677]
  音楽距離表現は、(a)ダンス分類、(b)音楽距離検索、(c)音楽距離の3つの下流タスクに適用することができる。 音楽のリズム分析にインスパイアされた視覚的外観と動きの手がかりに基づいてダンスリズムを導出し、その後、音響強度の振幅によって抽出される音楽リズムと時間的に一致させる。
  論文  参考訳（メタデータ） (2022-07-07T09:44:44Z)
• Quantized GAN for Complex Music Generation from Dance Videos [48.196705493763986]
  D2M-GAN(Dance2Music-GAN, D2M-GAN, D2M-GAN)は、ダンスビデオに条件付けされた楽曲のサンプルを生成する新しいマルチモーダルフレームワークである。 提案フレームワークは,ダンスビデオフレームと人体の動きを入力とし,対応する入力に付随する音楽サンプルを生成することを学習する。
  論文  参考訳（メタデータ） (2022-04-01T17:53:39Z)
• Music-to-Dance Generation with Optimal Transport [48.92483627635586]
  本稿では,音楽から3Dダンス振付を生成するためのMDOT-Net(Music-to-Dance with Optimal Transport Network)を提案する。 生成したダンス分布とグロモフ=ワッサーシュタイン距離の信頼度を評価するための最適な移動距離を導入し、ダンス分布と入力音楽の対応性を測定する。
  論文  参考訳（メタデータ） (2021-12-03T09:37:26Z)
• ChoreoNet: Towards Music to Dance Synthesis with Choreographic Action Unit [28.877908457607678]
  人間の振付処理を模倣する2段階の音楽合成フレームワークChoreoNetを設計する。 本フレームワークはまず,音楽とCAUシーケンス間のマッピング関係を学習するためのCAU予測モデルを考案する。 そこで我々は,CAUシーケンスを連続的なダンス動作に変換するための空間的時間的インペイントモデルを考案した。
  論文  参考訳（メタデータ） (2020-09-16T12:38:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。