論文の概要: ChoreoNet: Towards Music to Dance Synthesis with Choreographic Action Unit

• arxiv url: http://arxiv.org/abs/2009.07637v1
• Date: Wed, 16 Sep 2020 12:38:19 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-18 00:48:45.286034
• Title: ChoreoNet: Towards Music to Dance Synthesis with Choreographic Action Unit
• Title（参考訳）: ChoreoNet:Choreographic Action Unitによる音楽とダンスの合成を目指す
• Authors: Zijie Ye, Haozhe Wu, Jia Jia, Yaohua Bu, Wei Chen, Fanbo Meng, Yanfeng Wang
• Abstract要約: 人間の振付処理を模倣する2段階の音楽合成フレームワークChoreoNetを設計する。 本フレームワークはまず,音楽とCAUシーケンス間のマッピング関係を学習するためのCAU予測モデルを考案する。 そこで我々は,CAUシーケンスを連続的なダンス動作に変換するための空間的時間的インペイントモデルを考案した。
• 参考スコア（独自算出の注目度）: 28.877908457607678
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Dance and music are two highly correlated artistic forms. Synthesizing dance motions has attracted much attention recently. Most previous works conduct music-to-dance synthesis via directly music to human skeleton keypoints mapping. Meanwhile, human choreographers design dance motions from music in a two-stage manner: they firstly devise multiple choreographic dance units (CAUs), each with a series of dance motions, and then arrange the CAU sequence according to the rhythm, melody and emotion of the music. Inspired by these, we systematically study such two-stage choreography approach and construct a dataset to incorporate such choreography knowledge. Based on the constructed dataset, we design a two-stage music-to-dance synthesis framework ChoreoNet to imitate human choreography procedure. Our framework firstly devises a CAU prediction model to learn the mapping relationship between music and CAU sequences. Afterwards, we devise a spatial-temporal inpainting model to convert the CAU sequence into continuous dance motions. Experimental results demonstrate that the proposed ChoreoNet outperforms baseline methods (0.622 in terms of CAU BLEU score and 1.59 in terms of user study score).
• Abstract（参考訳）: ダンスと音楽は2つの非常に相関の深い芸術形式である。 ダンスを合成する動きは近年注目を集めている。 以前の作品の多くは、人間の骨格キーポイントマッピングに直接音楽を通して音楽からダンスへの合成を行っている。 一方、人間の振付師は、まず複数の振付ダンスユニット(caus)を考案し、それぞれに一連のダンスモーションを配置し、その後、音楽のリズム、メロディ、感情に応じてcauシーケンスを配置する。 これらに触発されて、2段階の振り付けアプローチを体系的に研究し、このような振り付けの知識を組み込むデータセットを構築した。 構築したデータセットに基づいて,人間の振付処理を模倣する2段階の音楽合成フレームワークChoreoNetを設計する。 本フレームワークはまず,音楽とCAUシーケンス間のマッピング関係を学習するためのCAU予測モデルを考案する。 その後, cau系列を連続的なダンス動作に変換するため, 空間-時間的インパインティングモデルを開発した。 実験の結果,提案したChoreoNetはベースライン法(CAU BLEUスコアでは0.622,ユーザスタディスコアでは1.59)より優れていた。

関連論文リスト

• Duolando: Follower GPT with Off-Policy Reinforcement Learning for Dance Accompaniment [87.20240797625648]
  舞踊伴奏と呼ばれる3次元舞踊生成の分野における新しい課題を紹介する。 これは、リードダンサーの動きと、基礎となる音楽リズムと同期した「フォロワー」と呼ばれるダンスパートナーからの応答的な動きを生成する必要がある。 本稿では,GPTに基づくDuolandoモデルを提案する。このモデルでは,音楽の協調情報,リーダの動作,従者の動きに基づいて,後続のトークン化動作を自動回帰予測する。
  論文  参考訳（メタデータ） (2024-03-27T17:57:02Z)
• LM2D: Lyrics- and Music-Driven Dance Synthesis [28.884929875333846]
  LM2Dは、音楽と歌詞の両方で、ひとつの拡散生成ステップでダンスコンディションを作成するように設計されている。 ポーズ推定技術を用いて,音楽と歌詞の両方を包含する最初の3次元ダンスモーションデータセットを提案する。 その結果、LM2Dは歌詞と音楽の両方にマッチするリアルで多様なダンスを制作できることを示した。
  論文  参考訳（メタデータ） (2024-03-14T13:59:04Z)
• TM2D: Bimodality Driven 3D Dance Generation via Music-Text Integration [75.37311932218773]
  テキストと音楽の両方を同時に組み込んだ3Dダンス運動を生成するための新しいタスクを提案する。 本手法は,テキストと音楽の両方に調和した現実的かつ一貫性のあるダンスの動きを生成できると同時に,2つの単一モーダルと同等の性能を維持することができる。
  論文  参考訳（メタデータ） (2023-04-05T12:58:33Z)
• BRACE: The Breakdancing Competition Dataset for Dance Motion Synthesis [123.73677487809418]
  ダンス・モーション・シンセサイザーにおける一般的な仮定に挑戦する新しいデータセットを提案する。 我々は、アクロバティックな動きと絡み合った姿勢を特徴とするブレイクダンスに焦点を当てている。 BRACEデータセットは、3時間30分以上の濃密な注釈付きポーズを含む。
  論文  参考訳（メタデータ） (2022-07-20T18:03:54Z)
• Bailando: 3D Dance Generation by Actor-Critic GPT with Choreographic Memory [92.81383016482813]
  そこで我々は3Dキャラクターを1曲の楽曲に追従して踊るための新しい音楽間距離フレームワークBailandoを提案する。 本稿では,音楽に忠実な流麗なダンスにユニットを構成するアクタ批判型生成事前学習変換器(GPT)を紹介する。 提案するフレームワークは,定性的かつ定量的に最先端の性能を実現する。
  論文  参考訳（メタデータ） (2022-03-24T13:06:43Z)
• Dual Learning Music Composition and Dance Choreography [57.55406449959893]
  音楽とダンスは常に人間の活動の柱として共存しており、文化的、社会的、娯楽的な機能に大きく貢献している。 近年の研究では、音楽に調和したダンスシーケンスの生成モデルについて研究されている。 両タスクを二重学習アプローチで共同でモデル化する,新しい拡張を提案する。
  論文  参考訳（メタデータ） (2022-01-28T09:20:28Z)
• Music-to-Dance Generation with Optimal Transport [48.92483627635586]
  本稿では,音楽から3Dダンス振付を生成するためのMDOT-Net(Music-to-Dance with Optimal Transport Network)を提案する。 生成したダンス分布とグロモフ=ワッサーシュタイン距離の信頼度を評価するための最適な移動距離を導入し、ダンス分布と入力音楽の対応性を測定する。
  論文  参考訳（メタデータ） (2021-12-03T09:37:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。