論文の概要: Rhythm is a Dancer: Music-Driven Motion Synthesis with Global Structure
- arxiv url: http://arxiv.org/abs/2111.12159v1
- Date: Tue, 23 Nov 2021 21:26:31 GMT
- ステータス: 処理完了
- システム内更新日: 2021-11-25 23:43:23.133483
- Title: Rhythm is a Dancer: Music-Driven Motion Synthesis with Global Structure
- Title（参考訳）: リズムはダンサー:グローバル構造を持つ音楽駆動モーション合成
- Authors: Andreas Aristidou, Anastasios Yiannakidis, Kfir Aberman, Daniel
Cohen-Or, Ariel Shamir, Yiorgos Chrysanthou
- Abstract要約: 本稿では、入力ビートと同期した人間の動作の長期シーケンスを生成する音楽駆動型モーション合成フレームワークを提案する。
我々のフレームワークは、ビートだけでなく、音楽の内容によって制御される多様な動きの生成を可能にする。
- 参考スコア（独自算出の注目度）: 47.09425316677689
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Synthesizing human motion with a global structure, such as a choreography, is
a challenging task. Existing methods tend to concentrate on local smooth pose
transitions and neglect the global context or the theme of the motion. In this
work, we present a music-driven motion synthesis framework that generates
long-term sequences of human motions which are synchronized with the input
beats, and jointly form a global structure that respects a specific dance
genre. In addition, our framework enables generation of diverse motions that
are controlled by the content of the music, and not only by the beat. Our
music-driven dance synthesis framework is a hierarchical system that consists
of three levels: pose, motif, and choreography. The pose level consists of an
LSTM component that generates temporally coherent sequences of poses. The motif
level guides sets of consecutive poses to form a movement that belongs to a
specific distribution using a novel motion perceptual-loss. And the
choreography level selects the order of the performed movements and drives the
system to follow the global structure of a dance genre. Our results demonstrate
the effectiveness of our music-driven framework to generate natural and
consistent movements on various dance types, having control over the content of
the synthesized motions, and respecting the overall structure of the dance.
- Abstract（参考訳）: 振り付けのようなグローバルな構造で人間の動きを合成することは難しい課題である。
既存の方法は局所的な滑らかなポーズ遷移に集中し、グローバルな文脈や動きのテーマを無視する傾向がある。
本研究では,入力ビートと同期する人間の動作の長期シーケンスを生成し,特定のダンスジャンルを尊重するグローバル構造を共同で形成する音楽駆動モーション合成フレームワークを提案する。
さらに,本フレームワークは,ビートだけでなく,音楽の内容によって制御される多様な動きの生成を可能にする。
我々の音楽駆動ダンス合成フレームワークは、ポーズ、モチーフ、振付の3段階からなる階層的なシステムである。
ポーズレベルは、ポーズの時間的コヒーレントなシーケンスを生成するLSTM成分からなる。
モチーフレベルは、連続するポーズのセットをガイドし、新しい動き知覚損失を用いて特定の分布に属する動きを形成する。
そして、振付レベルが実行された動作の順序を選択し、ダンスジャンルのグローバルな構造に従うようにシステムを動かす。
本研究は,様々なダンスタイプにおいて自然かつ一貫した動きを発生させ,合成された動きの内容を制御し,ダンス全体の構造を尊重する,音楽駆動の枠組みの有効性を示す。
関連論文リスト
- Duolando: Follower GPT with Off-Policy Reinforcement Learning for Dance Accompaniment [87.20240797625648]
舞踊伴奏と呼ばれる3次元舞踊生成の分野における新しい課題を紹介する。
これは、リードダンサーの動きと、基礎となる音楽リズムと同期した「フォロワー」と呼ばれるダンスパートナーからの応答的な動きを生成する必要がある。
本稿では,GPTに基づくDuolandoモデルを提案する。このモデルでは,音楽の協調情報,リーダの動作,従者の動きに基づいて,後続のトークン化動作を自動回帰予測する。
論文 参考訳（メタデータ） (2024-03-27T17:57:02Z) - Bidirectional Autoregressive Diffusion Model for Dance Generation [26.449135437337034]
本稿では,双方向自己回帰拡散モデル(BADM)を提案する。
生成したダンスが前方方向と後方方向の両方で調和することを強制するために、双方向エンコーダが構築される。
生成したダンス動作をよりスムーズにするため、局所運動強調のための局所情報デコーダを構築する。
論文 参考訳（メタデータ） (2024-02-06T19:42:18Z) - Dance Style Transfer with Cross-modal Transformer [17.216186480300756]
CycleDanceは、あるダンススタイルの既存のモーションクリップを別のダンススタイルのモーションクリップに変換するダンススタイルのトランスファーシステムである。
提案手法は,既存のCycleGANアーキテクチャを拡張して音声シーケンスをモデル化し,マルチモーダルトランスフォーマーエンコーダを統合する。
論文 参考訳（メタデータ） (2022-08-19T15:48:30Z) - BRACE: The Breakdancing Competition Dataset for Dance Motion Synthesis [123.73677487809418]
ダンス・モーション・シンセサイザーにおける一般的な仮定に挑戦する新しいデータセットを提案する。
我々は、アクロバティックな動きと絡み合った姿勢を特徴とするブレイクダンスに焦点を当てている。
BRACEデータセットは、3時間30分以上の濃密な注釈付きポーズを含む。
論文 参考訳（メタデータ） (2022-07-20T18:03:54Z) - Bailando: 3D Dance Generation by Actor-Critic GPT with Choreographic
Memory [92.81383016482813]
そこで我々は3Dキャラクターを1曲の楽曲に追従して踊るための新しい音楽間距離フレームワークBailandoを提案する。
本稿では,音楽に忠実な流麗なダンスにユニットを構成するアクタ批判型生成事前学習変換器(GPT)を紹介する。
提案するフレームワークは,定性的かつ定量的に最先端の性能を実現する。
論文 参考訳（メタデータ） (2022-03-24T13:06:43Z) - Music-to-Dance Generation with Optimal Transport [48.92483627635586]
本稿では,音楽から3Dダンス振付を生成するためのMDOT-Net(Music-to-Dance with Optimal Transport Network)を提案する。
生成したダンス分布とグロモフ=ワッサーシュタイン距離の信頼度を評価するための最適な移動距離を導入し、ダンス分布と入力音楽の対応性を測定する。
論文 参考訳（メタデータ） (2021-12-03T09:37:26Z) - Learning to Generate Diverse Dance Motions with Transformer [67.43270523386185]
ダンス・モーション・シンセサイザーのための完全なシステムを提案する。
大規模なダンスモーションデータセットはYouTubeビデオから作成される。
新たな2ストリームモーショントランス生成モデルでは、高い柔軟性で動作シーケンスを生成することができる。
論文 参考訳（メタデータ） (2020-08-18T22:29:40Z) - Music2Dance: DanceNet for Music-driven Dance Generation [11.73506542921528]
本研究では,音楽のスタイル,リズム,メロディを制御信号とする自己回帰生成モデルDanceNetを提案する。
プロのダンサーによる複数の同期音楽ダンスペアをキャプチャし、高品質な音楽ダンスペアデータセットを構築する。
論文 参考訳（メタデータ） (2020-02-02T17:18:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。