論文の概要: DanceIt: Music-inspired Dancing Video Synthesis
- arxiv url: http://arxiv.org/abs/2009.08027v2
- Date: Sat, 7 Aug 2021 09:14:40 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-17 11:38:54.577753
- Title: DanceIt: Music-inspired Dancing Video Synthesis
- Title（参考訳）: DanceIt:音楽に触発されたダンスビデオ合成
- Authors: Xin Guo, Yifan Zhao, Jia Li
- Abstract要約: 本稿では,コンピュータビジョンシステム内での人間関係のこのような能力の再現を提案する。
提案システムは3つのモジュールから構成される。
生成されたダンスビデオは、音楽の内容とリズムにマッチします。
- 参考スコア（独自算出の注目度）: 38.87762996956861
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Close your eyes and listen to music, one can easily imagine an actor dancing
rhythmically along with the music. These dance movements are usually made up of
dance movements you have seen before. In this paper, we propose to reproduce
such an inherent capability of the human-being within a computer vision system.
The proposed system consists of three modules. To explore the relationship
between music and dance movements, we propose a cross-modal alignment module
that focuses on dancing video clips, accompanied on pre-designed music, to
learn a system that can judge the consistency between the visual features of
pose sequences and the acoustic features of music. The learned model is then
used in the imagination module to select a pose sequence for the given music.
Such pose sequence selected from the music, however, is usually discontinuous.
To solve this problem, in the spatial-temporal alignment module we develop a
spatial alignment algorithm based on the tendency and periodicity of dance
movements to predict dance movements between discontinuous fragments. In
addition, the selected pose sequence is often misaligned with the music beat.
To solve this problem, we further develop a temporal alignment algorithm to
align the rhythm of music and dance. Finally, the processed pose sequence is
used to synthesize realistic dancing videos in the imagination module. The
generated dancing videos match the content and rhythm of the music.
Experimental results and subjective evaluations show that the proposed approach
can perform the function of generating promising dancing videos by inputting
music.
- Abstract（参考訳）: 目を閉じて音楽を聴くと、俳優が音楽に合わせてリズミカルに踊るのが想像できます。
これらのダンス・ムーブメントは通常、あなたが見たことのあるダンス・ムーブメントで構成されます。
本稿では,コンピュータビジョンシステムにおいて,人間の生活に固有の能力を再現することを提案する。
提案システムは3つのモジュールから構成される。
そこで,音楽とダンスの動きの関係を探るために,あらかじめ設計された音楽を伴うダンスビデオクリップに焦点をあてたクロスモーダルアライメントモジュールを提案し,ポーズの視覚的特徴と音楽の音響的特徴の一貫性を判断するシステムについて検討する。
学習されたモデルは、与えられた音楽のポーズシーケンスを選択するためにイマジネーションモジュールで使用される。
しかし、音楽から選択されたポーズシーケンスは通常不連続である。
この問題を解決するために,空間-時間アライメントモジュールでは,不連続断片間のダンス動作を予測するために,ダンス動作の傾向と周期性に基づく空間アライメントアルゴリズムを開発した。
さらに、選択されたポーズシーケンスは、しばしば音楽ビートとミスアライメントされる。
この問題を解決するために,音楽と舞踊のリズムを調整する時間的アライメントアルゴリズムを更に開発する。
最後に、処理されたポーズシーケンスを使用して、イマジネーションモジュール内の現実的なダンスビデオを合成する。
生成されたダンスビデオは、音楽の内容とリズムにマッチする。
実験結果と主観評価の結果から,提案手法は音楽入力により有望なダンスビデオを生成することができることがわかった。
関連論文リスト
- May the Dance be with You: Dance Generation Framework for Non-Humanoids [6.029154142020362]
人間の映像からダンスを学ぶための非ヒューマノイドエージェントのための枠組みを提案する。
1)光学的フローと音楽の関係を知覚する報酬モデルを訓練する。
実験結果から、生成したダンスの動きが音楽のビートと適切に一致できることが判明した。
論文 参考訳（メタデータ） (2024-05-30T06:43:55Z) - Dance Any Beat: Blending Beats with Visuals in Dance Video Generation [12.018432669719742]
音楽によってガイドされた個人の画像から直接ダンスビデオを生成するという新しいタスクを導入する。
我々のソリューションであるDance Any Beat Diffusion Model (DabFusion)は、参照画像と楽曲を使用してダンスビデオを生成する。
AIST++データセットを用いてDabFusionの性能評価を行い,映像品質,オーディオ・ビデオ同期,モーション・ミュージックアライメントに着目した。
論文 参考訳（メタデータ） (2024-05-15T11:33:07Z) - Learning Music-Dance Representations through Explicit-Implicit Rhythm
Synchronization [22.279424952432677]
音楽距離表現は、(a)ダンス分類、(b)音楽距離検索、(c)音楽距離の3つの下流タスクに適用することができる。
音楽のリズム分析にインスパイアされた視覚的外観と動きの手がかりに基づいてダンスリズムを導出し、その後、音響強度の振幅によって抽出される音楽リズムと時間的に一致させる。
論文 参考訳（メタデータ） (2022-07-07T09:44:44Z) - Bailando: 3D Dance Generation by Actor-Critic GPT with Choreographic
Memory [92.81383016482813]
そこで我々は3Dキャラクターを1曲の楽曲に追従して踊るための新しい音楽間距離フレームワークBailandoを提案する。
本稿では,音楽に忠実な流麗なダンスにユニットを構成するアクタ批判型生成事前学習変換器(GPT)を紹介する。
提案するフレームワークは,定性的かつ定量的に最先端の性能を実現する。
論文 参考訳（メタデータ） (2022-03-24T13:06:43Z) - Music-to-Dance Generation with Optimal Transport [48.92483627635586]
本稿では,音楽から3Dダンス振付を生成するためのMDOT-Net(Music-to-Dance with Optimal Transport Network)を提案する。
生成したダンス分布とグロモフ=ワッサーシュタイン距離の信頼度を評価するための最適な移動距離を導入し、ダンス分布と入力音楽の対応性を測定する。
論文 参考訳（メタデータ） (2021-12-03T09:37:26Z) - Learning to Generate Diverse Dance Motions with Transformer [67.43270523386185]
ダンス・モーション・シンセサイザーのための完全なシステムを提案する。
大規模なダンスモーションデータセットはYouTubeビデオから作成される。
新たな2ストリームモーショントランス生成モデルでは、高い柔軟性で動作シーケンスを生成することができる。
論文 参考訳（メタデータ） (2020-08-18T22:29:40Z) - Feel The Music: Automatically Generating A Dance For An Input Song [58.653867648572]
本稿では,機械が任意の入力音楽に対してダンスを生成するための一般的な計算手法を提案する。
ダンスの構造は音楽の構造と一致すべきである。
論文 参考訳（メタデータ） (2020-06-21T20:29:50Z) - Dance Revolution: Long-Term Dance Generation with Music via Curriculum
Learning [55.854205371307884]
音楽条件付きダンス生成をシーケンス・ツー・シーケンスの学習問題として定式化する。
本稿では,長動き列生成における自己回帰モデルの誤り蓄積を軽減するための新しいカリキュラム学習戦略を提案する。
提案手法は,自動計測と人的評価において,既存の最先端技術よりも大幅に優れている。
論文 参考訳（メタデータ） (2020-06-11T00:08:25Z) - Music2Dance: DanceNet for Music-driven Dance Generation [11.73506542921528]
本研究では,音楽のスタイル,リズム,メロディを制御信号とする自己回帰生成モデルDanceNetを提案する。
プロのダンサーによる複数の同期音楽ダンスペアをキャプチャし、高品質な音楽ダンスペアデータセットを構築する。
論文 参考訳（メタデータ） (2020-02-02T17:18:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。