論文の概要: May the Dance be with You: Dance Generation Framework for Non-Humanoids
- arxiv url: http://arxiv.org/abs/2405.19743v1
- Date: Thu, 30 May 2024 06:43:55 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-31 15:48:50.674223
- Title: May the Dance be with You: Dance Generation Framework for Non-Humanoids
- Title（参考訳）: May the Dance Be with You: Dance Generation Framework for non-Humanoids
- Authors: Hyemin Ahn,
- Abstract要約: 人間の映像からダンスを学ぶための非ヒューマノイドエージェントのための枠組みを提案する。
1)光学的フローと音楽の関係を知覚する報酬モデルを訓練する。
実験結果から、生成したダンスの動きが音楽のビートと適切に一致できることが判明した。
- 参考スコア（独自算出の注目度）: 6.029154142020362
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We hypothesize dance as a motion that forms a visual rhythm from music, where the visual rhythm can be perceived from an optical flow. If an agent can recognize the relationship between visual rhythm and music, it will be able to dance by generating a motion to create a visual rhythm that matches the music. Based on this, we propose a framework for any kind of non-humanoid agents to learn how to dance from human videos. Our framework works in two processes: (1) training a reward model which perceives the relationship between optical flow (visual rhythm) and music from human dance videos, (2) training the non-humanoid dancer based on that reward model, and reinforcement learning. Our reward model consists of two feature encoders for optical flow and music. They are trained based on contrastive learning which makes the higher similarity between concurrent optical flow and music features. With this reward model, the agent learns dancing by getting a higher reward when its action creates an optical flow whose feature has a higher similarity with the given music feature. Experiment results show that generated dance motion can align with the music beat properly, and user study result indicates that our framework is more preferred by humans compared to the baselines. To the best of our knowledge, our work of non-humanoid agents which learn dance from human videos is unprecedented. An example video can be found at https://youtu.be/dOUPvo-O3QY.
- Abstract（参考訳）: 我々は、音楽から視覚リズムを形成する動きとしてダンスを仮定し、光学的流れから視覚リズムを知覚することができる。
エージェントが視覚リズムと音楽の関係を認識することができれば、動きを生成して音楽にマッチする視覚リズムを生成することで踊ることができる。
これに基づいて,人間以外のエージェントが人間のビデオからダンスの仕方を学ぶための枠組みを提案する。
この枠組みは,(1)光学的流れ(視覚リズム)と音楽の関係を人間のダンスビデオから知覚する報酬モデル,(2)その報酬モデルに基づく非ヒューマノイドダンサーのトレーニング,および強化学習の2つのプロセスで機能する。
我々の報酬モデルは、光学的フローと音楽のための2つの特徴エンコーダから構成される。
それらはコントラスト学習に基づいて訓練され、同時に光学的流れと音楽的特徴の類似性を高める。
この報酬モデルにより、エージェントは、与えられた音楽特徴と高い類似性を有する光学的流れを生じさせると、より高い報酬を得てダンスを学ぶ。
実験結果から、生成したダンスの動きが音楽のビートと適切に一致できることが示され、ユーザによる研究結果から、我々のフレームワークはベースラインよりも人間の方が好まれていることが示唆された。
我々の知る限りでは、人間のビデオからダンスを学ぶ非ヒューマノイドエージェントの研究は前例がない。
例のビデオはhttps://youtu.be/dOUPvo-O3QYで見ることができる。
関連論文リスト
- LM2D: Lyrics- and Music-Driven Dance Synthesis [28.884929875333846]
LM2Dは、音楽と歌詞の両方で、ひとつの拡散生成ステップでダンスコンディションを作成するように設計されている。
ポーズ推定技術を用いて,音楽と歌詞の両方を包含する最初の3次元ダンスモーションデータセットを提案する。
その結果、LM2Dは歌詞と音楽の両方にマッチするリアルで多様なダンスを制作できることを示した。
論文 参考訳（メタデータ） (2024-03-14T13:59:04Z) - BRACE: The Breakdancing Competition Dataset for Dance Motion Synthesis [123.73677487809418]
ダンス・モーション・シンセサイザーにおける一般的な仮定に挑戦する新しいデータセットを提案する。
我々は、アクロバティックな動きと絡み合った姿勢を特徴とするブレイクダンスに焦点を当てている。
BRACEデータセットは、3時間30分以上の濃密な注釈付きポーズを含む。
論文 参考訳（メタデータ） (2022-07-20T18:03:54Z) - Dual Learning Music Composition and Dance Choreography [57.55406449959893]
音楽とダンスは常に人間の活動の柱として共存しており、文化的、社会的、娯楽的な機能に大きく貢献している。
近年の研究では、音楽に調和したダンスシーケンスの生成モデルについて研究されている。
両タスクを二重学習アプローチで共同でモデル化する,新しい拡張を提案する。
論文 参考訳（メタデータ） (2022-01-28T09:20:28Z) - Music-to-Dance Generation with Optimal Transport [48.92483627635586]
本稿では,音楽から3Dダンス振付を生成するためのMDOT-Net(Music-to-Dance with Optimal Transport Network)を提案する。
生成したダンス分布とグロモフ=ワッサーシュタイン距離の信頼度を評価するための最適な移動距離を導入し、ダンス分布と入力音楽の対応性を測定する。
論文 参考訳（メタデータ） (2021-12-03T09:37:26Z) - DanceIt: Music-inspired Dancing Video Synthesis [38.87762996956861]
本稿では,コンピュータビジョンシステム内での人間関係のこのような能力の再現を提案する。
提案システムは3つのモジュールから構成される。
生成されたダンスビデオは、音楽の内容とリズムにマッチします。
論文 参考訳（メタデータ） (2020-09-17T02:29:13Z) - Learning to Generate Diverse Dance Motions with Transformer [67.43270523386185]
ダンス・モーション・シンセサイザーのための完全なシステムを提案する。
大規模なダンスモーションデータセットはYouTubeビデオから作成される。
新たな2ストリームモーショントランス生成モデルでは、高い柔軟性で動作シーケンスを生成することができる。
論文 参考訳（メタデータ） (2020-08-18T22:29:40Z) - Feel The Music: Automatically Generating A Dance For An Input Song [58.653867648572]
本稿では,機械が任意の入力音楽に対してダンスを生成するための一般的な計算手法を提案する。
ダンスの構造は音楽の構造と一致すべきである。
論文 参考訳（メタデータ） (2020-06-21T20:29:50Z) - Dance Revolution: Long-Term Dance Generation with Music via Curriculum
Learning [55.854205371307884]
音楽条件付きダンス生成をシーケンス・ツー・シーケンスの学習問題として定式化する。
本稿では,長動き列生成における自己回帰モデルの誤り蓄積を軽減するための新しいカリキュラム学習戦略を提案する。
提案手法は,自動計測と人的評価において,既存の最先端技術よりも大幅に優れている。
論文 参考訳（メタデータ） (2020-06-11T00:08:25Z) - Music2Dance: DanceNet for Music-driven Dance Generation [11.73506542921528]
本研究では,音楽のスタイル,リズム,メロディを制御信号とする自己回帰生成モデルDanceNetを提案する。
プロのダンサーによる複数の同期音楽ダンスペアをキャプチャし、高品質な音楽ダンスペアデータセットを構築する。
論文 参考訳（メタデータ） (2020-02-02T17:18:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。