論文の概要: Dance Revolution: Long-Term Dance Generation with Music via Curriculum Learning

• arxiv url: http://arxiv.org/abs/2006.06119v7
• Date: Sun, 14 Mar 2021 07:56:13 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-22 13:22:35.042946
• Title: Dance Revolution: Long-Term Dance Generation with Music via Curriculum Learning
• Title（参考訳）: dance revolution: カリキュラム学習による音楽による長期ダンス生成
• Authors: Ruozi Huang, Huang Hu, Wei Wu, Kei Sawada, Mi Zhang and Daxin Jiang
• Abstract要約: 音楽条件付きダンス生成をシーケンス・ツー・シーケンスの学習問題として定式化する。 本稿では,長動き列生成における自己回帰モデルの誤り蓄積を軽減するための新しいカリキュラム学習戦略を提案する。 提案手法は,自動計測と人的評価において,既存の最先端技術よりも大幅に優れている。
• 参考スコア（独自算出の注目度）: 41.273785405490834
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Dancing to music is one of human's innate abilities since ancient times. In machine learning research, however, synthesizing dance movements from music is a challenging problem. Recently, researchers synthesize human motion sequences through autoregressive models like recurrent neural network (RNN). Such an approach often generates short sequences due to an accumulation of prediction errors that are fed back into the neural network. This problem becomes even more severe in the long motion sequence generation. Besides, the consistency between dance and music in terms of style, rhythm and beat is yet to be taken into account during modeling. In this paper, we formalize the music-conditioned dance generation as a sequence-to-sequence learning problem and devise a novel seq2seq architecture to efficiently process long sequences of music features and capture the fine-grained correspondence between music and dance. Furthermore, we propose a novel curriculum learning strategy to alleviate error accumulation of autoregressive models in long motion sequence generation, which gently changes the training process from a fully guided teacher-forcing scheme using the previous ground-truth movements, towards a less guided autoregressive scheme mostly using the generated movements instead. Extensive experiments show that our approach significantly outperforms the existing state-of-the-arts on automatic metrics and human evaluation. We also make a demo video to demonstrate the superior performance of our proposed approach at https://www.youtube.com/watch?v=lmE20MEheZ8.
• Abstract（参考訳）: 音楽に合わせて踊ることは、古代から人間の生来の能力の1つである。 しかし、機械学習の研究では、音楽からダンスの動きを合成することは難しい問題である。 近年,リカレントニューラルネットワーク(RNN)のような自己回帰モデルを用いて,ヒトの動作配列を合成している。 このようなアプローチは、ニューラルネットワークにフィードバックされる予測エラーの蓄積によって、しばしば短いシーケンスを生成する。 この問題は長動き列生成においてさらに深刻になる。 また、スタイル、リズム、ビートの観点からのダンスと音楽の一貫性は、モデリングの段階ではまだ考慮されていない。 本稿では,音楽条件付きダンス生成を逐次学習問題として定式化し,新しいseq2seqアーキテクチャを考案し,音楽特徴の長いシーケンスを効率的に処理し,音楽とダンスの微妙な対応を捉える。 さらに,本論文では,前回の地中運動を用いた完全誘導型教師励行方式から,主に生成した動きを用いた非誘導型自己回帰方式へと,学習過程をゆるやかに変化させる長動系列生成における自己回帰モデルの誤り蓄積を緩和する新しいカリキュラム学習戦略を提案する。 大規模な実験により、我々のアプローチは、自動測定と人的評価において、既存の最先端技術よりも大幅に優れていることが示された。 また、提案されたアプローチの優れたパフォーマンスを示すデモビデオをhttps://www.youtube.com/watch? v=lmE20MEheZ8。

関連論文リスト

• LongDanceDiff: Long-term Dance Generation with Conditional Diffusion Model [3.036230795326545]
  LongDanceDiffは、シーケンス・ツー・シーケンスの長期ダンス生成のための条件付き拡散モデルである。 時間的一貫性と空間的制約の課題に対処する。 また,フットスライディングやアンスムース動作など,ダンス生成における視覚的品質の問題にも対処する。
  論文  参考訳（メタデータ） (2023-08-23T06:37:41Z)
• DiffDance: Cascaded Human Motion Diffusion Model for Dance Generation [89.50310360658791]
  本稿では,高分解能長周期ダンス生成のための新しい動き拡散モデルDiffDanceを提案する。 本モデルは、音楽間拡散モデルとシーケンス超解像拡散モデルとから構成される。 DiffDanceは、入力された音楽と効果的に一致したリアルなダンスシーケンスを生成することができることを実証する。
  論文  参考訳（メタデータ） (2023-08-05T16:18:57Z)
• BRACE: The Breakdancing Competition Dataset for Dance Motion Synthesis [123.73677487809418]
  ダンス・モーション・シンセサイザーにおける一般的な仮定に挑戦する新しいデータセットを提案する。 我々は、アクロバティックな動きと絡み合った姿勢を特徴とするブレイクダンスに焦点を当てている。 BRACEデータセットは、3時間30分以上の濃密な注釈付きポーズを含む。
  論文  参考訳（メタデータ） (2022-07-20T18:03:54Z)
• Bailando: 3D Dance Generation by Actor-Critic GPT with Choreographic Memory [92.81383016482813]
  そこで我々は3Dキャラクターを1曲の楽曲に追従して踊るための新しい音楽間距離フレームワークBailandoを提案する。 本稿では,音楽に忠実な流麗なダンスにユニットを構成するアクタ批判型生成事前学習変換器(GPT)を紹介する。 提案するフレームワークは,定性的かつ定量的に最先端の性能を実現する。
  論文  参考訳（メタデータ） (2022-03-24T13:06:43Z)
• Music-to-Dance Generation with Optimal Transport [48.92483627635586]
  本稿では,音楽から3Dダンス振付を生成するためのMDOT-Net(Music-to-Dance with Optimal Transport Network)を提案する。 生成したダンス分布とグロモフ=ワッサーシュタイン距離の信頼度を評価するための最適な移動距離を導入し、ダンス分布と入力音楽の対応性を測定する。
  論文  参考訳（メタデータ） (2021-12-03T09:37:26Z)
• Learning to dance: A graph convolutional adversarial network to generate realistic dance motions from audio [7.612064511889756]
  自然に音楽からダンスへと進むこと、つまりダンスを学ぶことは、人間が努力せずに演奏するより複雑な動きの1つである。 本稿では,音声情報から自動ダンス生成問題に取り組むために,グラフ畳み込みネットワークに基づく新しい手法を設計する。 提案手法は,入力された音楽音声に条件付き逆学習方式を用いて,異なる音楽スタイルの鍵となる動きを保存した自然な動きを生成する。
  論文  参考訳（メタデータ） (2020-11-25T19:53:53Z)
• Learning to Generate Diverse Dance Motions with Transformer [67.43270523386185]
  ダンス・モーション・シンセサイザーのための完全なシステムを提案する。 大規模なダンスモーションデータセットはYouTubeビデオから作成される。 新たな2ストリームモーショントランス生成モデルでは、高い柔軟性で動作シーケンスを生成することができる。
  論文  参考訳（メタデータ） (2020-08-18T22:29:40Z)
• Music2Dance: DanceNet for Music-driven Dance Generation [11.73506542921528]
  本研究では,音楽のスタイル,リズム,メロディを制御信号とする自己回帰生成モデルDanceNetを提案する。 プロのダンサーによる複数の同期音楽ダンスペアをキャプチャし、高品質な音楽ダンスペアデータセットを構築する。
  論文  参考訳（メタデータ） (2020-02-02T17:18:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。