論文の概要: Bailando: 3D Dance Generation by Actor-Critic GPT with Choreographic
Memory
- arxiv url: http://arxiv.org/abs/2203.13055v1
- Date: Thu, 24 Mar 2022 13:06:43 GMT
- ステータス: 処理完了
- システム内更新日: 2022-03-25 17:41:14.352636
- Title: Bailando: 3D Dance Generation by Actor-Critic GPT with Choreographic
Memory
- Title(参考訳): Bailando:Choreographic Memoryによるアクター・クライブGPTによる3Dダンス生成
- Authors: Li Siyao, Weijiang Yu, Tianpei Gu, Chunze Lin, Quan Wang, Chen Qian,
Chen Change Loy, Ziwei Liu
- Abstract要約: そこで我々は3Dキャラクターを1曲の楽曲に追従して踊るための新しい音楽間距離フレームワークBailandoを提案する。
本稿では,音楽に忠実な流麗なダンスにユニットを構成するアクタ批判型生成事前学習変換器(GPT)を紹介する。
提案するフレームワークは,定性的かつ定量的に最先端の性能を実現する。
- 参考スコア(独自算出の注目度): 92.81383016482813
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Driving 3D characters to dance following a piece of music is highly
challenging due to the spatial constraints applied to poses by choreography
norms. In addition, the generated dance sequence also needs to maintain
temporal coherency with different music genres. To tackle these challenges, we
propose a novel music-to-dance framework, Bailando, with two powerful
components: 1) a choreographic memory that learns to summarize meaningful
dancing units from 3D pose sequence to a quantized codebook, 2) an actor-critic
Generative Pre-trained Transformer (GPT) that composes these units to a fluent
dance coherent to the music. With the learned choreographic memory, dance
generation is realized on the quantized units that meet high choreography
standards, such that the generated dancing sequences are confined within the
spatial constraints. To achieve synchronized alignment between diverse motion
tempos and music beats, we introduce an actor-critic-based reinforcement
learning scheme to the GPT with a newly-designed beat-align reward function.
Extensive experiments on the standard benchmark demonstrate that our proposed
framework achieves state-of-the-art performance both qualitatively and
quantitatively. Notably, the learned choreographic memory is shown to discover
human-interpretable dancing-style poses in an unsupervised manner.
- Abstract(参考訳): 振付ノルムによるポーズに適用される空間的制約のため,音楽に合わせて踊る3Dキャラクタの運転は非常に困難である。
さらに、生成されたダンスシーケンスは、異なる音楽ジャンルと時間的一貫性を維持する必要がある。
これらの課題に取り組むため,我々は2つの強力な要素を持つ新しい音楽とダンスの枠組みであるbailandoを提案する。
1)意味あるダンスユニットを3Dポーズシーケンスから量子化されたコードブックに要約することを学ぶ振付記憶。
2)これらのユニットを音楽にコヒーレントな流麗なダンスに構成するアクタ批判型前訓練トランスフォーマー(gpt)。
学習した振り付け記憶により、生成したダンスシーケンスが空間的制約内に制限されるように、高い振り付け基準を満たす量子化単位上でダンス生成を実現する。
多様な動きのテンポと音楽のビートを同期的に調整するために,新たに設計されたビートアライメント機能を備えたアクタ批判に基づく強化学習スキームをGPTに導入する。
提案するフレームワークは, 定性的かつ定量的に, 最先端の性能を達成することを実証した。
特に、学習した振付記憶は、人間の解釈可能なダンススタイルのポーズを教師なしで発見する。
関連論文リスト
- Dance with You: The Diversity Controllable Dancer Generation via
Diffusion Models [27.82646255903689]
本稿では,パートナーダンサー生成と呼ばれる新しいマルチダンサー合成タスクを提案する。
このタスクの中核は、生成されたパートナーダンサーのコントロール可能な多様性を保証することです。
マルチパーソンデータセットの欠如に対処するために、パートナーダンサー生成のための新しいデータセットであるAIST-Mを導入する。
論文 参考訳(メタデータ) (2023-08-23T15:54:42Z) - TM2D: Bimodality Driven 3D Dance Generation via Music-Text Integration [75.37311932218773]
テキストと音楽の両方を同時に組み込んだ3Dダンス運動を生成するための新しいタスクを提案する。
本手法は,テキストと音楽の両方に調和した現実的かつ一貫性のあるダンスの動きを生成できると同時に,2つの単一モーダルと同等の性能を維持することができる。
論文 参考訳(メタデータ) (2023-04-05T12:58:33Z) - FineDance: A Fine-grained Choreography Dataset for 3D Full Body Dance
Generation [33.9261932800456]
ファインダンス(FineDance)は、ダンスのジャンルで最大の音楽とダンスのペアデータセットである。
従来手法に存在した単調・不自然な手の動きに対処するため,フルボディダンス生成ネットワークを提案する。
生成したダンスのジャンルマッチングと長期的安定性をさらに向上するため,Genre&Coherent aware Retrieval Moduleを提案する。
論文 参考訳(メタデータ) (2022-12-07T16:10:08Z) - BRACE: The Breakdancing Competition Dataset for Dance Motion Synthesis [123.73677487809418]
ダンス・モーション・シンセサイザーにおける一般的な仮定に挑戦する新しいデータセットを提案する。
我々は、アクロバティックな動きと絡み合った姿勢を特徴とするブレイクダンスに焦点を当てている。
BRACEデータセットは、3時間30分以上の濃密な注釈付きポーズを含む。
論文 参考訳(メタデータ) (2022-07-20T18:03:54Z) - Dual Learning Music Composition and Dance Choreography [57.55406449959893]
音楽とダンスは常に人間の活動の柱として共存しており、文化的、社会的、娯楽的な機能に大きく貢献している。
近年の研究では、音楽に調和したダンスシーケンスの生成モデルについて研究されている。
両タスクを二重学習アプローチで共同でモデル化する,新しい拡張を提案する。
論文 参考訳(メタデータ) (2022-01-28T09:20:28Z) - Music-to-Dance Generation with Optimal Transport [48.92483627635586]
本稿では,音楽から3Dダンス振付を生成するためのMDOT-Net(Music-to-Dance with Optimal Transport Network)を提案する。
生成したダンス分布とグロモフ=ワッサーシュタイン距離の信頼度を評価するための最適な移動距離を導入し、ダンス分布と入力音楽の対応性を測定する。
論文 参考訳(メタデータ) (2021-12-03T09:37:26Z) - DanceFormer: Music Conditioned 3D Dance Generation with Parametric
Motion Transformer [23.51701359698245]
本稿では、2段階のプロセス, ie, キーポーズ生成, そしてパラメトリックな動き曲線の予測によってそれを再構成する。
本稿では,経験的アニメーターによって正確にラベル付けされた大規模な音楽条件付き3DダンスデータセットPhantomDanceを提案する。
実験により、提案手法は既存のデータセットで訓練されても、流動的で、演奏的で、音楽にマッチした3Dダンスを生成できることが示されている。
論文 参考訳(メタデータ) (2021-03-18T12:17:38Z) - ChoreoNet: Towards Music to Dance Synthesis with Choreographic Action
Unit [28.877908457607678]
人間の振付処理を模倣する2段階の音楽合成フレームワークChoreoNetを設計する。
本フレームワークはまず,音楽とCAUシーケンス間のマッピング関係を学習するためのCAU予測モデルを考案する。
そこで我々は,CAUシーケンスを連続的なダンス動作に変換するための空間的時間的インペイントモデルを考案した。
論文 参考訳(メタデータ) (2020-09-16T12:38:19Z) - Learning to Generate Diverse Dance Motions with Transformer [67.43270523386185]
ダンス・モーション・シンセサイザーのための完全なシステムを提案する。
大規模なダンスモーションデータセットはYouTubeビデオから作成される。
新たな2ストリームモーショントランス生成モデルでは、高い柔軟性で動作シーケンスを生成することができる。
論文 参考訳(メタデータ) (2020-08-18T22:29:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。