論文の概要: Bailando: 3D Dance Generation by Actor-Critic GPT with Choreographic Memory

• arxiv url: http://arxiv.org/abs/2203.13055v1
• Date: Thu, 24 Mar 2022 13:06:43 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-25 17:41:14.352636
• Title: Bailando: 3D Dance Generation by Actor-Critic GPT with Choreographic Memory
• Title（参考訳）: Bailando:Choreographic Memoryによるアクター・クライブGPTによる3Dダンス生成
• Authors: Li Siyao, Weijiang Yu, Tianpei Gu, Chunze Lin, Quan Wang, Chen Qian, Chen Change Loy, Ziwei Liu
• Abstract要約: そこで我々は3Dキャラクターを1曲の楽曲に追従して踊るための新しい音楽間距離フレームワークBailandoを提案する。 本稿では,音楽に忠実な流麗なダンスにユニットを構成するアクタ批判型生成事前学習変換器(GPT)を紹介する。 提案するフレームワークは,定性的かつ定量的に最先端の性能を実現する。
• 参考スコア（独自算出の注目度）: 92.81383016482813
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Driving 3D characters to dance following a piece of music is highly challenging due to the spatial constraints applied to poses by choreography norms. In addition, the generated dance sequence also needs to maintain temporal coherency with different music genres. To tackle these challenges, we propose a novel music-to-dance framework, Bailando, with two powerful components: 1) a choreographic memory that learns to summarize meaningful dancing units from 3D pose sequence to a quantized codebook, 2) an actor-critic Generative Pre-trained Transformer (GPT) that composes these units to a fluent dance coherent to the music. With the learned choreographic memory, dance generation is realized on the quantized units that meet high choreography standards, such that the generated dancing sequences are confined within the spatial constraints. To achieve synchronized alignment between diverse motion tempos and music beats, we introduce an actor-critic-based reinforcement learning scheme to the GPT with a newly-designed beat-align reward function. Extensive experiments on the standard benchmark demonstrate that our proposed framework achieves state-of-the-art performance both qualitatively and quantitatively. Notably, the learned choreographic memory is shown to discover human-interpretable dancing-style poses in an unsupervised manner.
• Abstract（参考訳）: 振付ノルムによるポーズに適用される空間的制約のため,音楽に合わせて踊る3Dキャラクタの運転は非常に困難である。 さらに、生成されたダンスシーケンスは、異なる音楽ジャンルと時間的一貫性を維持する必要がある。 これらの課題に取り組むため,我々は2つの強力な要素を持つ新しい音楽とダンスの枠組みであるbailandoを提案する。 1)意味あるダンスユニットを3Dポーズシーケンスから量子化されたコードブックに要約することを学ぶ振付記憶。 2)これらのユニットを音楽にコヒーレントな流麗なダンスに構成するアクタ批判型前訓練トランスフォーマー(gpt)。 学習した振り付け記憶により、生成したダンスシーケンスが空間的制約内に制限されるように、高い振り付け基準を満たす量子化単位上でダンス生成を実現する。 多様な動きのテンポと音楽のビートを同期的に調整するために,新たに設計されたビートアライメント機能を備えたアクタ批判に基づく強化学習スキームをGPTに導入する。 提案するフレームワークは, 定性的かつ定量的に, 最先端の性能を達成することを実証した。 特に、学習した振付記憶は、人間の解釈可能なダンススタイルのポーズを教師なしで発見する。

関連論文リスト

• Lodge++: High-quality and Long Dance Generation with Vivid Choreography Patterns [48.54956784928394]
  Lodge++は、高品質で、超長い、鮮やかなダンスを生成するためのコレオグラフィーフレームワークである。 計算効率の課題に対処するため、Lodge++では、粗いダンスから罰金までのダンスを生成するための2段階の戦略を採用している。 Lodge++は,様々なダンスジャンルに適した超長いダンスを高速に生成できることを示す広範な実験によって検証されている。
  論文  参考訳（メタデータ） (2024-10-27T09:32:35Z)
• Duolando: Follower GPT with Off-Policy Reinforcement Learning for Dance Accompaniment [87.20240797625648]
  舞踊伴奏と呼ばれる3次元舞踊生成の分野における新しい課題を紹介する。 これは、リードダンサーの動きと、基礎となる音楽リズムと同期した「フォロワー」と呼ばれるダンスパートナーからの応答的な動きを生成する必要がある。 本稿では,GPTに基づくDuolandoモデルを提案する。このモデルでは,音楽の協調情報,リーダの動作,従者の動きに基づいて,後続のトークン化動作を自動回帰予測する。
  論文  参考訳（メタデータ） (2024-03-27T17:57:02Z)
• TM2D: Bimodality Driven 3D Dance Generation via Music-Text Integration [75.37311932218773]
  テキストと音楽の両方を同時に組み込んだ3Dダンス運動を生成するための新しいタスクを提案する。 本手法は,テキストと音楽の両方に調和した現実的かつ一貫性のあるダンスの動きを生成できると同時に,2つの単一モーダルと同等の性能を維持することができる。
  論文  参考訳（メタデータ） (2023-04-05T12:58:33Z)
• Dual Learning Music Composition and Dance Choreography [57.55406449959893]
  音楽とダンスは常に人間の活動の柱として共存しており、文化的、社会的、娯楽的な機能に大きく貢献している。 近年の研究では、音楽に調和したダンスシーケンスの生成モデルについて研究されている。 両タスクを二重学習アプローチで共同でモデル化する,新しい拡張を提案する。
  論文  参考訳（メタデータ） (2022-01-28T09:20:28Z)
• Music-to-Dance Generation with Optimal Transport [48.92483627635586]
  本稿では,音楽から3Dダンス振付を生成するためのMDOT-Net(Music-to-Dance with Optimal Transport Network)を提案する。 生成したダンス分布とグロモフ=ワッサーシュタイン距離の信頼度を評価するための最適な移動距離を導入し、ダンス分布と入力音楽の対応性を測定する。
  論文  参考訳（メタデータ） (2021-12-03T09:37:26Z)
• DanceFormer: Music Conditioned 3D Dance Generation with Parametric Motion Transformer [23.51701359698245]
  本稿では、2段階のプロセス, ie, キーポーズ生成, そしてパラメトリックな動き曲線の予測によってそれを再構成する。 本稿では,経験的アニメーターによって正確にラベル付けされた大規模な音楽条件付き3DダンスデータセットPhantomDanceを提案する。 実験により、提案手法は既存のデータセットで訓練されても、流動的で、演奏的で、音楽にマッチした3Dダンスを生成できることが示されている。
  論文  参考訳（メタデータ） (2021-03-18T12:17:38Z)
• ChoreoNet: Towards Music to Dance Synthesis with Choreographic Action Unit [28.877908457607678]
  人間の振付処理を模倣する2段階の音楽合成フレームワークChoreoNetを設計する。 本フレームワークはまず,音楽とCAUシーケンス間のマッピング関係を学習するためのCAU予測モデルを考案する。 そこで我々は,CAUシーケンスを連続的なダンス動作に変換するための空間的時間的インペイントモデルを考案した。
  論文  参考訳（メタデータ） (2020-09-16T12:38:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。