論文の概要: Duolando: Follower GPT with Off-Policy Reinforcement Learning for Dance Accompaniment

• arxiv url: http://arxiv.org/abs/2403.18811v1
• Date: Wed, 27 Mar 2024 17:57:02 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-28 15:50:03.335209
• Title: Duolando: Follower GPT with Off-Policy Reinforcement Learning for Dance Accompaniment
• Title（参考訳）: Duolando: ダンス伴奏のためのオフポリティ強化学習による低速GPT
• Authors: Li Siyao, Tianpei Gu, Zhitao Yang, Zhengyu Lin, Ziwei Liu, Henghui Ding, Lei Yang, Chen Change Loy,
• Abstract要約: 舞踊伴奏と呼ばれる3次元舞踊生成の分野における新しい課題を紹介する。 これは、リードダンサーの動きと、基礎となる音楽リズムと同期した「フォロワー」と呼ばれるダンスパートナーからの応答的な動きを生成する必要がある。 本稿では,GPTに基づくDuolandoモデルを提案する。このモデルでは,音楽の協調情報,リーダの動作,従者の動きに基づいて,後続のトークン化動作を自動回帰予測する。
• 参考スコア（独自算出の注目度）: 87.20240797625648
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We introduce a novel task within the field of 3D dance generation, termed dance accompaniment, which necessitates the generation of responsive movements from a dance partner, the "follower", synchronized with the lead dancer's movements and the underlying musical rhythm. Unlike existing solo or group dance generation tasks, a duet dance scenario entails a heightened degree of interaction between the two participants, requiring delicate coordination in both pose and position. To support this task, we first build a large-scale and diverse duet interactive dance dataset, DD100, by recording about 117 minutes of professional dancers' performances. To address the challenges inherent in this task, we propose a GPT-based model, Duolando, which autoregressively predicts the subsequent tokenized motion conditioned on the coordinated information of the music, the leader's and the follower's movements. To further enhance the GPT's capabilities of generating stable results on unseen conditions (music and leader motions), we devise an off-policy reinforcement learning strategy that allows the model to explore viable trajectories from out-of-distribution samplings, guided by human-defined rewards. Based on the collected dataset and proposed method, we establish a benchmark with several carefully designed metrics.
• Abstract（参考訳）: 本稿では,ダンスパートナーからのレスポンシブな動きの発生を必要とするダンス伴奏(ダンス伴奏)と呼ばれる3Dダンス生成の分野において,リードダンサーの動きと同期した「フォロワ(フォロワ)」という新たなタスクを導入する。 既存のソロやグループダンス生成タスクとは異なり、デュエットダンスのシナリオは両者の相互作用の度合いを高め、ポーズとポジションの両方で微妙な調整を必要とする。 このタスクを支援するために、我々はまず、プロのダンサーのパフォーマンスを約117分間記録することで、大規模で多様なデュエット型ダンスデータセットDD100を構築した。 本課題に固有の課題に対処するため,GPTに基づくDuolandoモデルを提案する。 本研究は,GPTが未確認条件(音楽・リーダー動作)に対して安定した結果を生成できる能力をさらに強化するために,人為的な報酬によって導かれる,流通外のサンプリングから実行可能な軌道を探索する,非政治強化学習戦略を考案する。 収集したデータセットと提案手法に基づいて,慎重に設計した指標を用いたベンチマークを構築した。

関連論文リスト

• Scalable Group Choreography via Variational Phase Manifold Learning [8.504657927912076]
  生成多様体の学習におけるグループダンス生成のための位相ベース変分生成モデルを提案する。 提案手法は,高忠実度群舞踊動作を実現し,無制限なダンサー生成を可能にする。
  論文  参考訳（メタデータ） (2024-07-26T16:02:37Z)
• Dance with You: The Diversity Controllable Dancer Generation via Diffusion Models [27.82646255903689]
  本稿では,パートナーダンサー生成と呼ばれる新しいマルチダンサー合成タスクを提案する。 このタスクの中核は、生成されたパートナーダンサーのコントロール可能な多様性を保証することです。 マルチパーソンデータセットの欠如に対処するために、パートナーダンサー生成のための新しいデータセットであるAIST-Mを導入する。
  論文  参考訳（メタデータ） (2023-08-23T15:54:42Z)
• DiffDance: Cascaded Human Motion Diffusion Model for Dance Generation [89.50310360658791]
  本稿では,高分解能長周期ダンス生成のための新しい動き拡散モデルDiffDanceを提案する。 本モデルは、音楽間拡散モデルとシーケンス超解像拡散モデルとから構成される。 DiffDanceは、入力された音楽と効果的に一致したリアルなダンスシーケンスを生成することができることを実証する。
  論文  参考訳（メタデータ） (2023-08-05T16:18:57Z)
• TM2D: Bimodality Driven 3D Dance Generation via Music-Text Integration [75.37311932218773]
  テキストと音楽の両方を同時に組み込んだ3Dダンス運動を生成するための新しいタスクを提案する。 本手法は,テキストと音楽の両方に調和した現実的かつ一貫性のあるダンスの動きを生成できると同時に,2つの単一モーダルと同等の性能を維持することができる。
  論文  参考訳（メタデータ） (2023-04-05T12:58:33Z)
• Music-Driven Group Choreography [10.501572863039852]
  $rm AIOZ-GDANCE$は、音楽駆動のグループダンス生成のための新しい大規模データセットである。 集団舞踊運動の生成に単一舞踊生成法を鼻で適用することで,満足のいく結果が得られないことが示唆された。 本稿では,複数のグループコヒーレントな振付を効率よく作成するために,入力音楽シーケンスとダンサーの3D位置のセットを取り入れた新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-03-22T06:26:56Z)
• BRACE: The Breakdancing Competition Dataset for Dance Motion Synthesis [123.73677487809418]
  ダンス・モーション・シンセサイザーにおける一般的な仮定に挑戦する新しいデータセットを提案する。 我々は、アクロバティックな動きと絡み合った姿勢を特徴とするブレイクダンスに焦点を当てている。 BRACEデータセットは、3時間30分以上の濃密な注釈付きポーズを含む。
  論文  参考訳（メタデータ） (2022-07-20T18:03:54Z)
• Bailando: 3D Dance Generation by Actor-Critic GPT with Choreographic Memory [92.81383016482813]
  そこで我々は3Dキャラクターを1曲の楽曲に追従して踊るための新しい音楽間距離フレームワークBailandoを提案する。 本稿では,音楽に忠実な流麗なダンスにユニットを構成するアクタ批判型生成事前学習変換器(GPT)を紹介する。 提案するフレームワークは,定性的かつ定量的に最先端の性能を実現する。
  論文  参考訳（メタデータ） (2022-03-24T13:06:43Z)
• Music-to-Dance Generation with Optimal Transport [48.92483627635586]
  本稿では,音楽から3Dダンス振付を生成するためのMDOT-Net(Music-to-Dance with Optimal Transport Network)を提案する。 生成したダンス分布とグロモフ=ワッサーシュタイン距離の信頼度を評価するための最適な移動距離を導入し、ダンス分布と入力音楽の対応性を測定する。
  論文  参考訳（メタデータ） (2021-12-03T09:37:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。