論文の概要: Semi-Supervised Learning for In-Game Expert-Level Music-to-Dance
Translation
- arxiv url: http://arxiv.org/abs/2009.12763v1
- Date: Sun, 27 Sep 2020 07:08:04 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-14 03:42:59.752291
- Title: Semi-Supervised Learning for In-Game Expert-Level Music-to-Dance
Translation
- Title（参考訳）: ゲーム内エキスパートレベル音楽・ダンス翻訳のための半教師付き学習
- Authors: Yinglin Duan (1), Tianyang Shi (1), Zhengxia Zou (2), Jia Qin (1 and
3), Yifei Zhao (1), Yi Yuan (1), Jie Hou (1), Xiang Wen (1 and 3), Changjie
Fan (1) ((1) NetEase Fuxi AI Lab, (2) University of Michigan, Ann Arbor, (3)
Zhejiang University)
- Abstract要約: 近年のロールプレイングゲームにおいて,音楽間翻訳は強力な機能である。
我々は、振付理論に基づいて、翻訳問題を断片的なダンスフレーズ検索問題として再定式化する。
本手法は多種多様な音楽スタイルにまたがって一般化し,ゲームプレイヤのエキスパートレベルの振付に成功している。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Music-to-dance translation is a brand-new and powerful feature in recent
role-playing games. Players can now let their characters dance along with
specified music clips and even generate fan-made dance videos. Previous works
of this topic consider music-to-dance as a supervised motion generation problem
based on time-series data. However, these methods suffer from limited training
data pairs and the degradation of movements. This paper provides a new
perspective for this task where we re-formulate the translation problem as a
piece-wise dance phrase retrieval problem based on the choreography theory.
With such a design, players are allowed to further edit the dance movements on
top of our generation while other regression based methods ignore such user
interactivity. Considering that the dance motion capture is an expensive and
time-consuming procedure which requires the assistance of professional dancers,
we train our method under a semi-supervised learning framework with a large
unlabeled dataset (20x than labeled data) collected. A co-ascent mechanism is
introduced to improve the robustness of our network. Using this unlabeled
dataset, we also introduce self-supervised pre-training so that the translator
can understand the melody, rhythm, and other components of music phrases. We
show that the pre-training significantly improves the translation accuracy than
that of training from scratch. Experimental results suggest that our method not
only generalizes well over various styles of music but also succeeds in
expert-level choreography for game players.
- Abstract（参考訳）: 音楽からダンスへの翻訳は、最近のロールプレイングゲームで新しくて強力な機能だ。
プレイヤーは、特定のミュージッククリップと共にキャラクターを踊らせることができ、ファンが作ったダンスビデオも生成できる。
このトピックの以前の作品は、時系列データに基づく教師付きモーション生成問題として音楽とダンスを考察している。
しかし、これらの方法は限られたトレーニングデータペアと動きの劣化に苦しむ。
本稿では,この課題に対する新たな視点として,コレオグラフィー理論に基づく断片的ダンスフレーズ検索問題として翻訳問題を再構成する。
このようなデザインにより、プレイヤーは私たちの世代の上にダンスの動きをさらに編集することができ、他の回帰ベースのメソッドはそのようなユーザーの対話性を無視できる。
ダンスモーションキャプチャは,プロのダンサーの助けを必要とする高価で時間を要する手順であると考え,ラベル付きデータセット(ラベル付きデータより20倍)が収集された半教師付き学習フレームワークを用いて,提案手法を訓練する。
ネットワークの堅牢性を改善するために,共起機構を導入する。
このラベルのないデータセットを使って、翻訳者が曲句のメロディ、リズム、その他の要素を理解できるように、自己教師付き事前学習も導入する。
事前学習は,スクラッチからの学習よりも翻訳精度が有意に向上することを示す。
実験結果から,本手法は様々なスタイルの楽曲を一般化するだけでなく,ゲームプレイヤのエキスパートレベルの振付にも有効であることが示唆された。
関連論文リスト
- Automatic Dance Video Segmentation for Understanding Choreography [10.053913399613764]
本研究では,ダンスビデオを自動的に各動作に分割する手法を提案する。
トレーニングデータセットを構築するために、AIST Dance Video Databaseでセグメンテーションポイントをアノテートしてビデオをダンスする。
評価の結果,提案手法は高い精度でセグメンテーション点を推定できることがわかった。
論文 参考訳（メタデータ） (2024-05-30T06:19:01Z) - Duolando: Follower GPT with Off-Policy Reinforcement Learning for Dance Accompaniment [87.20240797625648]
舞踊伴奏と呼ばれる3次元舞踊生成の分野における新しい課題を紹介する。
これは、リードダンサーの動きと、基礎となる音楽リズムと同期した「フォロワー」と呼ばれるダンスパートナーからの応答的な動きを生成する必要がある。
本稿では,GPTに基づくDuolandoモデルを提案する。このモデルでは,音楽の協調情報,リーダの動作,従者の動きに基づいて,後続のトークン化動作を自動回帰予測する。
論文 参考訳（メタデータ） (2024-03-27T17:57:02Z) - Music to Dance as Language Translation using Sequence Models [1.4255659581428335]
MDLTは、振付生成問題を翻訳タスクとしてフレーム化する新しい手法である。
本稿では,トランスフォーマーアーキテクチャを利用したMDLTと,Mambaアーキテクチャを用いたMDLTの2つのバリエーションを提案する。
我々はAIST++とPhantomDanceのデータセットを使ってロボットアームにダンスを教えるが、本手法は完全なヒューマノイドロボットに適用できる。
論文 参考訳（メタデータ） (2024-03-22T18:47:54Z) - Music-Driven Group Choreography [10.501572863039852]
$rm AIOZ-GDANCE$は、音楽駆動のグループダンス生成のための新しい大規模データセットである。
集団舞踊運動の生成に単一舞踊生成法を鼻で適用することで,満足のいく結果が得られないことが示唆された。
本稿では,複数のグループコヒーレントな振付を効率よく作成するために,入力音楽シーケンスとダンサーの3D位置のセットを取り入れた新しい手法を提案する。
論文 参考訳（メタデータ） (2023-03-22T06:26:56Z) - BRACE: The Breakdancing Competition Dataset for Dance Motion Synthesis [123.73677487809418]
ダンス・モーション・シンセサイザーにおける一般的な仮定に挑戦する新しいデータセットを提案する。
我々は、アクロバティックな動きと絡み合った姿勢を特徴とするブレイクダンスに焦点を当てている。
BRACEデータセットは、3時間30分以上の濃密な注釈付きポーズを含む。
論文 参考訳（メタデータ） (2022-07-20T18:03:54Z) - Bailando: 3D Dance Generation by Actor-Critic GPT with Choreographic
Memory [92.81383016482813]
そこで我々は3Dキャラクターを1曲の楽曲に追従して踊るための新しい音楽間距離フレームワークBailandoを提案する。
本稿では,音楽に忠実な流麗なダンスにユニットを構成するアクタ批判型生成事前学習変換器(GPT)を紹介する。
提案するフレームワークは,定性的かつ定量的に最先端の性能を実現する。
論文 参考訳（メタデータ） (2022-03-24T13:06:43Z) - Music-to-Dance Generation with Optimal Transport [48.92483627635586]
本稿では,音楽から3Dダンス振付を生成するためのMDOT-Net(Music-to-Dance with Optimal Transport Network)を提案する。
生成したダンス分布とグロモフ=ワッサーシュタイン距離の信頼度を評価するための最適な移動距離を導入し、ダンス分布と入力音楽の対応性を測定する。
論文 参考訳（メタデータ） (2021-12-03T09:37:26Z) - DanceFormer: Music Conditioned 3D Dance Generation with Parametric
Motion Transformer [23.51701359698245]
本稿では、2段階のプロセス, ie, キーポーズ生成, そしてパラメトリックな動き曲線の予測によってそれを再構成する。
本稿では,経験的アニメーターによって正確にラベル付けされた大規模な音楽条件付き3DダンスデータセットPhantomDanceを提案する。
実験により、提案手法は既存のデータセットで訓練されても、流動的で、演奏的で、音楽にマッチした3Dダンスを生成できることが示されている。
論文 参考訳（メタデータ） (2021-03-18T12:17:38Z) - Learning to Generate Diverse Dance Motions with Transformer [67.43270523386185]
ダンス・モーション・シンセサイザーのための完全なシステムを提案する。
大規模なダンスモーションデータセットはYouTubeビデオから作成される。
新たな2ストリームモーショントランス生成モデルでは、高い柔軟性で動作シーケンスを生成することができる。
論文 参考訳（メタデータ） (2020-08-18T22:29:40Z) - Dance Revolution: Long-Term Dance Generation with Music via Curriculum
Learning [55.854205371307884]
音楽条件付きダンス生成をシーケンス・ツー・シーケンスの学習問題として定式化する。
本稿では,長動き列生成における自己回帰モデルの誤り蓄積を軽減するための新しいカリキュラム学習戦略を提案する。
提案手法は,自動計測と人的評価において,既存の最先端技術よりも大幅に優れている。
論文 参考訳（メタデータ） (2020-06-11T00:08:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。