論文の概要: Learning to dance: A graph convolutional adversarial network to generate realistic dance motions from audio

• arxiv url: http://arxiv.org/abs/2011.12999v2
• Date: Mon, 30 Nov 2020 17:59:15 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-21 03:56:54.904651
• Title: Learning to dance: A graph convolutional adversarial network to generate realistic dance motions from audio
• Title（参考訳）: ダンスを学ぶ:音声からリアルなダンスの動きを生成するグラフ畳み込み対向ネットワーク
• Authors: Jo\~ao P. Ferreira, Thiago M. Coutinho, Thiago L. Gomes, Jos\'e F. Neto, Rafael Azevedo, Renato Martins, Erickson R. Nascimento
• Abstract要約: 自然に音楽からダンスへと進むこと、つまりダンスを学ぶことは、人間が努力せずに演奏するより複雑な動きの1つである。 本稿では,音声情報から自動ダンス生成問題に取り組むために,グラフ畳み込みネットワークに基づく新しい手法を設計する。 提案手法は,入力された音楽音声に条件付き逆学習方式を用いて,異なる音楽スタイルの鍵となる動きを保存した自然な動きを生成する。
• 参考スコア（独自算出の注目度）: 7.612064511889756
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Synthesizing human motion through learning techniques is becoming an increasingly popular approach to alleviating the requirement of new data capture to produce animations. Learning to move naturally from music, i.e., to dance, is one of the more complex motions humans often perform effortlessly. Each dance movement is unique, yet such movements maintain the core characteristics of the dance style. Most approaches addressing this problem with classical convolutional and recursive neural models undergo training and variability issues due to the non-Euclidean geometry of the motion manifold structure.In this paper, we design a novel method based on graph convolutional networks to tackle the problem of automatic dance generation from audio information. Our method uses an adversarial learning scheme conditioned on the input music audios to create natural motions preserving the key movements of different music styles. We evaluate our method with three quantitative metrics of generative methods and a user study. The results suggest that the proposed GCN model outperforms the state-of-the-art dance generation method conditioned on music in different experiments. Moreover, our graph-convolutional approach is simpler, easier to be trained, and capable of generating more realistic motion styles regarding qualitative and different quantitative metrics. It also presented a visual movement perceptual quality comparable to real motion data.
• Abstract（参考訳）: 人間の動きを学習技術で合成することは、アニメーションを作るための新しいデータキャプチャーの必要性を軽減するために、ますます人気が高まっている。 音楽、すなわちダンスから自然に動くことを学ぶことは、人間がしばしば無力に行うより複雑な動きの1つだ。 それぞれの舞踊は独特だが、こうした動きは舞踊スタイルの中核的な特徴を保っている。 古典的畳み込み・再帰的ニューラルモデルを用いてこの問題に取り組むほとんどのアプローチは、運動多様体構造の非ユークリッド幾何学による訓練と可変性の問題に対処し、本論文では、音声情報からの自動ダンス生成の問題に取り組むために、グラフ畳み込みネットワークに基づく新しい手法を考案する。 提案手法は,入力音楽音声に条件付き逆学習方式を用いて,異なる音楽スタイルの鍵となる動きを保存した自然な動きを生成する。 本手法を3つの定量的指標を用いて評価し,ユーザ調査を行った。 その結果,提案するgcnモデルは,異なる実験で楽曲を条件とした最先端のダンス生成法よりも優れていることが示唆された。 さらに、グラフ畳み込みのアプローチはよりシンプルで、訓練が容易で、質的および異なるメトリクスに関するより現実的な動きスタイルを生成することができる。 また、実際の動きデータに匹敵する視覚運動知覚質も提示した。

関連論文リスト

• DiffDance: Cascaded Human Motion Diffusion Model for Dance Generation [89.50310360658791]
  本稿では,高分解能長周期ダンス生成のための新しい動き拡散モデルDiffDanceを提案する。 本モデルは、音楽間拡散モデルとシーケンス超解像拡散モデルとから構成される。 DiffDanceは、入力された音楽と効果的に一致したリアルなダンスシーケンスを生成することができることを実証する。
  論文  参考訳（メタデータ） (2023-08-05T16:18:57Z)
• TM2D: Bimodality Driven 3D Dance Generation via Music-Text Integration [75.37311932218773]
  テキストと音楽の両方を同時に組み込んだ3Dダンス運動を生成するための新しいタスクを提案する。 本手法は,テキストと音楽の両方に調和した現実的かつ一貫性のあるダンスの動きを生成できると同時に,2つの単一モーダルと同等の性能を維持することができる。
  論文  参考訳（メタデータ） (2023-04-05T12:58:33Z)
• Dance Style Transfer with Cross-modal Transformer [17.216186480300756]
  CycleDanceは、あるダンススタイルの既存のモーションクリップを別のダンススタイルのモーションクリップに変換するダンススタイルのトランスファーシステムである。 提案手法は,既存のCycleGANアーキテクチャを拡張して音声シーケンスをモデル化し,マルチモーダルトランスフォーマーエンコーダを統合する。
  論文  参考訳（メタデータ） (2022-08-19T15:48:30Z)
• BRACE: The Breakdancing Competition Dataset for Dance Motion Synthesis [123.73677487809418]
  ダンス・モーション・シンセサイザーにおける一般的な仮定に挑戦する新しいデータセットを提案する。 我々は、アクロバティックな動きと絡み合った姿勢を特徴とするブレイクダンスに焦点を当てている。 BRACEデータセットは、3時間30分以上の濃密な注釈付きポーズを含む。
  論文  参考訳（メタデータ） (2022-07-20T18:03:54Z)
• Music-to-Dance Generation with Optimal Transport [48.92483627635586]
  本稿では,音楽から3Dダンス振付を生成するためのMDOT-Net(Music-to-Dance with Optimal Transport Network)を提案する。 生成したダンス分布とグロモフ=ワッサーシュタイン距離の信頼度を評価するための最適な移動距離を導入し、ダンス分布と入力音楽の対応性を測定する。
  論文  参考訳（メタデータ） (2021-12-03T09:37:26Z)
• Learning to Generate Diverse Dance Motions with Transformer [67.43270523386185]
  ダンス・モーション・シンセサイザーのための完全なシステムを提案する。 大規模なダンスモーションデータセットはYouTubeビデオから作成される。 新たな2ストリームモーショントランス生成モデルでは、高い柔軟性で動作シーケンスを生成することができる。
  論文  参考訳（メタデータ） (2020-08-18T22:29:40Z)
• Dance Revolution: Long-Term Dance Generation with Music via Curriculum Learning [55.854205371307884]
  音楽条件付きダンス生成をシーケンス・ツー・シーケンスの学習問題として定式化する。 本稿では,長動き列生成における自己回帰モデルの誤り蓄積を軽減するための新しいカリキュラム学習戦略を提案する。 提案手法は,自動計測と人的評価において,既存の最先端技術よりも大幅に優れている。
  論文  参考訳（メタデータ） (2020-06-11T00:08:25Z)
• Music2Dance: DanceNet for Music-driven Dance Generation [11.73506542921528]
  本研究では,音楽のスタイル,リズム,メロディを制御信号とする自己回帰生成モデルDanceNetを提案する。 プロのダンサーによる複数の同期音楽ダンスペアをキャプチャし、高品質な音楽ダンスペアデータセットを構築する。
  論文  参考訳（メタデータ） (2020-02-02T17:18:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。