論文の概要: Transflower: probabilistic autoregressive dance generation with multimodal attention

• arxiv url: http://arxiv.org/abs/2106.13871v1
• Date: Fri, 25 Jun 2021 20:14:28 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-30 14:42:49.464591
• Title: Transflower: probabilistic autoregressive dance generation with multimodal attention
• Title（参考訳）: トランスフラワー:マルチモーダルアテンションによる確率的自己回帰ダンス生成
• Authors: Guillermo Valle-P\'erez, Gustav Eje Henter, Jonas Beskow, Andr\'e Holzapfel, Pierre-Yves Oudeyer, Simon Alexanderson
• Abstract要約: 本稿では,従来のポーズに条件付き正規化フローと音楽文脈をモデル化した,確率的自己回帰型アーキテクチャを提案する。 第2に,プロとカジュアルの両方のダンサーを含む,さまざまなモーションキャプチャ技術で得られた,現在最大の3Dダンスモーションデータセットを紹介する。
• 参考スコア（独自算出の注目度）: 31.308435764603658
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Dance requires skillful composition of complex movements that follow rhythmic, tonal and timbral features of music. Formally, generating dance conditioned on a piece of music can be expressed as a problem of modelling a high-dimensional continuous motion signal, conditioned on an audio signal. In this work we make two contributions to tackle this problem. First, we present a novel probabilistic autoregressive architecture that models the distribution over future poses with a normalizing flow conditioned on previous poses as well as music context, using a multimodal transformer encoder. Second, we introduce the currently largest 3D dance-motion dataset, obtained with a variety of motion-capture technologies, and including both professional and casual dancers. Using this dataset, we compare our new model against two baselines, via objective metrics and a user study, and show that both the ability to model a probability distribution, as well as being able to attend over a large motion and music context are necessary to produce interesting, diverse, and realistic dance that matches the music.
• Abstract（参考訳）: ダンスは、音楽のリズム、調律、音節の特徴に従う複雑な動きの巧みな構成を必要とする。 形式的には、音楽に条件付けされたダンスの生成は、オーディオ信号に基づいて条件付けされた高次元連続モーション信号をモデル化する問題として表現することができる。 この作業では、この問題に取り組むために2つの貢献をします。 まず,マルチモーダルトランスフォーマーエンコーダを用いて,前回のポーズと音楽コンテキストで条件付けられた正規化フローを用いて,将来的なポーズの分布をモデル化する,新しい確率的自己回帰型アーキテクチャを提案する。 第2に,現在最大規模の3dダンスモーションデータセットを紹介し,さまざまなモーションキャプチャ技術を用いて,プロダンサーとカジュアルダンサーの両方を含む。 このデータセットを用いて,客観的指標とユーザスタディを用いて,新たなモデルを2つのベースラインと比較し,確率分布をモデル化する能力と,大きな動きや音楽のコンテキストを乗り越える能力の両方が,音楽にマッチする興味深い,多様で現実的なダンスを生み出すために必要なことを示す。

関連論文リスト

• LM2D: Lyrics- and Music-Driven Dance Synthesis [28.884929875333846]
  LM2Dは、音楽と歌詞の両方で、ひとつの拡散生成ステップでダンスコンディションを作成するように設計されている。 ポーズ推定技術を用いて,音楽と歌詞の両方を包含する最初の3次元ダンスモーションデータセットを提案する。 その結果、LM2Dは歌詞と音楽の両方にマッチするリアルで多様なダンスを制作できることを示した。
  論文  参考訳（メタデータ） (2024-03-14T13:59:04Z)
• DiffDance: Cascaded Human Motion Diffusion Model for Dance Generation [89.50310360658791]
  本稿では,高分解能長周期ダンス生成のための新しい動き拡散モデルDiffDanceを提案する。 本モデルは、音楽間拡散モデルとシーケンス超解像拡散モデルとから構成される。 DiffDanceは、入力された音楽と効果的に一致したリアルなダンスシーケンスを生成することができることを実証する。
  論文  参考訳（メタデータ） (2023-08-05T16:18:57Z)
• TM2D: Bimodality Driven 3D Dance Generation via Music-Text Integration [75.37311932218773]
  テキストと音楽の両方を同時に組み込んだ3Dダンス運動を生成するための新しいタスクを提案する。 本手法は,テキストと音楽の両方に調和した現実的かつ一貫性のあるダンスの動きを生成できると同時に,2つの単一モーダルと同等の性能を維持することができる。
  論文  参考訳（メタデータ） (2023-04-05T12:58:33Z)
• BRACE: The Breakdancing Competition Dataset for Dance Motion Synthesis [123.73677487809418]
  ダンス・モーション・シンセサイザーにおける一般的な仮定に挑戦する新しいデータセットを提案する。 我々は、アクロバティックな動きと絡み合った姿勢を特徴とするブレイクダンスに焦点を当てている。 BRACEデータセットは、3時間30分以上の濃密な注釈付きポーズを含む。
  論文  参考訳（メタデータ） (2022-07-20T18:03:54Z)
• Quantized GAN for Complex Music Generation from Dance Videos [48.196705493763986]
  D2M-GAN(Dance2Music-GAN, D2M-GAN, D2M-GAN)は、ダンスビデオに条件付けされた楽曲のサンプルを生成する新しいマルチモーダルフレームワークである。 提案フレームワークは,ダンスビデオフレームと人体の動きを入力とし,対応する入力に付随する音楽サンプルを生成することを学習する。
  論文  参考訳（メタデータ） (2022-04-01T17:53:39Z)
• Music-to-Dance Generation with Optimal Transport [48.92483627635586]
  本稿では,音楽から3Dダンス振付を生成するためのMDOT-Net(Music-to-Dance with Optimal Transport Network)を提案する。 生成したダンス分布とグロモフ=ワッサーシュタイン距離の信頼度を評価するための最適な移動距離を導入し、ダンス分布と入力音楽の対応性を測定する。
  論文  参考訳（メタデータ） (2021-12-03T09:37:26Z)
• DanceFormer: Music Conditioned 3D Dance Generation with Parametric Motion Transformer [23.51701359698245]
  本稿では、2段階のプロセス, ie, キーポーズ生成, そしてパラメトリックな動き曲線の予測によってそれを再構成する。 本稿では,経験的アニメーターによって正確にラベル付けされた大規模な音楽条件付き3DダンスデータセットPhantomDanceを提案する。 実験により、提案手法は既存のデータセットで訓練されても、流動的で、演奏的で、音楽にマッチした3Dダンスを生成できることが示されている。
  論文  参考訳（メタデータ） (2021-03-18T12:17:38Z)
• Learning to Generate Diverse Dance Motions with Transformer [67.43270523386185]
  ダンス・モーション・シンセサイザーのための完全なシステムを提案する。 大規模なダンスモーションデータセットはYouTubeビデオから作成される。 新たな2ストリームモーショントランス生成モデルでは、高い柔軟性で動作シーケンスを生成することができる。
  論文  参考訳（メタデータ） (2020-08-18T22:29:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。