論文の概要: Music- and Lyrics-driven Dance Synthesis

• arxiv url: http://arxiv.org/abs/2310.00455v1
• Date: Sat, 30 Sep 2023 18:27:14 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-05 04:10:33.690191
• Title: Music- and Lyrics-driven Dance Synthesis
• Title（参考訳）: 音楽と歌詞によるダンス合成
• Authors: Wenjie Yin, Qingyuan Yao, Yi Yu, Hang Yin, Danica Kragic, M{\aa}rten Bj\"orkman
• Abstract要約: 音楽と歌詞を用いた新しい3Dダンス・モーション・データセットであるJustLMDを紹介した。 私たちの知る限りでは、ダンスの動き、音楽、歌詞を含む三重奏情報を備えた最初のデータセットである。 提案したJustLMDデータセットは、1867年の連続した3Dダンスの4.6時間、音楽トラックとそれに対応する英語の歌詞を伴って構成されている。
• 参考スコア（独自算出の注目度）: 25.474741654098114
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Lyrics often convey information about the songs that are beyond the auditory dimension, enriching the semantic meaning of movements and musical themes. Such insights are important in the dance choreography domain. However, most existing dance synthesis methods mainly focus on music-to-dance generation, without considering the semantic information. To complement it, we introduce JustLMD, a new multimodal dataset of 3D dance motion with music and lyrics. To the best of our knowledge, this is the first dataset with triplet information including dance motion, music, and lyrics. Additionally, we showcase a cross-modal diffusion-based network designed to generate 3D dance motion conditioned on music and lyrics. The proposed JustLMD dataset encompasses 4.6 hours of 3D dance motion in 1867 sequences, accompanied by musical tracks and their corresponding English lyrics.
• Abstract（参考訳）: 歌詞は、しばしば聴覚の次元を超えた曲に関する情報を伝え、運動の意味と音楽のテーマを豊かにする。 このような洞察は舞踊振り付けの分野で重要である。 しかし、既存のダンス合成手法のほとんどは、意味的な情報を考慮せずに、音楽からダンスへの生成に重点を置いている。 そこで本研究では,音楽と歌詞による3Dダンス動作のマルチモーダルデータセットJustLMDを紹介する。 私たちの知る限りでは、これはダンスモーション、音楽、歌詞を含むトリプルト情報を含む最初のデータセットです。 さらに,音楽や歌詞を条件とした3dダンス動作を生成するクロスモーダル拡散ベースのネットワークも紹介する。 提案されているjustlmdデータセットは、1867年で4.6時間の3dダンスの動きを包含し、音楽のトラックと対応する英語の歌詞を伴っている。

関連論文リスト

• DanceCamera3D: 3D Camera Movement Synthesis with Music and Dance [50.01162760878841]
  DCMは、カメラの動きとダンスモーションと音楽オーディオを組み合わせた、新しいマルチモーダルな3Dデータセットである。 このデータセットは、アニメコミュニティからのペアダンスカメラ音楽データの108のダンスシーケンス(3.2時間)を含む。 本研究では,新しいボディアテンション損失と条件分離戦略を組み込んだトランスフォーマーに基づく拡散モデルであるDanceCamera3Dを提案する。
  論文  参考訳（メタデータ） (2024-03-20T15:24:57Z)
• LM2D: Lyrics- and Music-Driven Dance Synthesis [28.884929875333846]
  LM2Dは、音楽と歌詞の両方で、ひとつの拡散生成ステップでダンスコンディションを作成するように設計されている。 ポーズ推定技術を用いて,音楽と歌詞の両方を包含する最初の3次元ダンスモーションデータセットを提案する。 その結果、LM2Dは歌詞と音楽の両方にマッチするリアルで多様なダンスを制作できることを示した。
  論文  参考訳（メタデータ） (2024-03-14T13:59:04Z)
• TM2D: Bimodality Driven 3D Dance Generation via Music-Text Integration [75.37311932218773]
  テキストと音楽の両方を同時に組み込んだ3Dダンス運動を生成するための新しいタスクを提案する。 本手法は,テキストと音楽の両方に調和した現実的かつ一貫性のあるダンスの動きを生成できると同時に,2つの単一モーダルと同等の性能を維持することができる。
  論文  参考訳（メタデータ） (2023-04-05T12:58:33Z)
• Music-Driven Group Choreography [10.501572863039852]
  $rm AIOZ-GDANCE$は、音楽駆動のグループダンス生成のための新しい大規模データセットである。 集団舞踊運動の生成に単一舞踊生成法を鼻で適用することで,満足のいく結果が得られないことが示唆された。 本稿では,複数のグループコヒーレントな振付を効率よく作成するために,入力音楽シーケンスとダンサーの3D位置のセットを取り入れた新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-03-22T06:26:56Z)
• BRACE: The Breakdancing Competition Dataset for Dance Motion Synthesis [123.73677487809418]
  ダンス・モーション・シンセサイザーにおける一般的な仮定に挑戦する新しいデータセットを提案する。 我々は、アクロバティックな動きと絡み合った姿勢を特徴とするブレイクダンスに焦点を当てている。 BRACEデータセットは、3時間30分以上の濃密な注釈付きポーズを含む。
  論文  参考訳（メタデータ） (2022-07-20T18:03:54Z)
• Bailando: 3D Dance Generation by Actor-Critic GPT with Choreographic Memory [92.81383016482813]
  そこで我々は3Dキャラクターを1曲の楽曲に追従して踊るための新しい音楽間距離フレームワークBailandoを提案する。 本稿では,音楽に忠実な流麗なダンスにユニットを構成するアクタ批判型生成事前学習変換器(GPT)を紹介する。 提案するフレームワークは,定性的かつ定量的に最先端の性能を実現する。
  論文  参考訳（メタデータ） (2022-03-24T13:06:43Z)
• Music-to-Dance Generation with Optimal Transport [48.92483627635586]
  本稿では,音楽から3Dダンス振付を生成するためのMDOT-Net(Music-to-Dance with Optimal Transport Network)を提案する。 生成したダンス分布とグロモフ=ワッサーシュタイン距離の信頼度を評価するための最適な移動距離を導入し、ダンス分布と入力音楽の対応性を測定する。
  論文  参考訳（メタデータ） (2021-12-03T09:37:26Z)
• Learn to Dance with AIST++: Music Conditioned 3D Dance Generation [28.623222697548456]
  音楽に基づく3Dダンス生成のためのトランスフォーマーに基づく学習フレームワークを提案する。 また、AISTのマルチビューダンスビデオから再構成した、AIST++と呼ばれる3Dモーションと音楽のペア化データセットを提案する。
  論文  参考訳（メタデータ） (2021-01-21T18:59:22Z)
• Learning to Generate Diverse Dance Motions with Transformer [67.43270523386185]
  ダンス・モーション・シンセサイザーのための完全なシステムを提案する。 大規模なダンスモーションデータセットはYouTubeビデオから作成される。 新たな2ストリームモーショントランス生成モデルでは、高い柔軟性で動作シーケンスを生成することができる。
  論文  参考訳（メタデータ） (2020-08-18T22:29:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。