論文の概要: Dual Learning Music Composition and Dance Choreography

• arxiv url: http://arxiv.org/abs/2201.11999v1
• Date: Fri, 28 Jan 2022 09:20:28 GMT
• ステータス: 処理完了
• システム内更新日: 2022-01-31 16:37:00.648177
• Title: Dual Learning Music Composition and Dance Choreography
• Title（参考訳）: 二重学習音楽作曲と舞踊振付
• Authors: Shuang Wu, Zhenguang Li, Shijian Lu, Li Cheng
• Abstract要約: 音楽とダンスは常に人間の活動の柱として共存しており、文化的、社会的、娯楽的な機能に大きく貢献している。 近年の研究では、音楽に調和したダンスシーケンスの生成モデルについて研究されている。 両タスクを二重学習アプローチで共同でモデル化する,新しい拡張を提案する。
• 参考スコア（独自算出の注目度）: 57.55406449959893
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Music and dance have always co-existed as pillars of human activities, contributing immensely to the cultural, social, and entertainment functions in virtually all societies. Notwithstanding the gradual systematization of music and dance into two independent disciplines, their intimate connection is undeniable and one art-form often appears incomplete without the other. Recent research works have studied generative models for dance sequences conditioned on music. The dual task of composing music for given dances, however, has been largely overlooked. In this paper, we propose a novel extension, where we jointly model both tasks in a dual learning approach. To leverage the duality of the two modalities, we introduce an optimal transport objective to align feature embeddings, as well as a cycle consistency loss to foster overall consistency. Experimental results demonstrate that our dual learning framework improves individual task performance, delivering generated music compositions and dance choreographs that are realistic and faithful to the conditioned inputs.
• Abstract（参考訳）: 音楽とダンスは常に人間の活動の柱として共存しており、事実上全ての社会における文化的、社会的、娯楽的な機能に大きく貢献している。 音楽とダンスが徐々に2つの独立した分野に体系化されているにもかかわらず、彼らの親密なつながりは否定できないものであり、一方の芸術形態はしばしば他方なしでは不完全に見える。 近年の研究では、音楽に基づくダンスシーケンスの生成モデルが研究されている。 しかし、与えられたダンスのために作曲する2つの課題は、ほとんど見落とされた。 本稿では,両タスクを二重学習方式で協調的にモデル化する新しい拡張法を提案する。 2つのモダリティの双対性を活用するために,機能埋め込みを整列する最適な輸送目標を導入するとともに,全体の整合性を高めるためのサイクル整合損失も導入する。 実験結果から,2つの学習フレームワークが個々のタスクパフォーマンスを改善し,生成した楽曲の合成とダンス振付を,条件付き入力に忠実に再現できることが確認された。

関連論文リスト

• Duolando: Follower GPT with Off-Policy Reinforcement Learning for Dance Accompaniment [87.20240797625648]
  舞踊伴奏と呼ばれる3次元舞踊生成の分野における新しい課題を紹介する。 これは、リードダンサーの動きと、基礎となる音楽リズムと同期した「フォロワー」と呼ばれるダンスパートナーからの応答的な動きを生成する必要がある。 本稿では,GPTに基づくDuolandoモデルを提案する。このモデルでは,音楽の協調情報,リーダの動作,従者の動きに基づいて,後続のトークン化動作を自動回帰予測する。
  論文  参考訳（メタデータ） (2024-03-27T17:57:02Z)
• LM2D: Lyrics- and Music-Driven Dance Synthesis [28.884929875333846]
  LM2Dは、音楽と歌詞の両方で、ひとつの拡散生成ステップでダンスコンディションを作成するように設計されている。 ポーズ推定技術を用いて,音楽と歌詞の両方を包含する最初の3次元ダンスモーションデータセットを提案する。 その結果、LM2Dは歌詞と音楽の両方にマッチするリアルで多様なダンスを制作できることを示した。
  論文  参考訳（メタデータ） (2024-03-14T13:59:04Z)
• DisCo: Disentangled Control for Realistic Human Dance Generation [125.85046815185866]
  ダンス合成の合成性を改善するために,不整合制御をもつ新しいモデルアーキテクチャであるdisCOを導入する。 DisCcは、さまざまな外観と柔軟な動きを持つ高品質な人間のダンス画像やビデオを生成することができる。
  論文  参考訳（メタデータ） (2023-06-30T17:37:48Z)
• Learning Music-Dance Representations through Explicit-Implicit Rhythm Synchronization [22.279424952432677]
  音楽距離表現は、(a)ダンス分類、(b)音楽距離検索、(c)音楽距離の3つの下流タスクに適用することができる。 音楽のリズム分析にインスパイアされた視覚的外観と動きの手がかりに基づいてダンスリズムを導出し、その後、音響強度の振幅によって抽出される音楽リズムと時間的に一致させる。
  論文  参考訳（メタデータ） (2022-07-07T09:44:44Z)
• Quantized GAN for Complex Music Generation from Dance Videos [48.196705493763986]
  D2M-GAN(Dance2Music-GAN, D2M-GAN, D2M-GAN)は、ダンスビデオに条件付けされた楽曲のサンプルを生成する新しいマルチモーダルフレームワークである。 提案フレームワークは,ダンスビデオフレームと人体の動きを入力とし,対応する入力に付随する音楽サンプルを生成することを学習する。
  論文  参考訳（メタデータ） (2022-04-01T17:53:39Z)
• Bailando: 3D Dance Generation by Actor-Critic GPT with Choreographic Memory [92.81383016482813]
  そこで我々は3Dキャラクターを1曲の楽曲に追従して踊るための新しい音楽間距離フレームワークBailandoを提案する。 本稿では,音楽に忠実な流麗なダンスにユニットを構成するアクタ批判型生成事前学習変換器(GPT)を紹介する。 提案するフレームワークは,定性的かつ定量的に最先端の性能を実現する。
  論文  参考訳（メタデータ） (2022-03-24T13:06:43Z)
• Music-to-Dance Generation with Optimal Transport [48.92483627635586]
  本稿では,音楽から3Dダンス振付を生成するためのMDOT-Net(Music-to-Dance with Optimal Transport Network)を提案する。 生成したダンス分布とグロモフ=ワッサーシュタイン距離の信頼度を評価するための最適な移動距離を導入し、ダンス分布と入力音楽の対応性を測定する。
  論文  参考訳（メタデータ） (2021-12-03T09:37:26Z)
• ChoreoNet: Towards Music to Dance Synthesis with Choreographic Action Unit [28.877908457607678]
  人間の振付処理を模倣する2段階の音楽合成フレームワークChoreoNetを設計する。 本フレームワークはまず,音楽とCAUシーケンス間のマッピング関係を学習するためのCAU予測モデルを考案する。 そこで我々は,CAUシーケンスを連続的なダンス動作に変換するための空間的時間的インペイントモデルを考案した。
  論文  参考訳（メタデータ） (2020-09-16T12:38:19Z)
• Music2Dance: DanceNet for Music-driven Dance Generation [11.73506542921528]
  本研究では,音楽のスタイル,リズム,メロディを制御信号とする自己回帰生成モデルDanceNetを提案する。 プロのダンサーによる複数の同期音楽ダンスペアをキャプチャし、高品質な音楽ダンスペアデータセットを構築する。
  論文  参考訳（メタデータ） (2020-02-02T17:18:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。