論文の概要: Dance Style Transfer with Cross-modal Transformer

• arxiv url: http://arxiv.org/abs/2208.09406v1
• Date: Fri, 19 Aug 2022 15:48:30 GMT
• ステータス: 処理完了
• システム内更新日: 2022-08-22 17:43:15.535514
• Title: Dance Style Transfer with Cross-modal Transformer
• Title（参考訳）: クロスモーダルトランスフォーマーを用いたダンススタイルトランスファー
• Authors: Wenjie Yin, Hang Yin, Kim Baraka, Danica Kragic, and M{\aa}rten Bj\"orkman
• Abstract要約: CycleDanceは、あるダンススタイルの既存のモーションクリップを別のダンススタイルのモーションクリップに変換するダンススタイルのトランスファーシステムである。 提案手法は,既存のCycleGANアーキテクチャを拡張して音声シーケンスをモデル化し,マルチモーダルトランスフォーマーエンコーダを統合する。
• 参考スコア（独自算出の注目度）: 17.216186480300756
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present CycleDance, a dance style transfer system to transform an existing motion clip in one dance style to a motion clip in another dance style while attempting to preserve motion context of the dance. Our method extends an existing CycleGAN architecture for modeling audio sequences and integrates multimodal transformer encoders to account for music context. We adopt sequence length-based curriculum learning to stabilize training. Our approach captures rich and long-term intra-relations between motion frames, which is a common challenge in motion transfer and synthesis work. We further introduce new metrics for gauging transfer strength and content preservation in the context of dance movements. We perform an extensive ablation study as well as a human study including 30 participants with 5 or more years of dance experience. The results demonstrate that CycleDance generates realistic movements with the target style, significantly outperforming the baseline CycleGAN on naturalness, transfer strength, and content preservation.
• Abstract（参考訳）: そこで本研究では,あるダンススタイルにおける既存のモーションクリップを,ダンスのモーションコンテキストを保ちつつ,別のダンススタイルのモーションクリップに変換する,ダンススタイル転送システムであるcycledanceを提案する。 提案手法は,既存のCycleGANアーキテクチャを拡張して音声シーケンスをモデル化し,マルチモーダルトランスフォーマーエンコーダを統合する。 シーケンス長に基づくカリキュラム学習を採用し,トレーニングを安定化する。 本手法は,移動フレーム間のリッチかつ長期的関係を捉え,移動伝達と合成作業において共通の課題である。 さらに,ダンス動作の文脈において,移動強度とコンテンツ保存の指標を新たに導入する。 5年以上のダンス経験を持つ30人を対象に,広範囲にわたるアブレーション研究と人間による研究を行った。 その結果, サイクルダンスは, 自然性, 伝達強度, コンテンツ保存において, ベースラインのサイクルガンを著しく上回って, ターゲットスタイルで現実的な動きを生じさせることがわかった。

関連論文リスト

• DanceFusion: A Spatio-Temporal Skeleton Diffusion Transformer for Audio-Driven Dance Motion Reconstruction [3.2189686611762163]
  本稿では,音楽に同期したダンスの動きを再現・生成するための新しいフレームワークであるDanceFusionを紹介する。 このフレームワークは、TikTokのようなソーシャルメディアプラットフォーム上のショートフォームダンスビデオでよく見られる不完全で騒がしい骨格データを扱う。 総合的な評価は、DanceFusionが既存の手法を超越し、ダイナミックでリアルでスタイリスティックに多様なダンスモーションを生成する最先端のパフォーマンスを提供することを示している。
  論文  参考訳（メタデータ） (2024-11-07T12:11:11Z)
• BRACE: The Breakdancing Competition Dataset for Dance Motion Synthesis [123.73677487809418]
  ダンス・モーション・シンセサイザーにおける一般的な仮定に挑戦する新しいデータセットを提案する。 我々は、アクロバティックな動きと絡み合った姿勢を特徴とするブレイクダンスに焦点を当てている。 BRACEデータセットは、3時間30分以上の濃密な注釈付きポーズを含む。
  論文  参考訳（メタデータ） (2022-07-20T18:03:54Z)
• Bailando: 3D Dance Generation by Actor-Critic GPT with Choreographic Memory [92.81383016482813]
  そこで我々は3Dキャラクターを1曲の楽曲に追従して踊るための新しい音楽間距離フレームワークBailandoを提案する。 本稿では,音楽に忠実な流麗なダンスにユニットを構成するアクタ批判型生成事前学習変換器(GPT)を紹介する。 提案するフレームワークは,定性的かつ定量的に最先端の性能を実現する。
  論文  参考訳（メタデータ） (2022-03-24T13:06:43Z)
• Music-to-Dance Generation with Optimal Transport [48.92483627635586]
  本稿では,音楽から3Dダンス振付を生成するためのMDOT-Net(Music-to-Dance with Optimal Transport Network)を提案する。 生成したダンス分布とグロモフ=ワッサーシュタイン距離の信頼度を評価するための最適な移動距離を導入し、ダンス分布と入力音楽の対応性を測定する。
  論文  参考訳（メタデータ） (2021-12-03T09:37:26Z)
• Rhythm is a Dancer: Music-Driven Motion Synthesis with Global Structure [47.09425316677689]
  本稿では、入力ビートと同期した人間の動作の長期シーケンスを生成する音楽駆動型モーション合成フレームワークを提案する。 我々のフレームワークは、ビートだけでなく、音楽の内容によって制御される多様な動きの生成を可能にする。
  論文  参考訳（メタデータ） (2021-11-23T21:26:31Z)
• Learning to dance: A graph convolutional adversarial network to generate realistic dance motions from audio [7.612064511889756]
  自然に音楽からダンスへと進むこと、つまりダンスを学ぶことは、人間が努力せずに演奏するより複雑な動きの1つである。 本稿では,音声情報から自動ダンス生成問題に取り組むために,グラフ畳み込みネットワークに基づく新しい手法を設計する。 提案手法は,入力された音楽音声に条件付き逆学習方式を用いて,異なる音楽スタイルの鍵となる動きを保存した自然な動きを生成する。
  論文  参考訳（メタデータ） (2020-11-25T19:53:53Z)
• Learning to Generate Diverse Dance Motions with Transformer [67.43270523386185]
  ダンス・モーション・シンセサイザーのための完全なシステムを提案する。 大規模なダンスモーションデータセットはYouTubeビデオから作成される。 新たな2ストリームモーショントランス生成モデルでは、高い柔軟性で動作シーケンスを生成することができる。
  論文  参考訳（メタデータ） (2020-08-18T22:29:40Z)
• Dance Revolution: Long-Term Dance Generation with Music via Curriculum Learning [55.854205371307884]
  音楽条件付きダンス生成をシーケンス・ツー・シーケンスの学習問題として定式化する。 本稿では,長動き列生成における自己回帰モデルの誤り蓄積を軽減するための新しいカリキュラム学習戦略を提案する。 提案手法は,自動計測と人的評価において,既存の最先端技術よりも大幅に優れている。
  論文  参考訳（メタデータ） (2020-06-11T00:08:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。