論文の概要: Dance Style Transfer with Cross-modal Transformer

• arxiv url: http://arxiv.org/abs/2208.09406v2
• Date: Mon, 22 Aug 2022 15:59:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2022-08-23 10:33:16.732277
• Title: Dance Style Transfer with Cross-modal Transformer
• Title（参考訳）: クロスモーダルトランスフォーマーを用いたダンススタイルトランスファー
• Abstract要約: CycleDanceは、あるダンススタイルの既存のモーションクリップを別のダンススタイルのモーションクリップに変換するダンススタイルのトランスファーシステムである。 提案手法は,既存のCycleGANアーキテクチャを拡張して音声シーケンスをモデル化し,マルチモーダルトランスフォーマーエンコーダを統合する。
• 参考スコア（独自算出の注目度）: 17.216186480300756
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present CycleDance, a dance style transfer system to transform an existing motion clip in one dance style to a motion clip in another dance style while attempting to preserve motion context of the dance. Our method extends an existing CycleGAN architecture for modeling audio sequences and integrates multimodal transformer encoders to account for music context. We adopt sequence length-based curriculum learning to stabilize training. Our approach captures rich and long-term intra-relations between motion frames, which is a common challenge in motion transfer and synthesis work. We further introduce new metrics for gauging transfer strength and content preservation in the context of dance movements. We perform an extensive ablation study as well as a human study including 30 participants with 5 or more years of dance experience. The results demonstrate that CycleDance generates realistic movements with the target style, significantly outperforming the baseline CycleGAN on naturalness, transfer strength, and content preservation.
• Abstract（参考訳）: そこで本研究では,あるダンススタイルにおける既存のモーションクリップを,ダンスのモーションコンテキストを保ちつつ,別のダンススタイルのモーションクリップに変換する,ダンススタイル転送システムであるcycledanceを提案する。 提案手法は,既存のCycleGANアーキテクチャを拡張して音声シーケンスをモデル化し,マルチモーダルトランスフォーマーエンコーダを統合する。 シーケンス長に基づくカリキュラム学習を採用し,トレーニングを安定化する。 本手法は,移動フレーム間のリッチかつ長期的関係を捉え,移動伝達と合成作業において共通の課題である。 さらに,ダンス動作の文脈において,移動強度とコンテンツ保存の指標を新たに導入する。 5年以上のダンス経験を持つ30人を対象に,広範囲にわたるアブレーション研究と人間による研究を行った。 その結果, サイクルダンスは, 自然性, 伝達強度, コンテンツ保存において, ベースラインのサイクルガンを著しく上回って, ターゲットスタイルで現実的な動きを生じさせることがわかった。

関連論文リスト

• Music-to-Dance Generation via Atomic Movements [67.09789936557199]
  音楽駆動ダンス生成は、リズミカルに同期し、音楽と意味的に整合した人間の動きを作り出すことを目的としている。 そこで我々は,コレオグラフィーを原子運動と解釈可能な動作事象の系列としてモデル化する構造認識フレームワークを提案する。 本手法は,既存のベースラインと比較して,構造的コヒーレンス,リズム的アライメント,知覚的自然さを著しく改善したダンスを生成する。
  論文  参考訳（メタデータ） (2026-07-15T16:03:55Z)
• Not Like Transformers: Drop the Beat Representation for Dance Generation with Mamba-Based Diffusion Model [8.542693293312935]
  本研究では,マンバに基づく拡散モデルを利用した新しいダンス生成手法であるemphMambaDanceを提案する。 Mambaは、長大かつ自己回帰的なシーケンスを扱うのに適しているが、我々の2段階拡散アーキテクチャに統合され、既製のトランスフォーマーに代わる。 提案手法は,従来の手法と比較して,短いダンスから長いダンスまで連続的に重要な特徴を反映しながら,効果的に可塑性舞踊運動を生成する。
  論文  参考訳（メタデータ） (2026-03-09T06:59:03Z)
• DanceFusion: A Spatio-Temporal Skeleton Diffusion Transformer for Audio-Driven Dance Motion Reconstruction [3.2189686611762163]
  本稿では,音楽に同期したダンスの動きを再現・生成するための新しいフレームワークであるDanceFusionを紹介する。 このフレームワークは、TikTokのようなソーシャルメディアプラットフォーム上のショートフォームダンスビデオでよく見られる不完全で騒がしい骨格データを扱う。 総合的な評価は、DanceFusionが既存の手法を超越し、ダイナミックでリアルでスタイリスティックに多様なダンスモーションを生成する最先端のパフォーマンスを提供することを示している。
  論文  参考訳（メタデータ） (2024-11-07T12:11:11Z)
• BRACE: The Breakdancing Competition Dataset for Dance Motion Synthesis [123.73677487809418]
  ダンス・モーション・シンセサイザーにおける一般的な仮定に挑戦する新しいデータセットを提案する。 我々は、アクロバティックな動きと絡み合った姿勢を特徴とするブレイクダンスに焦点を当てている。 BRACEデータセットは、3時間30分以上の濃密な注釈付きポーズを含む。
  論文  参考訳（メタデータ） (2022-07-20T18:03:54Z)
• Bailando: 3D Dance Generation by Actor-Critic GPT with Choreographic Memory [92.81383016482813]
  そこで我々は3Dキャラクターを1曲の楽曲に追従して踊るための新しい音楽間距離フレームワークBailandoを提案する。 本稿では,音楽に忠実な流麗なダンスにユニットを構成するアクタ批判型生成事前学習変換器(GPT)を紹介する。 提案するフレームワークは,定性的かつ定量的に最先端の性能を実現する。
  論文  参考訳（メタデータ） (2022-03-24T13:06:43Z)
• Music-to-Dance Generation with Optimal Transport [48.92483627635586]
  本稿では,音楽から3Dダンス振付を生成するためのMDOT-Net(Music-to-Dance with Optimal Transport Network)を提案する。 生成したダンス分布とグロモフ=ワッサーシュタイン距離の信頼度を評価するための最適な移動距離を導入し、ダンス分布と入力音楽の対応性を測定する。
  論文  参考訳（メタデータ） (2021-12-03T09:37:26Z)
• Rhythm is a Dancer: Music-Driven Motion Synthesis with Global Structure [47.09425316677689]
  本稿では、入力ビートと同期した人間の動作の長期シーケンスを生成する音楽駆動型モーション合成フレームワークを提案する。 我々のフレームワークは、ビートだけでなく、音楽の内容によって制御される多様な動きの生成を可能にする。
  論文  参考訳（メタデータ） (2021-11-23T21:26:31Z)
• Learning to dance: A graph convolutional adversarial network to generate realistic dance motions from audio [7.612064511889756]
  自然に音楽からダンスへと進むこと、つまりダンスを学ぶことは、人間が努力せずに演奏するより複雑な動きの1つである。 本稿では,音声情報から自動ダンス生成問題に取り組むために,グラフ畳み込みネットワークに基づく新しい手法を設計する。 提案手法は,入力された音楽音声に条件付き逆学習方式を用いて,異なる音楽スタイルの鍵となる動きを保存した自然な動きを生成する。
  論文  参考訳（メタデータ） (2020-11-25T19:53:53Z)
• Learning to Generate Diverse Dance Motions with Transformer [67.43270523386185]
  ダンス・モーション・シンセサイザーのための完全なシステムを提案する。 大規模なダンスモーションデータセットはYouTubeビデオから作成される。 新たな2ストリームモーショントランス生成モデルでは、高い柔軟性で動作シーケンスを生成することができる。
  論文  参考訳（メタデータ） (2020-08-18T22:29:40Z)
• Dance Revolution: Long-Term Dance Generation with Music via Curriculum Learning [55.854205371307884]
  音楽条件付きダンス生成をシーケンス・ツー・シーケンスの学習問題として定式化する。 本稿では,長動き列生成における自己回帰モデルの誤り蓄積を軽減するための新しいカリキュラム学習戦略を提案する。 提案手法は,自動計測と人的評価において,既存の最先端技術よりも大幅に優れている。
  論文  参考訳（メタデータ） (2020-06-11T00:08:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。