論文の概要: CMA-OT: Hierarchical Expert Supervision for Dance-to-Music Generation
- arxiv url: http://arxiv.org/abs/2609.13118v1
- Date: Fri, 11 Sep 2026 17:46:15 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-15 07:38:31.829868
- Title: CMA-OT: Hierarchical Expert Supervision for Dance-to-Music Generation
- Title（参考訳）: CMA-OT:ダンス・トゥ・ミュージック・ジェネレーションのための階層的エキスパート・スーパービジョン
- Abstract要約: ダンス・トゥ・ミュージック・ジェネレーションは、リズミカルでスタイリスティックにダンスビデオに合わせた音楽を合成することを目的としている。
既存の方法は通常スパースキューに依存し、最終的なオーディオ出力のみを監督する。
本稿では,大規模適応型最適輸送を用いたカリキュラム誘導型マルチスケール表現アライメントを提案する。
- 参考スコア（独自算出の注目度）: 36.54868745472302
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Dance-to-music (D2M) generation aims to synthesize music that is rhythmically and stylistically aligned with dance videos. A key challenge arises from the semantic mismatch between sparse dance cues, such as rhythm and style, and the dense information required for music composition, including structure, instrumentation, and expressive dynamics. Existing methods typically rely on these sparse cues and supervise only the final audio output, resulting in poorly learned music representations and generated music with limited musicality and structural coherence. To address these issues, we propose Curriculum-guided Multi-scale representation Alignment with scale-aware Optimal Transport (CMA-OT), a novel paradigm that leverages an external music expert to provide hierarchical supervision for the generator's latent features, bridging the semantic gap and enhancing representation learning. To effectively incorporate hierarchical supervision, we introduce a curriculum-guided multi-scale learning strategy that progressively transfers musical knowledge from the expert to the music generator, enabling stable and effective representation learning. Moreover, to accommodate the semantic and structural variations across different expert scales and achieve fine-grained alignment under temporal mismatch, we propose a scale-aware optimal transport alignment mechanism, which models soft correspondences between hierarchical expert representations and the generator's latent features. Extensive experiments on two datasets demonstrate that CMA-OT achieves state-of-the-art performance in rhythmic synchronization, perceptual quality, and overall music generation.
- Abstract（参考訳）: ダンス・トゥ・ミュージック・ジェネレーション(D2M)は、リズミカルでスタイリスティックにダンスビデオに合わせた音楽の合成を目的としている。
重要な課題は、リズムやスタイルなどのスパース・ダンス・キューと、構造、楽器、表現力学などの作曲に必要な密集した情報とのセマンティック・ミスマッチから生じる。
既存の手法は、通常これらの希薄な手がかりに頼り、最終的なオーディオ出力のみを監督し、学習の不十分な音楽表現と、限られた音楽性と構造的コヒーレンスを持つ音楽を生成する。
これらの課題に対処するため、我々は、外部音楽専門家を活用して、ジェネレータの潜伏した特徴を階層的に監視し、意味的ギャップを埋め、表現学習を強化する新しいパラダイムであるCMA-OT(Curriculum-guided Multi-scale representation Alignment with Scale-aware Optimal Transport)を提案する。
階層的指導を効果的に活用するために,専門家から音楽生成者へ音楽知識を段階的に伝達し,安定的で効果的な表現学習を可能にするカリキュラム誘導型マルチスケール学習戦略を導入する。
さらに, 時間的ミスマッチ下での微粒なアライメントを実現するため, 階層的専門家表現とジェネレータの潜在特徴とのソフトな対応をモデル化した, スケールアウェアの最適トランスポートアライメント機構を提案する。
2つのデータセットに対する大規模な実験により、CMA-OTはリズム同期、知覚品質、全体的な音楽生成において最先端のパフォーマンスを達成することが示された。
関連論文リスト
- VIBE: Video Instruction-aligned Background music gEneration [58.326977744404566]
現在のV2Mモデルは意味制御に欠け、命令違反をペナルティ化することができない。
本研究では,コンディショニング接続を利用した新しいテキスト・ビデオ・音楽生成モデルであるVIBEを紹介する。
論文 参考訳（メタデータ） (2026-08-31T01:19:55Z) - Music-to-Dance Generation via Atomic Movements [67.09789936557199]
音楽駆動ダンス生成は、リズミカルに同期し、音楽と意味的に整合した人間の動きを作り出すことを目的としている。
そこで我々は,コレオグラフィーを原子運動と解釈可能な動作事象の系列としてモデル化する構造認識フレームワークを提案する。
本手法は,既存のベースラインと比較して,構造的コヒーレンス,リズム的アライメント,知覚的自然さを著しく改善したダンスを生成する。
論文 参考訳（メタデータ） (2026-07-15T16:03:55Z) - TMD-Bench: A Multi-Level Evaluation Paradigm for Music-Dance Co-Generation [45.3416170884362]
TMD-Benchはテキスト駆動型音楽ダンスコージェネレーションのベンチマークである。
単調な生成品質、命令順守、およびモード間のリズミカルアライメントにまたがるシステムを評価する。
論文 参考訳（メタデータ） (2026-05-03T10:25:47Z) - MotionRAG-Diff: A Retrieval-Augmented Diffusion Framework for Long-Term Music-to-Dance Generation [10.203209816178552]
MotionRAG-Diffは、Retrieval-Augmented Generationと拡散に基づく改善を統合するハイブリッドフレームワークである。
我々の手法は3つの中核的な革新をもたらす。
動作品質、多様性、音楽-モーション同期の精度で最先端のパフォーマンスを達成する。
論文 参考訳（メタデータ） (2025-06-03T09:12:48Z) - Extending Visual Dynamics for Video-to-Music Generation [51.274561293909926]
DyViMは、ビデオから音楽への生成のための動的モデリングを強化する新しいフレームワークである。
高レベルのセマンティクスは、クロスアテンションメカニズムを通じて伝達される。
実験では、DyViMが最先端(SOTA)法よりも優れていることを示した。
論文 参考訳（メタデータ） (2025-04-10T09:47:26Z) - Synthesizing Composite Hierarchical Structure from Symbolic Music Corpora [32.18458296933001]
構造時間グラフ(STG)と呼ばれる音楽構造の統一的階層的メタ表現を提案する。
シングルピースの場合、STGは、より微細な構造的音楽的特徴の階層構造とそれらの間の時間的関係を定義するデータ構造である。
論文 参考訳（メタデータ） (2025-02-21T02:32:29Z) - Unifying Symbolic Music Arrangement: Track-Aware Reconstruction and Structured Tokenization [19.27890803128116]
自動マルチトラック音楽アレンジメントのための統合フレームワークを提案する。
中心となるのは、トークンレベルのアンタングルされたコンテンツとスタイルで動作するセグメントレベルの再構築目標である。
トラックワイズ・モデリングを支援するため,マルチトラック・シンボリック・ミュージックのための構造化トークン化手法であるREMI-zを導入する。
論文 参考訳（メタデータ） (2024-08-27T16:18:51Z) - Music-to-Dance Generation with Optimal Transport [48.92483627635586]
本稿では,音楽から3Dダンス振付を生成するためのMDOT-Net(Music-to-Dance with Optimal Transport Network)を提案する。
生成したダンス分布とグロモフ=ワッサーシュタイン距離の信頼度を評価するための最適な移動距離を導入し、ダンス分布と入力音楽の対応性を測定する。
論文 参考訳（メタデータ） (2021-12-03T09:37:26Z) - Music Gesture for Visual Sound Separation [121.36275456396075]
ミュージック・ジェスチャ(Music Gesture)は、音楽演奏時の演奏者の身体と指の動きを明示的にモデル化するキーポイントに基づく構造化表現である。
まず、コンテキスト対応グラフネットワークを用いて、視覚的コンテキストと身体力学を統合し、その後、身体の動きと対応する音声信号とを関連付けるために、音声-視覚融合モデルを適用する。
論文 参考訳（メタデータ） (2020-04-20T17:53:46Z) - Modeling Musical Structure with Artificial Neural Networks [0.0]
音楽構造モデリングのさまざまな側面に対する人工知能の適用について検討する。
Gated Autoencoder(GAE)というコネクショナリストモデルを用いて,楽曲の断片間の変換を学習する方法を示す。
本稿では,ポリフォニック・ミュージックを区間の連続として表現するGAEの特別な予測訓練を提案する。
論文 参考訳（メタデータ） (2020-01-06T18:35:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。