論文の概要: Text Dictates, Music Decorates: Energy-based Attention for Editable Dance Motion Generation
- arxiv url: http://arxiv.org/abs/2606.22726v1
- Date: Mon, 22 Jun 2026 00:01:05 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-25 05:03:53.922609
- Title: Text Dictates, Music Decorates: Energy-based Attention for Editable Dance Motion Generation
- Title（参考訳）: テキストディクタ, 音楽のデコレーション: 編集可能なダンスモーション生成のためのエネルギーベースの注意
- Authors: Seong Jong Yoo, Siyuan Peng, Felix Gu, Stratis Aloimonos, Cornelia Fermüller,
- Abstract要約: STREAMは、振動生成のためのモード分離拡散変換器である。
ドメイン固有のダンス語彙とフレームレベルのセマンティックアノテーションに富んだデータセットであるMotorica++を紹介する。
STREAMは、コレオグラフィーのセマンティクスを完全に保存しながら、動きと音楽の間の最先端のアライメントを実現する。
- 参考スコア（独自算出の注目度）: 11.963078031832088
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Choreographic motion generation poses unique challenges for AI, demanding precise semantic control over complex, temporally structured, and expressive full-body dynamics. While existing models can synthesize motion from music, they remain largely black boxes. Conversely, attempting to condition generation on both text and music frequently leads to modality collapse, where dense acoustic rhythms overwhelm sparse semantic text prompts, destroying user controllability. To resolve this spatial-temporal conflict, we propose STREAM (Structural-Temporal Rhythmic Energy-based Attention for Motion), a modality-decoupled diffusion transformer. STREAM strictly separates conditioning pathways: global text semantics dictate the kinematic structure via Adaptive Layer Normalization (AdaLN), while a novel Bimodal Energy-Based Attention Module (BEAM) routes these features to the musical beat without overwriting the semantics. We further introduce Motorica++, a newly curated dataset enriched with domain-specific dance vocabulary and frame-level semantic annotations from existing Motorica dataset. Additionally, to rigorously quantify zero-shot editability, we propose the Exchange Evaluation Protocol and Editable Dance Score (EDS). Through extensive experiments, STREAM achieves state-of-the-art alignment between motion and music while perfectly preserving choreographic semantics, positioning AI not merely as a reactive synthesizer, but as a controllable, collaborative partner for artistic direction. The source code and datasets are available at https://github.com/SeongJong-Yoo/STREAM.
- Abstract（参考訳）: 振り付けモーション生成は、複雑で時間的に構造化された、表現力のあるフルボディダイナミクスに対して正確なセマンティックコントロールを要求する、AIに固有の課題を提起する。
既存のモデルは音楽から動きを合成できるが、ほとんどブラックボックスのままである。
逆に、テキストと音楽の両方で生成を条件付けしようとすると、高密度な音響リズムがスパースなセマンティックテキストのプロンプトを圧倒し、ユーザのコントロール性を損なうという、モダリティの崩壊が頻繁に起こる。
この空間的・時間的対立を解決するために,モダリティ分離拡散変換器STREAM(Structural-Temporal Rhythmic Energy-based Attention for Motion)を提案する。
グローバルテキストセマンティクスは、適応層正規化(AdaLN)を介してキネマティック構造を規定するが、新しいバイモーダルエネルギーベースのアテンションモジュール(BEAM)は、セマンティクスを上書きすることなくこれらの特徴を音楽ビートにルーティングする。
さらに、ドメイン固有のダンス語彙と既存のMotoricaデータセットからフレームレベルのセマンティックアノテーションを付加した、新しくキュレートされたデータセットであるMotorica++を紹介します。
また、ゼロショット編集可能性の厳密な定量化のために、Exchange Evaluation Protocol と Editable Dance Score (EDS) を提案する。
広範な実験を通じて、STREAMは、動きと音楽の間の最先端のアライメントを達成しつつ、コレオグラフィーのセマンティクスを完全に保存し、AIを単に反応性シンセサイザーとしてだけでなく、芸術的な方向性を制御可能で協調的なパートナーとして位置づける。
ソースコードとデータセットはhttps://github.com/SeongJong-Yoo/STREAMで公開されている。
関連論文リスト
- TeMuDance: Contrastive Alignment-Based Textual Control for Music-Driven Dance Generation [32.964897427586166]
TeMuDanceは、音楽条件のダンス生成のためのテキストベースの制御を可能にするフレームワークである。
動作を共有セマンティックアンカーとして使用して、相容れない音楽ダンスとテキストモーションデータセットをアライメントする。
既存の手法に対するテキスト条件制御を大幅に改善しながら、競争力のあるダンス品質を実現する。
論文 参考訳（メタデータ） (2026-04-18T14:24:57Z) - Listen to Rhythm, Choose Movements: Autoregressive Multimodal Dance Generation via Diffusion and Mamba with Decoupled Dance Dataset [8.721362823189077]
Rhythm, Choose Movements (LRCM) は多様な入力モダリティと自己回帰ダンスモーション生成の両方をサポートする多モード誘導拡散フレームワークである。
受け入れ次第、完全なデータセットと事前トレーニングされたモデルを公開します。
論文 参考訳（メタデータ） (2026-01-06T14:59:22Z) - GACA-DiT: Diffusion-based Dance-to-Music Generation with Genre-Adaptive Rhythm and Context-Aware Alignment [16.93446224499017]
ダンス・トゥ・ミュージック・ジェネレーション(D2M)は、リズムと時間的にダンスの動きに合わせた音楽を自動的に合成することを目的としている。
リズム整合性と時間整合性を有する音楽生成のための2つの新しいモジュールを備えた拡散トランスフォーマーベースのフレームワークである textbfGACA-DiT を提案する。
AIST++とTikTokデータセットの実験では、GACA-DiTは客観的メトリクスと人的評価の両方で最先端の手法より優れていることが示されている。
論文 参考訳（メタデータ） (2025-10-28T09:26:59Z) - MotionBeat: Motion-Aligned Music Representation via Embodied Contrastive Learning and Bar-Equivariant Contact-Aware Encoding [13.25040795516169]
MotionBeatは、モーションアラインな音楽表現学習のためのフレームワークである。
我々は、MotionBeatが、最先端のオーディオエンコーダを音楽からダンス生成で上回っていることを示す。
論文 参考訳（メタデータ） (2025-10-15T07:44:32Z) - DanceEditor: Towards Iterative Editable Music-driven Dance Generation with Open-Vocabulary Descriptions [22.816939666772303]
本稿では,音楽信号に一致した反復的で編集可能なダンス生成のための新しいフレームワークを提案する。
本フレームワークは,マルチモーダル条件を統一する予測編集パラダイムに基づいて構築されている。
提案手法は,新たに収集したDanceRemixデータセットの最先端モデルよりも優れている。
論文 参考訳（メタデータ） (2025-08-24T12:53:09Z) - InfiniteTalk: Audio-driven Video Generation for Sparse-Frame Video Dubbing [66.48064661467781]
我々は、アイデンティティ、象徴的なジェスチャー、カメラ軌跡を維持するために参照を戦略的に保存する新しいパラダイムであるスパースフレームビデオダビングを導入する。
無限長長列ダビング用に設計されたストリーミングオーディオ駆動型ジェネレータであるInfiniteTalkを提案する。
HDTF、CelebV-HQ、EMTDデータセットの総合評価は、最先端の性能を示している。
論文 参考訳（メタデータ） (2025-08-19T17:55:23Z) - UniMuMo: Unified Text, Music and Motion Generation [57.72514622935806]
任意のテキスト,音楽,動作データを入力条件として取り込んで,3つのモードすべてにまたがる出力を生成する,統一型マルチモーダルモデルUniMuMoを導入する。
音楽、動き、テキストをトークンベースの表現に変換することで、我々のモデルはエンコーダ・デコーダ・トランスフォーマアーキテクチャを通じてこれらのモダリティをブリッジする。
論文 参考訳（メタデータ） (2024-10-06T16:04:05Z) - TM2D: Bimodality Driven 3D Dance Generation via Music-Text Integration [75.37311932218773]
テキストと音楽の両方を同時に組み込んだ3Dダンス運動を生成するための新しいタスクを提案する。
本手法は,テキストと音楽の両方に調和した現実的かつ一貫性のあるダンスの動きを生成できると同時に,2つの単一モーダルと同等の性能を維持することができる。
論文 参考訳（メタデータ） (2023-04-05T12:58:33Z) - BRACE: The Breakdancing Competition Dataset for Dance Motion Synthesis [123.73677487809418]
ダンス・モーション・シンセサイザーにおける一般的な仮定に挑戦する新しいデータセットを提案する。
我々は、アクロバティックな動きと絡み合った姿勢を特徴とするブレイクダンスに焦点を当てている。
BRACEデータセットは、3時間30分以上の濃密な注釈付きポーズを含む。
論文 参考訳（メタデータ） (2022-07-20T18:03:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。