論文の概要: ReactDance: Hierarchical Representation for High-Fidelity and Coherent Long-Form Reactive Dance Generation
- arxiv url: http://arxiv.org/abs/2505.05589v2
- Date: Mon, 29 Sep 2025 10:59:21 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-09-30 20:10:04.297581
- Title: ReactDance: Hierarchical Representation for High-Fidelity and Coherent Long-Form Reactive Dance Generation
- Title（参考訳）: ReactDance: 高忠実でコヒーレントなロングフォームなリアクティブダンス生成のための階層的表現
- Authors: Jingzhong Lin, Xinru Li, Yuanyuan Qi, Bohao Zhang, Wenxiang Liu, Kecheng Tang, Wenxuan Huang, Xiangfeng Xu, Bangyan Li, Changbo Wang, Gaoqi He,
- Abstract要約: 我々は,新しい階層型潜在空間で動作する拡散フレームワークであるtextbfReactDanceを紹介する。
ReactDanceは、動作品質、長期コヒーレンス、サンプリング効率において、最先端の手法を大幅に上回ることを示す。
- 参考スコア（独自算出の注目度）: 21.732021702335345
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Reactive dance generation (RDG), the task of generating a dance conditioned on a lead dancer's motion, holds significant promise for enhancing human-robot interaction and immersive digital entertainment. Despite progress in duet synchronization and motion-music alignment, two key challenges remain: generating fine-grained spatial interactions and ensuring long-term temporal coherence. In this work, we introduce \textbf{ReactDance}, a diffusion framework that operates on a novel hierarchical latent space to address these spatiotemporal challenges in RDG. First, for high-fidelity spatial expression and fine-grained control, we propose Hierarchical Finite Scalar Quantization (\textbf{HFSQ}). This multi-scale motion representation effectively disentangles coarse body posture from subtle limb dynamics, enabling independent and detailed control over both aspects through a layered guidance mechanism. Second, to efficiently generate long sequences with high temporal coherence, we propose Blockwise Local Context (\textbf{BLC}), a non-autoregressive sampling strategy. Departing from slow, frame-by-frame generation, BLC partitions the sequence into blocks and synthesizes them in parallel via periodic causal masking and positional encodings. Coherence across these blocks is ensured by a dense sliding-window training approach that enriches the representation with local temporal context. Extensive experiments show that ReactDance substantially outperforms state-of-the-art methods in motion quality, long-term coherence, and sampling efficiency.
- Abstract（参考訳）: リードダンサーの動きに条件付けされたダンスを生成する作業であるリアクティブダンス生成(RDG)は、人間とロボットの相互作用を強化し、没入型デジタルエンターテイメントを向上する大きな可能性を秘めている。
デュエット同期とモーション・ミュージックアライメントの進歩にもかかわらず、2つの重要な課題は、きめ細かい空間的相互作用を発生させ、長期的な時間的コヒーレンスを確保することである。
本研究では、RDGにおけるこれらの時空間的課題に対処するために、新しい階層的潜在空間上で機能する拡散フレームワークであるtextbf{ReactDance}を紹介する。
まず、高忠実度空間表現ときめ細かい制御のために、階層型有限スカラー量子化(\textbf{HFSQ})を提案する。
このマルチスケール動作表現は、微妙な手足のダイナミックスから粗い体姿勢を効果的に切り離し、層状誘導機構を介して両面の独立かつ詳細な制御を可能にする。
次に、時間的コヒーレンスの高い長いシーケンスを効率的に生成するために、非自己回帰サンプリング戦略であるBlockwise Local Context (\textbf{BLC})を提案する。
フレーム単位のフレーム生成が遅いことから、BLCはシーケンスをブロックに分割し、周期的な因果マスキングと位置エンコーディングを通じて並列に合成する。
これらのブロック間のコヒーレンスは、局所的時間的文脈で表現を豊かにする密集したスライディングウインドウトレーニングアプローチによって保証される。
大規模な実験により、ReactDanceは動作品質、長期コヒーレンス、サンプリング効率において最先端の手法を大幅に上回っていることが示された。
関連論文リスト
- Towards Consistent Long-Term Pose Generation [0.0]
最小限の文脈から連続座標空間のポーズを直接生成する新しいワンステージアーキテクチャを提案する。
私たちの重要なイノベーションは、中間表現やトークンベースの生成の必要性を排除することです。
提案手法は,特に長期発生シナリオにおいて,既存の量子化法と自己回帰法を著しく上回っている。
論文 参考訳（メタデータ） (2025-07-24T12:57:22Z) - MotionRAG-Diff: A Retrieval-Augmented Diffusion Framework for Long-Term Music-to-Dance Generation [10.203209816178552]
MotionRAG-Diffは、Retrieval-Augmented Generationと拡散に基づく改善を統合するハイブリッドフレームワークである。
我々の手法は3つの中核的な革新をもたらす。
動作品質、多様性、音楽-モーション同期の精度で最先端のパフォーマンスを達成する。
論文 参考訳（メタデータ） (2025-06-03T09:12:48Z) - EHGCN: Hierarchical Euclidean-Hyperbolic Fusion via Motion-Aware GCN for Hybrid Event Stream Perception [44.8109315513885]
イベントカメラは、知覚タスクのための高速なイベントストリームを出力する。
ユークリッド空間と双曲空間の両方においてイベントストリームを知覚するためのEHGCNという新しい手法を提案する。
論文 参考訳（メタデータ） (2025-04-23T11:01:03Z) - FreSca: Scaling in Frequency Space Enhances Diffusion Models [55.75504192166779]
本稿では,潜時拡散モデルにおける周波数制御について検討する。
本稿では,低周波成分と高周波成分にノイズ差を分解する新しいフレームワークFreScaを紹介する。
FreScaはモデルの再トレーニングやアーキテクチャの変更なしに動作し、モデルとタスクに依存しない制御を提供する。
論文 参考訳（メタデータ） (2025-04-02T22:03:11Z) - ReCoM: Realistic Co-Speech Motion Generation with Recurrent Embedded Transformer [58.49950218437718]
音声に同期した高忠実で一般化可能な人体動作を生成するための効率的なフレームワークであるReCoMを提案する。
Recurrent Embedded Transformer (RET)は、動的埋め込み正規化(DER)をViT(Vit)コアアーキテクチャに統合する。
モデルロバスト性を高めるため,ノイズ抵抗とクロスドメイン一般化の二重性を持つモデルに,提案したDER戦略を取り入れた。
論文 参考訳（メタデータ） (2025-03-27T16:39:40Z) - Streaming Generation of Co-Speech Gestures via Accelerated Rolling Diffusion [0.881371061335494]
本稿では,ストリーミングジェスチャ生成のための新しいフレームワークであるAccelerated Rolling Diffusionを紹介する。
RDLAはノイズスケジュールをステップワイドのはしごに再構成し、複数のフレームを同時に復調できる。
これにより、動作一貫性を維持しながらサンプリング効率が大幅に向上し、最大2倍のスピードアップが達成される。
論文 参考訳（メタデータ） (2025-03-13T15:54:45Z) - GestureLSM: Latent Shortcut based Co-Speech Gesture Generation with Spatial-Temporal Modeling [32.47567372398872]
GestureLSM は空間時間モデルを用いた共音声ジェスチャ生成のためのフローマッチングに基づくアプローチである。
BEAT2の最先端性能を実現し、既存の手法と比較して推論時間を著しく短縮する。
論文 参考訳（メタデータ） (2025-01-31T05:34:59Z) - Stragglers-Aware Low-Latency Synchronous Federated Learning via Layer-Wise Model Updates [71.81037644563217]
同期フェデレーションラーニング(FL)は、協調エッジラーニングの一般的なパラダイムである。
一部のデバイスは計算資源が限られており、様々な可用性があるため、FLレイテンシはストラグラーに非常に敏感である。
本稿では,NNの最適化手法をバックプロパゲーションにより活用し,グローバルモデルを階層的に更新するストラグラー対応層対応学習(SALF)を提案する。
論文 参考訳（メタデータ） (2024-03-27T09:14:36Z) - DiffusionPhase: Motion Diffusion in Frequency Domain [69.811762407278]
そこで本研究では,テキスト記述から高品質な人間の動作系列を生成する学習手法を提案する。
既存の技術は、任意の長さの動き列を生成する際に、動きの多様性と滑らかな遷移に苦しむ。
動作空間をコンパクトで表現力のあるパラメータ化位相空間に変換するネットワークエンコーダを開発する。
論文 参考訳（メタデータ） (2023-12-07T04:39:22Z) - Temporal Context Aggregation Network for Temporal Action Proposal
Refinement [93.03730692520999]
時間的行動提案生成はビデオ理解分野において難しいが重要な課題である。
現在の方法はまだ不正確な時間境界と検索に使用される劣った自信に苦しんでいます。
TCANet は、「ローカルおよびグローバル」な時間的コンテキストアグリゲーションを通じて、高品質のアクション提案を生成するために提案します。
論文 参考訳（メタデータ） (2021-03-24T12:34:49Z) - Multi-Temporal Convolutions for Human Action Recognition in Videos [83.43682368129072]
複数の解像度で抽出できる新しい時間・時間的畳み込みブロックを提案する。
提案するブロックは軽量で,任意の3D-CNNアーキテクチャに統合可能である。
論文 参考訳（メタデータ） (2020-11-08T10:40:26Z) - Disentangling and Unifying Graph Convolutions for Skeleton-Based Action
Recognition [79.33539539956186]
本稿では,マルチスケールグラフ畳み込みと,G3Dという空間時間グラフ畳み込み演算子を結合する簡単な方法を提案する。
これらの提案を結合することにより,MS-G3Dという強力な特徴抽出器を開発し,そのモデルが3つの大規模データセット上で従来の最先端手法より優れていることを示す。
論文 参考訳（メタデータ） (2020-03-31T11:28:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。