論文の概要: OmniDance: Multimodal Driven Dance Video Generation with Large-scale Internet Data

• arxiv url: http://arxiv.org/abs/2606.30019v1
• Date: Mon, 29 Jun 2026 09:23:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-30 18:07:16.161949
• Title: OmniDance: Multimodal Driven Dance Video Generation with Large-scale Internet Data
• Title（参考訳）: OmniDance: 大規模インターネットデータによるマルチモーダル駆動ダンスビデオ生成
• Abstract要約: CIPE-Danceは、これまでで最大のダンスビデオ生成データセットであり、400時間にわたって300万の高品質なクリップで構成されている。 OmniDanceは、オリジナルの制御性や視覚的忠実さを犠牲にすることなく、TI2Vファンデーションモデルに音楽を統合するためのフレームワークレベルのレシピである。
• 参考スコア（独自算出の注目度）: 20.242950805452892
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Music-driven dance video generation aims to synthesize expressive human motion that is temporally aligned with music while maintaining high visual fidelity. Despite recent progress, existing methods still face two key limitations: the lack of large-scale, high-quality dance video datasets, and the absence of principled frameworks for integrating music as a complementary conditioning signal into Video Generation Foundation Models. To address these limitations, we introduce CIPE-Dance, a large-scale Internet-sourced dance video dataset with choreography-informed text annotations, constructed via a progressive expert pipeline. To the best of our knowledge, CIPE-Dance is the largest dataset for dance video generation to date, comprising 300k high-quality clips over 400 hours and covering diverse dancers, environments, and dance genres. We further propose OmniDance, a framework-level recipe for integrating music into a TI2V foundation model without sacrificing its original controllability or visual fidelity. Motivated by the complementary roles of text as low-frequency semantics and music as high-frequency temporal dynamics, OmniDance co-designs a depth-aware specialization architecture, an anchored easy-to-hard curriculum learning strategy, and a modality-specialized time-dependent CFG strategy, enabling unified TI2V, MI2V, and MTI2V generation. Extensive experiments on CIPE-Dance demonstrate that OmniDance achieves state-of-the-art performance across all three tasks and exhibits robust multimodal integration capability. Project is available at https://github.com/AMAP-ML/OmniDance.
• Abstract（参考訳）: 音楽駆動ダンスビデオ生成は、高い視覚的忠実さを維持しつつ、時間的に音楽と調和した表現力のある人間の動きを合成することを目的としている。 近年の進歩にもかかわらず、既存の手法では、大規模で高品質なダンスビデオデータセットの欠如と、ビデオ生成基盤モデルに補完的な条件付け信号として音楽を統合するための原則的なフレームワークの欠如という2つの大きな制限に直面している。 これらの制約に対処するため、我々は大規模なインターネットソースダンスビデオデータセットであるCIPE-Danceを紹介した。 私たちの知る限り、CIPE-Danceはこれまでで最大のダンスビデオ生成データセットであり、400時間にわたって300万の高品質なクリップで構成され、多様なダンサー、環境、ダンスジャンルをカバーする。 我々はまた、オリジナルの制御性や視覚的忠実さを犠牲にすることなく、TI2Vファンデーションモデルに音楽を統合するためのフレームワークレベルのレシピであるOmniDanceを提案する。 OmniDanceは、低周波意味論と高周波時間力学としての音楽としてのテキストの補完的役割によって、深度対応の特殊化アーキテクチャ、固定化容易なカリキュラム学習戦略、モダリティ特化時間依存CFG戦略を共同設計し、統合TI2V、MI2V、MTI2Vの生成を可能にする。 CIPE-Danceに関する大規模な実験は、OmniDanceが3つのタスクすべてにわたって最先端のパフォーマンスを実現し、堅牢なマルチモーダル統合能力を示していることを示している。 プロジェクトはhttps://github.com/AMAP-ML/OmniDance.comで入手できる。

関連論文リスト

• FlowDance: Music-Driven Dance Video Generation with Parallel Pose and RGB Streams [22.399074928933956]
  FlowDanceは音楽駆動のダンスビデオ生成フレームワークである。 明示的なモーションモデリングと、並列ポーズとRGBストリームによる参照保存視覚合成を統合している。 ダンスモーション生成と音楽駆動のダンスビデオ合成の両方において高い性能を発揮する。
  論文  参考訳（メタデータ） (2026-08-16T15:48:53Z)
• TokenDance: Token-to-Token Music-to-Dance Generation with Bidirectional Mamba [5.119197329627647]
  ミュージック・トゥ・ダンス・ジェネレーションは、仮想現実、ダンス教育、デジタルキャラクターアニメーションに広く応用されている。 TokenDanceは2段階の音楽・ダンス生成フレームワークで、二重モードのトークン化と効率的なトークンレベル生成によって、この制限を明示的に解決する。 TokenDanceは、生成品質と推論速度の両方でSOTA(State-of-the-art)のパフォーマンスを全般的に達成し、実世界の音楽/ダンスアプリケーションにおけるその効果と実用的価値を強調している。
  論文  参考訳（メタデータ） (2026-03-28T15:38:14Z)
• InfiniteDance: Scalable 3D Dance Generation Towards in-the-wild Generalization [54.47757841373109]
  この研究は、データとモデル設計の両方をスケールアップすることで、一般化可能な3Dダンス生成のフロンティアを推し進めることを目的としている。 モノクロ映像から高忠実度3Dダンスモーションを再構成する完全自動パイプラインを開発した。 既設の再建工法では, 足の接触や幾何学的制約によって誘導される足の復元拡散モデル(FRDM)を導入する。 未知の音楽条件下でのロバスト性を高めるため,レファレンスとしてレファレンスダンスを注入する検索拡張生成モジュール(RAG)を統合する。
  論文  参考訳（メタデータ） (2026-03-10T10:10:34Z)
• MACE-Dance: Motion-Appearance Cascaded Experts for Music-Driven Dance Video Generation [20.517753182293095]
  MACE-Danceは、Mixture-of-appearance (MoE)を用いた音楽駆動ダンスビデオ生成フレームワークである。 モーションエキスパートは、キネマティックな可視性と芸術的な表現性を保ちながら、音楽から3Dのモーションジェネレーションを実行する。 外観エキスパートは、時間的コヒーレンスで視覚的アイデンティティを保持する、モーションおよび基準条件付きビデオ合成を実行する。
  論文  参考訳（メタデータ） (2025-12-20T02:34:34Z)
• Seedance 1.5 pro: A Native Audio-Visual Joint Generation Foundation Model [163.56671779593736]
  Seedance 1.5 Proは、ネイティブのジョイントオーディオビデオ生成用に特別に設計された基礎モデルである。 Seedance 1.5 Proは、正確な多言語と方言のリップシンク、ダイナミックシネマカメラコントロール、物語のコヒーレンスの向上を通じて、自分自身を区別する。
  論文  参考訳（メタデータ） (2025-12-15T16:36:52Z)
• OpenDance: Multimodal Controllable 3D Dance Generation Using Large-scale Internet Data [11.915309859714675]
  OpenDance5Dは、14の異なるジャンルにわたる101時間以上の人間のダンスデータセットです。 それぞれのサンプルには、RGBビデオ、オーディオ、2Dキーポイント、3Dモーション、そして人間の芸術作品の細かい記述など、堅牢なクロスモーダル学習を促進するための5つのモダリティがある。 音楽に条件付けされた制御可能なダンス生成のための統一的なモデリングフレームワークOpenDanceNetと、テキストプロンプト、キーポイント、文字位置決めの任意の組み合わせを提案する。
  論文  参考訳（メタデータ） (2025-06-09T09:05:13Z)
• GCDance: Genre-Controlled Music-Driven 3D Full Body Dance Generation [30.028340528694432]
  GCDanceは、ジャンル固有の3Dフルボディダンス生成のためのフレームワークで、音楽と記述テキストに条件付けされている。 我々は、入力プロンプト、明示的なジャンルラベル、自由形式の記述文をジャンル固有の制御信号にマッピングするテキストベースの制御機構を開発する。 テキストジャンル情報を抽出し、高品質な生成結果を維持することの目的をバランスさせるため、我々は新しいマルチタスク最適化戦略を提案する。
  論文  参考訳（メタデータ） (2025-02-25T15:53:18Z)
• Every Image Listens, Every Image Dances: Music-Driven Image Animation [8.085267959520843]
  MuseDanceは、音楽とテキストの両方の入力を使って画像を参照するエンド・ツー・エンドのモデルである。 既存のアプローチとは異なり、MuseDanceはポーズや深さシーケンスのような複雑なモーションガイダンス入力を必要としない。 本稿では,2,904本のダンスビデオと,それに対応する背景音楽とテキスト記述を含むマルチモーダルデータセットを提案する。
  論文  参考訳（メタデータ） (2025-01-30T23:38:51Z)
• Controllable Dance Generation with Style-Guided Motion Diffusion [49.35282418951445]
  ダンスは人間の文化において芸術的な形式や表現として重要な役割を担っているが、ダンスの創造は依然として困難な課題である。 ほとんどのダンス生成法は音楽のみに依存しており、音楽スタイルやジャンルといった本質的な特質を考慮することは滅多にない。 本研究では,ダンス生成の多様なタスクに適した拡散型フレームワークであるDGSDP(Flexible Dance Generation with Style Description Prompts)を紹介する。
  論文  参考訳（メタデータ） (2024-06-12T04:55:14Z)
• BRACE: The Breakdancing Competition Dataset for Dance Motion Synthesis [123.73677487809418]
  ダンス・モーション・シンセサイザーにおける一般的な仮定に挑戦する新しいデータセットを提案する。 我々は、アクロバティックな動きと絡み合った姿勢を特徴とするブレイクダンスに焦点を当てている。 BRACEデータセットは、3時間30分以上の濃密な注釈付きポーズを含む。
  論文  参考訳（メタデータ） (2022-07-20T18:03:54Z)
• Bailando: 3D Dance Generation by Actor-Critic GPT with Choreographic Memory [92.81383016482813]
  そこで我々は3Dキャラクターを1曲の楽曲に追従して踊るための新しい音楽間距離フレームワークBailandoを提案する。 本稿では,音楽に忠実な流麗なダンスにユニットを構成するアクタ批判型生成事前学習変換器(GPT)を紹介する。 提案するフレームワークは,定性的かつ定量的に最先端の性能を実現する。
  論文  参考訳（メタデータ） (2022-03-24T13:06:43Z)
• Learning to Generate Diverse Dance Motions with Transformer [67.43270523386185]
  ダンス・モーション・シンセサイザーのための完全なシステムを提案する。 大規模なダンスモーションデータセットはYouTubeビデオから作成される。 新たな2ストリームモーショントランス生成モデルでは、高い柔軟性で動作シーケンスを生成することができる。
  論文  参考訳（メタデータ） (2020-08-18T22:29:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。