論文の概要: SingDance: Compositional Zero-Shot Singing-and-Dancing Video Generation with Role-Aware Audio Conditioning

• arxiv url: http://arxiv.org/abs/2608.16220v1
• Date: Mon, 17 Aug 2026 07:53:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-18 19:59:03.582336
• Title: SingDance: Compositional Zero-Shot Singing-and-Dancing Video Generation with Role-Aware Audio Conditioning
• Title（参考訳）: SingDance:ロール・アウェア・オーディオ・コンディショニングによる合成ゼロショット・シンキング・アンド・ダンスビデオ生成
• Abstract要約: 制御可能な発声音声を意味的役割として定式化する統合ビデオ拡散フレームワークであるSingDanceを紹介する。 声帯の高調波・高調波・高調波・高調波・高調波・高調波・高調波・高調波・高調波・高調波・高調波・高調波・高調波・高調波・高調波・高調波・高調波・高調波・高調波・高調波・高調波・高調波・高調波・高調波・高調波・高調波・高調波・高調波・高調波・高調波・高調波・高調波・高調波・高調波・高調波・高調波・高調波・高調波・高調波・高調波・高
• 参考スコア（独自算出の注目度）: 36.11598763279861
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Generating personalized dance videos from a reference image, text prompt, and audio track requires music-conditioned body motion. Singing-and-dancing adds a second requirement: the visible subject must also articulate the vocals. Existing music-conditioned methods focus primarily on choreography, while speech-driven models generally assume that the visible subject produces the input voice, leaving this combined setting largely underexplored. We introduce SingDance, a unified video diffusion framework that formulates controllable vocal articulation as a semantic role: the visible subject is either the source, who produces the vocal signal, or the listener, who receives it from an off-screen performer. Hard-compact routing selects task-relevant speech, music, and role conditions, which are composed through frame-wise joint audio injection; source and listener retain the same speech pathway. Training uses asymmetric supervision: on-screen speaking and curated off-screen conversational-response videos establish role control, while instrumental and song-based dancing-only videos establish music-conditioned body motion. The target Song/Source configuration is never observed during training. At inference, assigning the source role to a song composes separately learned articulation and song-conditioned dance capabilities, enabling compositional zero-shot singing-and-dancing. Experiments demonstrate strong motion--beat alignment and visual fidelity, reliable paired switching of vocal articulation while preserving music-aligned body motion, and highly competitive lip synchronization with substantially fewer generation-time parameters than the strongest speech-driven baseline evaluated.
• Abstract（参考訳）: 参照画像、テキストプロンプト、オーディオトラックからパーソナライズされたダンスビデオを生成するには、音楽条件のボディモーションが必要である。 歌とダンスは第二の要件を付け加える: 目に見える主題は声を明瞭にする必要がある。 既存の音楽条件付き手法は主に振付に焦点をあてるが、音声駆動モデルは一般的に、可視的対象が入力音声を生成すると仮定する。 SingDanceは、制御可能な音声調音を意味的役割として定式化する統合ビデオ拡散フレームワークである。可視対象は、声信号を生成するソースか、オフスクリーンパフォーマーから受信するリスナーかのいずれかである。 ハードコンパクトルーティングは、フレームワイドな共同音声注入によって構成されるタスク関連音声、音楽、役割条件を選択し、ソースとリスナーは同じ音声経路を保持する。 トレーニングは非対称の監督を使用する: オンスクリーンの講演とキュレートされたオフスクリーンの会話応答ビデオはロールコントロールを確立し、インストゥルメンタルおよび歌ベースのダンスオンリービデオは音楽条件付きボディモーションを確立する。 ターゲットのSong/Source設定は、トレーニング中に決して観察されない。 推測では、ソースロールを歌に割り当てると、学習された調音と歌調のダンス能力が別々に構成され、合成ゼロショットの歌とダンスが可能となる。 実験では, 声帯調律と視覚的忠実度, 声帯調律の信頼性, 声帯調律を保ちながら声帯調律を安定的に切り替えること, 発声時パラメータが最強の音声駆動ベースラインよりも有意に少ない高い競合性を有する唇調律が示された。

関連論文リスト

• InterSing: Explicit Interaction Dynamics for 3D Duet Singing Animation and Beyond [56.764269093059504]
  InterSingは、デュエット歌唱パフォーマンスのためのリアルな3Dヘッドアニメーションを生成するためのフレームワークである。 InterSingは、既存の方法よりもコーディネーションと音楽アライメントの強い、現実的で表現力のある歌唱ヘッドアニメーションを生成する。
  論文  参考訳（メタデータ） (2026-09-04T09:02:52Z)
• ReFree: Towards Realistic Co-Speech Video Generation via Reward-Free RL and Multilevel Speech Guidance [50.482989497576476]
  音声による会話キャラクタアニメーションは、自然な会話行動を伝えるライフライクなポートレートビデオを生成する。 既存のアプローチは通常、動的表情や頭部の動きに対して正確な音素間同期をオフにする。 本稿では,事前学習したビデオ生成モデルに基づく,フローマッチング型音声-画像間アニメーションフレームワークReFree-S2Vを提案する。
  論文  参考訳（メタデータ） (2026-06-11T13:00:58Z)
• TeMuDance: Contrastive Alignment-Based Textual Control for Music-Driven Dance Generation [32.964897427586166]
  TeMuDanceは、音楽条件のダンス生成のためのテキストベースの制御を可能にするフレームワークである。 動作を共有セマンティックアンカーとして使用して、相容れない音楽ダンスとテキストモーションデータセットをアライメントする。 既存の手法に対するテキスト条件制御を大幅に改善しながら、競争力のあるダンス品質を実現する。
  論文  参考訳（メタデータ） (2026-04-18T14:24:57Z)
• Think2Sing: Orchestrating Structured Motion Subtitles for Singing-Driven 3D Head Animation [69.50178144839275]
  歌唱はより豊かな感情的なニュアンス、動的な韻律、歌詞に基づく意味論を含む。 既存の音声駆動アプローチは、しばしば過度に単純化され、感情的に平坦で、意味的に一貫性のない結果をもたらす。 Think2Singは、歌詞と音響の両方に調和したセマンティックコヒーレントで時間的に一貫した3Dヘッドアニメーションを生成する。
  論文  参考訳（メタデータ） (2025-09-02T12:59:27Z)
• ChoreoMuse: Robust Music-to-Dance Video Generation with Style Transfer and Beat-Adherent Motion [10.21851621470535]
  SMPLフォーマットパラメータと変分バージョンを音楽とビデオ生成の仲介として使用する拡散ベースのフレームワークであるChoreoMuseを紹介する。 ChoreoMuseは、さまざまな音楽ジャンルと個々のダンサー特性にまたがって、スタイルコントロール可能な、高忠実なダンスビデオ生成をサポートする。 提案手法では、新しい音楽エンコーダであるMotionTuneを用いて、音声から動きの手がかりを捕捉し、生成した振付が入力された音楽のビートや表現性に密接に従うことを保証する。
  論文  参考訳（メタデータ） (2025-07-26T07:17:50Z)
• SayAnything: Audio-Driven Lip Synchronization with Conditional Video Diffusion [78.77211425667542]
  SayAnythingは、オーディオ入力から唇の動きを直接合成する条件付きビデオ拡散フレームワークである。 我々の新しい設計は、潜在空間における異なる条件信号のバランスを効果的に保ち、外観、動き、地域固有の生成を正確に制御できる。
  論文  参考訳（メタデータ） (2025-02-17T07:29:36Z)
• StyleTalker: One-shot Style-based Audio-driven Talking Head Video Generation [47.06075725469252]
  StyleTalkerは音声駆動のトーキングヘッド生成モデルである。 単一の参照画像から話し手の映像を合成することができる。 我々のモデルは、音声ヘッドビデオを印象的な品質で合成することができる。
  論文  参考訳（メタデータ） (2022-08-23T12:49:01Z)
• Learning Music-Dance Representations through Explicit-Implicit Rhythm Synchronization [22.279424952432677]
  音楽距離表現は、(a)ダンス分類、(b)音楽距離検索、(c)音楽距離の3つの下流タスクに適用することができる。 音楽のリズム分析にインスパイアされた視覚的外観と動きの手がかりに基づいてダンスリズムを導出し、その後、音響強度の振幅によって抽出される音楽リズムと時間的に一致させる。
  論文  参考訳（メタデータ） (2022-07-07T09:44:44Z)
• Music Gesture for Visual Sound Separation [121.36275456396075]
  ミュージック・ジェスチャ(Music Gesture)は、音楽演奏時の演奏者の身体と指の動きを明示的にモデル化するキーポイントに基づく構造化表現である。 まず、コンテキスト対応グラフネットワークを用いて、視覚的コンテキストと身体力学を統合し、その後、身体の動きと対応する音声信号とを関連付けるために、音声-視覚融合モデルを適用する。
  論文  参考訳（メタデータ） (2020-04-20T17:53:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。