論文の概要: CineDance: Towards Next-Generation Multi-Shot Long-Form Cinematic Audio-Video Generation

• arxiv url: http://arxiv.org/abs/2606.09639v2
• Date: Thu, 11 Jun 2026 05:58:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-12 13:39:59.575394
• Title: CineDance: Towards Next-Generation Multi-Shot Long-Form Cinematic Audio-Video Generation
• Title（参考訳）: CineDance:次世代マルチショット・ロングフォーム・シネマティック・オーディオビデオ・ジェネレーションを目指して
• Authors: Yuheng Chen, Teng Hu, Yuji Wang, Qingdong He, Zhucun Xue, Qianyu Zhou, Jason Li, Lizhuang Ma, Jiangning Zhang, Dacheng Tao,
• Abstract要約: 大規模かつオープンなText-to-Audio-VideoデータセットであるCineDance-1Mを紹介する。 平均92.8秒と24.2秒の連続撮影を行い、オーディオとビデオの両方のアノテーションを提供する。 包括的評価のために,多様なプロンプトスイートと6次元の人間対応計量システムを備えたCineBenchを提案する。
• 参考スコア（独自算出の注目度）: 107.75241387090271
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The fidelity and structural diversity of training datasets fundamentally determine the capabilities of video generation models. While commercial systems showremarkableabilitytogeneratecinematicnarratives, the progress of open-source models remains limited by the scarcity of high-quality training data. To bridge this gap, we introduce CineDance-1M, a large-scale, open research Text-to-Audio-Video (T2AV) dataset designed specifically for multi-shot, long-form joint audio-video generation. Averaging 92.8 seconds and 24.2 continuous shots per video, it provides configurable, structured annotations for both audio and video modalities. This exceptional quality is achieved through a rigorous three-stage curation pipeline: i) diverse sourcing and comprehensive cleansing, ii) film-theory-inspired narrative parsing, and iii) hierarchical dual-modal captioning. For a comprehensive assessment, we propose CineBench, featuring a diverse prompt suite and a six-dimensional, human-aligned metric system tailored for complex narrative audio-video evaluation. Furthermore, we adapt LTX-2.3 into CineDance, which demonstrates exceptional single-modality quality alongside precise audio-video alignment and robust subject and environment consistency, effectively validating our curation strategy and the high quality of CineDance-1M. We anticipate that this work will serve as a solid foundation for accelerating future research in multi-shot, long-form joint audio-video generation. Our project page is available at https://aliothchen.github.io/projects/CineDance/.
• Abstract（参考訳）: トレーニングデータセットの忠実度と構造的多様性は、ビデオ生成モデルの能力を根本的に決定する。 商用システムでは, 高品質なトレーニングデータの不足により, オープンソースモデルの進歩が制限されている。 このギャップを埋めるために、我々はCineDance-1Mという大規模かつオープンな研究用テキスト・ツー・オーディオ・ビデオ(T2AV)データセットを紹介した。 平均92.8秒と24.2秒の連続撮影で、オーディオとビデオの両方に設定可能で構造化されたアノテーションを提供する。 この例外的な品質は、3段階の厳格なキュレーションパイプラインを通じて達成されます。 一 多様なソーシング及び包括的浄化 二 映画理論に触発された物語解析、及び 三 階層的デュアルモーダルキャプション そこで我々は,CineBenchを提案する。CineBenchは多種多様なプロンプトスイートと,複雑な物語映像評価に適した6次元の人間対応計量システムである。 さらに, LTX-2.3をCineDanceに適応させ, 高精度なオーディオ映像アライメントと頑健な対象と環境の整合性を両立させ, キュレーション戦略とCineDance-1Mの高品質性を効果的に検証した。 我々は,この研究が,マルチショット・ロングフォーム・ジョイント・オーディオ・ビデオ・ジェネレーションにおける将来の研究を加速するための確かな基盤となることを期待する。 私たちのプロジェクトページはhttps://aliothchen.github.io/projects/CineDance/で公開されています。

関連論文リスト

• Diffusion Models for Joint Audio-Video Generation [51.56484100374058]
  高品質でペアのオーディオビデオデータセットを2つリリースします。 データセットのスクラッチからMM-拡散アーキテクチャをトレーニングします。 逐次2段階のテキスト・オーディオ・ビデオ生成パイプラインを提案する。
  論文  参考訳（メタデータ） (2026-03-17T03:31:37Z)
• ALIVE: Animate Your World with Lifelike Audio-Video Generation [50.693986608051716]
  ALIVEは、Soraスタイルのオーディオビデオ生成とアニメーションに事前訓練されたテキスト・トゥ・ビデオ(T2V)モデルを適用する世代モデルである。 音声-視覚同期と参照アニメーションをサポートするため,共用音声-ビデオブランチによるMMDiTアーキテクチャの強化を行った。 ALIVEは優れたパフォーマンスを示し、一貫してオープンソースモデルを上回り、最先端の商用ソリューションにマッチするか、超えている。
  論文  参考訳（メタデータ） (2026-02-09T14:06:03Z)
• LTX-2: Efficient Joint Audio-Visual Foundation Model [3.1804093402153506]
  LTX-2は、時間的に同期されたオーディオヴィジュアルコンテンツを生成できるオープンソースモデルである。 より広範な理解のために多言語テキストエンコーダを用いる。 LTX-2は、各シーンのキャラクター、環境、スタイル、感情に従うリッチでコヒーレントなオーディオトラックを生成する。
  論文  参考訳（メタデータ） (2026-01-06T18:24:41Z)
• VABench: A Comprehensive Benchmark for Audio-Video Generation [22.00633729850902]
  VABenchは、同期オーディオビデオ生成の機能を評価するために設計されたベンチマークフレームワークである。 タスクタイプは、text-to-audio-video (T2AV)、 Image-to-audio-video (I2AV)、ステレオオーディオビデオ生成の3種類である。 VABenchは、動物、人間の音、音楽、環境音、同期物理音、複雑なシーン、バーチャルワールドの7つの主要なコンテンツカテゴリをカバーしている。
  論文  参考訳（メタデータ） (2025-12-10T03:57:29Z)
• HunyuanVideo-Foley: Multimodal Diffusion with Representation Alignment for High-Fidelity Foley Audio Generation [14.921126281071544]
  HunyuanVideo-Foleyはエンドツーエンドのテキスト・ビデオ・オーディオ・フレームワークである。 高忠実度オーディオを視覚力学や意味文脈と正確に整合させて合成する。 音声の忠実度、視覚的セマンティックなアライメント、時間的アライメント、分布マッチングにまたがる新しい最先端パフォーマンスを実現する。
  論文  参考訳（メタデータ） (2025-08-23T07:30:18Z)
• VideoLLaMA 2: Advancing Spatial-Temporal Modeling and Audio Understanding in Video-LLMs [55.82090875098132]
  VideoLLaMA 2は、ビデオおよびオーディオ指向タスクにおける時空間モデリングと音声理解を強化するために設計されたビデオ大言語モデル(Video Large Language Models, Video-LLMs)のセットである。 VideoLLaMA 2は、オープンソースモデル間の競争結果を一貫して達成し、いくつかのベンチマークでいくつかのプロプライエタリなモデルに近づいた。
  論文  参考訳（メタデータ） (2024-06-11T17:22:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。