論文の概要: MuSS: A Large-Scale Dataset and Cinematic Narrative Benchmark for Multi-Shot Subject-to-Video Generation

• arxiv url: http://arxiv.org/abs/2604.23789v1
• Date: Sun, 26 Apr 2026 16:28:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-28 17:12:07.550083
• Title: MuSS: A Large-Scale Dataset and Cinematic Narrative Benchmark for Multi-Shot Subject-to-Video Generation
• Title（参考訳）: MuSS:マルチショット映像生成のための大規模データセットとシネマティックナラティブベンチマーク
• Authors: Haojie Zhang, Di Wu, Bingyan Liu, Linjie Zhong, Yuancheng Wei, Xingsong Ye, Nanqing Liu, Yaling Liang,
• Abstract要約: MuSSは、マルチショットビデオとS2V生成に適した、大規模なデュアルトラックデータセットである。 3000本以上の映画から引用された MuSS は、複雑なモンタージュ遷移と主観的な物語の両方を明示的にサポートしている。 本稿では,視覚的なACPlogic中心のパラダイムと,新しいアンチコピー・ペースト変動尺度を特徴とするCinematic Narrative Benchmarkを提案する。
• 参考スコア（独自算出の注目度）: 17.275771056805556
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: While video foundation models excel at single-shot generation, real-world cinematic storytelling inherently relies on complex multi-shot sequencing. Further progress is constrained by the absence of datasets that address three core challenges: authentic narrative logic, spatiotemporal text-video alignment conflicts, and the "copy-paste" dilemma prevalent in Subject-to-Video (S2V) generation. To bridge this gap, we introduce MuSS, a large-scale, dual-track dataset tailored for multi-shot video and S2V generation. Sourced from over 3,000 movies, MuSS explicitly supports both complex montage transitions and subject-centric narratives. To construct this dataset, we pioneer a progressive captioning pipeline that eliminates contextual conflicts by ensuring local shot-level accuracy before enforcing global narrative coherence. Crucially, we implement a cross-shot matching mechanism to fundamentally eradicate the S2V copy-paste shortcut. Alongside the dataset, we propose the Cinematic Narrative Benchmark, featuring a visual-logic-driven paradigm and a novel Anti-Copy-Paste Variance (ACP-Var) metric to rigorously assess continuous storytelling and 3D structural consistency. Extensive experiments demonstrate that while current baselines struggle with continuous narrative logic or degenerate into trivial 2D sticker generators, our MuSS-augmented model achieves state-of-the-art narrative effectiveness and cross-shot identity preservation.
• Abstract（参考訳）: ビデオファンデーションモデルはシングルショット世代で優れているが、現実の映画ストーリーテリングは本質的に複雑なマルチショットシークエンシングに依存している。 真の物語論理、時空間的テキストビデオアライメントコンフリクト、およびS2Vジェネレーションで流行する「コピー・ペースト」ジレンマという3つのコア課題に対処するデータセットが存在しないことで、さらなる進歩が制限される。 このギャップを埋めるために、マルチショットビデオとS2V生成に適した大規模なデュアルトラックデータセットである MuSS を導入する。 3000以上の映画から引用された MuSS は、複雑なモンタージュ遷移と主題中心の物語の両方を明示的にサポートしている。 このデータセットを構築するために,グローバルな物語コヒーレンスを強制する前に局所的なショットレベルの精度を確保することにより,文脈的矛盾を解消するプログレッシブキャプションパイプラインを考案した。 重要なことに、我々はS2Vコピーペーストショートカットを根本から根絶するためのクロスショットマッチング機構を実装している。 提案するCinematic Narrative Benchmarkは,視覚論理駆動のパラダイムと,連続的なストーリーテリングと3次元構造整合性を厳格に評価する新しいアンチコピー・ペースト・ヴァリタンス(ACP-Var)メトリックを特徴とする。 大規模な実験では、現在のベースラインは連続した物語論理に苦しむか、あるいは自明な2次元ステッカージェネレータに縮退するが、我々のMMSS拡張モデルは、最先端の物語の有効性とクロスショットのアイデンティティ保存を実現する。

関連論文リスト

• STAGE: Storyboard-Anchored Generation for Cinematic Multi-shot Narrative [55.05324155854762]
  本稿では,STAGEに基づく映像生成タスクを再構成するStoryboard-Anchored GEnerationワークフローを提案する。 そこで本研究では,スペーサーの代わりに,各ショットの先頭フレーム対からなる構造的ストーリーボードを推定するSTEP2を提案する。 ConStoryBoardの大規模データセットには、ストーリーの進行、映画的属性、人間の嗜好など、高品質な映像クリップが含まれています。
  論文  参考訳（メタデータ） (2025-12-13T15:57:29Z)
• OneStory: Coherent Multi-Shot Video Generation with Adaptive Memory [47.073128448877775]
  我々は,一貫した,スケーラブルな物語生成のためのグローバルかつコンパクトなクロスショットコンテキストモデリングを実現するOneStoryを提案する。 OneStoryは、MSVを次のショット生成タスクとして再構成し、トレーニング済みのイメージ・ツー・ビデオ(I2V)モデルを活用しながら、自己回帰的なショット合成を可能にする。 OneStoryは、テキストと画像条件の両方の設定において、多種多様な複雑なシーンにまたがる最先端の物語コヒーレンスを実現する。
  論文  参考訳（メタデータ） (2025-12-08T18:32:24Z)
• VideoGen-of-Thought: Step-by-step generating multi-shot video with minimal manual intervention [70.61101071902596]
  現在のビデオ生成モデルは短いクリップで優れているが、解離した視覚力学と破折したストーリーラインのため、凝集性のある複数ショットの物語を生成できない。 一つの文から複数ショットのビデオ合成を自動化する,ステップバイステップのフレームワークであるVideoGen-of-Thought (VGoT)を紹介した。 VGoTは、ショット内の顔の一貫性が20.4%、スタイルの一貫性が17.4%向上するマルチショットビデオを生成する。
  論文  参考訳（メタデータ） (2025-03-19T11:59:14Z)
• VideoGen-of-Thought: Step-by-step generating multi-shot video with minimal manual intervention [76.3175166538482]
  VideoGen-of-Thought(VGoT)は、単一の文から複数ショットのビデオ合成を自動化するステップバイステップのフレームワークである。 VGoTは、ナラティブな断片化、視覚的不整合、トランジションアーティファクトの3つの課題に対処する。 トレーニング不要のパイプラインで組み合わせられたVGoTは、ショット内面の一貫性が20.4%、スタイルの一貫性が17.4%向上した。
  論文  参考訳（メタデータ） (2024-12-03T08:33:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。