論文の概要: DreamShot: Personalized Storyboard Synthesis with Video Diffusion Prior

• arxiv url: http://arxiv.org/abs/2604.17195v1
• Date: Sun, 19 Apr 2026 01:51:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-21 21:52:52.384772
• Title: DreamShot: Personalized Storyboard Synthesis with Video Diffusion Prior
• Title（参考訳）: DreamShot: ビデオ拡散前のストーリーボードのパーソナライズ
• Authors: Junjia Huang, Binbin Yang, Pengxiang Yan, Jiyang Liu, Bin Xia, Zhao Wang, Yitong Wang, Liang Lin, Guanbin Li,
• Abstract要約: ビデオ生成モデルに基づくストーリーボードフレームワークであるDreamShotを紹介する。 DreamShotは、制御可能なマルチショット合成に強力なビデオ拡散プリミティブを利用する。 物語の忠実さとキャラクタの連続性を改善した視覚的・意味的に一貫性のあるシーケンスを生成する。
• 参考スコア（独自算出の注目度）: 84.56343116275423
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Storyboard synthesis plays a crucial role in visual storytelling, aiming to generate coherent shot sequences that visually narrate cinematic events with consistent characters, scenes, and transitions. However, existing approaches are mostly adapted from text-to-image diffusion models, which struggle to maintain long-range temporal coherence, consistent character identities, and narrative flow across multiple shots. In this paper, we introduce DreamShot, a video generative model based storyboard framework that fully exploits powerful video diffusion priors for controllable multi-shot synthesis. DreamShot supports both Text-to-Shot and Reference-to-Shot generation, as well as story continuation conditioned on previous frames, enabling flexible and context-aware storyboard generation. By leveraging the spatial-temporal consistency inherent in video generative models, DreamShot produces visually and semantically coherent sequences with improved narrative fidelity and character continuity. Furthermore, DreamShot incorporates a multi-reference role conditioning module that accepts multiple character reference images and enforces identity alignment via a Role-Attention Consistency Loss, explicitly constraining attention between reference and generated roles. Extensive experiments demonstrate that DreamShot achieves superior scene coherence, role consistency, and generation efficiency compared to state-of-the-art text-to-image storyboard models, establishing a new direction toward controllable video model-driven visual storytelling.
• Abstract（参考訳）: ストーリーボード合成は視覚的なストーリーテリングにおいて重要な役割を担い、一貫したキャラクター、シーン、トランジションで映画イベントを視覚的にナレーションするコヒーレントなショットシーケンスを生成することを目的としている。 しかし、既存のアプローチは主にテキストから画像への拡散モデルに適応しており、長距離時間的コヒーレンス、一貫したキャラクタのアイデンティティ、複数ショットにわたる物語の流れの維持に苦慮している。 本稿では,ビデオ生成モデルに基づくストーリーボードフレームワークであるDreamShotを紹介する。 DreamShotはText-to-Shot生成とReference-to-Shot生成の両方をサポートし、以前のフレームで条件付けられたストーリー継続をサポートし、フレキシブルでコンテキスト対応のストーリーボード生成を可能にする。 映像生成モデルに固有の空間的時間的一貫性を活用することで、DreamShotは、物語の忠実さとキャラクタの連続性を改善した視覚的および意味的コヒーレントなシーケンスを生成する。 さらにDreamShotには、複数の文字参照イメージを受け入れ、ロール・アテンション・コンシスタンス・ロスを通じてアイデンティティアライメントを強制するマルチ参照ロールコンディショニングモジュールが組み込まれており、参照と生成されたロール間の注意を明示的に制限している。 大規模な実験により、DreamShotは最先端のテキスト・ツー・イメージ・ストーリーボードモデルと比較して、シーンのコヒーレンス、役割の整合性、生成効率に優れており、制御可能なビデオモデル駆動型ビジュアルストーリーテリングに向けた新たな方向性を確立している。

関連論文リスト

• OneStory: Coherent Multi-Shot Video Generation with Adaptive Memory [47.073128448877775]
  我々は,一貫した,スケーラブルな物語生成のためのグローバルかつコンパクトなクロスショットコンテキストモデリングを実現するOneStoryを提案する。 OneStoryは、MSVを次のショット生成タスクとして再構成し、トレーニング済みのイメージ・ツー・ビデオ(I2V)モデルを活用しながら、自己回帰的なショット合成を可能にする。 OneStoryは、テキストと画像条件の両方の設定において、多種多様な複雑なシーンにまたがる最先端の物語コヒーレンスを実現する。
  論文  参考訳（メタデータ） (2025-12-08T18:32:24Z)
• STORYANCHORS: Generating Consistent Multi-Scene Story Frames for Long-Form Narratives [82.19488717416351]
  本稿では,高品質でマルチシーンなストーリーフレームを生成するための統合フレームワークであるStoryAnchorsを紹介する。 StoryAnchorsは、時間的一貫性を確保するために、過去と将来の両方のコンテキストを統合する双方向のストーリージェネレータを使用している。 また、マルチイベントストーリーフレームラベリングとプログレッシブストーリーフレームトレーニングを統合し、モデルが包括的な物語の流れとイベントレベルのダイナミクスの両方をキャプチャできるようにする。
  論文  参考訳（メタデータ） (2025-05-13T08:48:10Z)
• MovieDreamer: Hierarchical Generation for Coherent Long Visual Sequence [62.72540590546812]
  MovieDreamerは、自己回帰モデルの強みと拡散ベースのレンダリングを統合する、新しい階層的なフレームワークである。 様々な映画ジャンルにまたがって実験を行い、そのアプローチが優れた視覚的・物語的品質を実現することを示す。
  論文  参考訳（メタデータ） (2024-07-23T17:17:05Z)
• Make-A-Story: Visual Memory Conditioned Consistent Story Generation [57.691064030235985]
  本稿では,アクタと背景コンテキストを暗黙的にキャプチャするビジュアルメモリモジュールを備えた,自己回帰拡散に基づく新しいフレームワークを提案する。 本手法は,視覚的品質の高いフレーム生成において,先行技術よりも優れていた。 MUGEN, PororoSV, FlintstonesSVデータセット上でのストーリー生成実験により, この手法は, 視覚的品質の高いフレーム生成において, 先行技術よりも優れるだけでなく, キャラクタと背景との適切な対応をモデル化した。
  論文  参考訳（メタデータ） (2022-11-23T21:38:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。