論文の概要: SmartDirector: Keyframe-Conditioned Cinematic Video Generation with Narrative Pacing Control

• arxiv url: http://arxiv.org/abs/2605.27891v1
• Date: Wed, 27 May 2026 03:16:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-28 17:38:55.706452
• Title: SmartDirector: Keyframe-Conditioned Cinematic Video Generation with Narrative Pacing Control
• Title（参考訳）: SmartDirector: ナラティブパシング制御によるキーフレーム構成シネマティックビデオ生成
• Authors: Zhida Zhang, Jie Ma, Zhan Peng, Haoxue Wu, Yang Han, Jun Liang, Jie Cao, Jing Li,
• Abstract要約: 本稿では,映像生成モデルの物語能力を高めるフレームワークであるSmartDirectorを提案する。 SmartDirectorは、シングルショット生成、マルチショットナラティブ合成、ビデオ拡張など、フレキシブルな生成シナリオをサポートする。
• 参考スコア（独自算出の注目度）: 14.692728579474169
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The narrative quality of a video fundamentally determines its perceptual value. Although existing video generation methods can produce visually appealing content, they predominantly rely on sparse conditioning signals such as text prompts or first/last frames, which limits precise control over narrative structure and temporal pacing. In this paper, we propose SmartDirector, a framework that enhances the narrative capacity of video generation models through multiple keyframes. SmartDirector supports flexible generation scenarios including single-shot generation, multi-shot narrative synthesis, and video extension. The framework operates in two stages: Director-Gen generates a low-resolution video conditioned on the provided keyframes, and Director-SR refines the output by exploiting high-resolution keyframes as semantic anchors to recover fine-grained details. To enable robust multi-keyframe training, we construct a data pipeline that curates single-shot and multi-shot sequences from movies. Extensive experiments demonstrate that SmartDirector substantially outperforms existing state-of-the-art approaches. We will release the code to facilitate further research.
• Abstract（参考訳）: ビデオの物語の質は、その知覚的価値を根本的に決定する。 既存のビデオ生成手法は、視覚的に魅力的なコンテンツを生成できるが、主にテキストプロンプトや第1/第1フレームのようなスパースコンディショニング信号に依存しており、物語構造や時間的ペーシングの正確な制御を制限している。 本稿では,複数のキーフレームを通じて映像生成モデルの物語能力を向上するフレームワークであるSmartDirectorを提案する。 SmartDirectorは、シングルショット生成、マルチショットナラティブ合成、ビデオ拡張など、フレキシブルな生成シナリオをサポートする。 Director-Genは、提供されたキーフレームに条件付き低解像度のビデオを生成し、Director-SRは、高解像度のキーフレームをセマンティックアンカーとして利用して出力を洗練し、きめ細かい詳細を復元する。 ロバストなマルチキーフレームトレーニングを実現するために,映画からのシングルショットおよびマルチショットシーケンスをキュレートするデータパイプラインを構築した。 大規模な実験は、SmartDirectorが既存の最先端アプローチを大幅に上回っていることを示している。 さらなる研究を促進するために、コードを公開します。

関連論文リスト

• A Benchmark and Multi-Agent System for Instruction-driven Cinematic Video Compilation [75.66313073019326]
  CineBenchは、命令駆動のシネマティックビデオコンパイルのための最初のベンチマークである。 CineAgentsは,映像編集をデザイン・アンド・コンポジションのパラダイムに再構成するマルチエージェントシステムである。
  論文  参考訳（メタデータ） (2026-04-12T04:39:09Z)
• Tele-Omni: a Unified Multimodal Framework for Video Generation and Editing [93.8111348452324]
  Tele-Omniはビデオ生成と編集のための統合されたフレームワークで、マルチモーダルな指示に従う。 テキスト・ツー・ビデオ生成、画像・ビデオ生成、ファースト・ラスト・フレーム・ビデオ生成、イン・コンテクスト・ビデオ生成、およびイン・コンテクスト・ビデオ編集をサポートする。
  論文  参考訳（メタデータ） (2026-02-10T10:01:16Z)
• Bridging Your Imagination with Audio-Video Generation via a Unified Director [54.45375287950375]
  論理的推論と想像的思考はどちらも映画監督の基本的特性であると主張する。 ユーザプロンプトを適切に構造化されたスクリプトでブリッジする統合ディレクタモデルUniMAGEを提案する。
  論文  参考訳（メタデータ） (2025-12-29T05:56:22Z)
• STAGE: Storyboard-Anchored Generation for Cinematic Multi-shot Narrative [55.05324155854762]
  本稿では,STAGEに基づく映像生成タスクを再構成するStoryboard-Anchored GEnerationワークフローを提案する。 そこで本研究では,スペーサーの代わりに,各ショットの先頭フレーム対からなる構造的ストーリーボードを推定するSTEP2を提案する。 ConStoryBoardの大規模データセットには、ストーリーの進行、映画的属性、人間の嗜好など、高品質な映像クリップが含まれています。
  論文  参考訳（メタデータ） (2025-12-13T15:57:29Z)
• FilmWeaver: Weaving Consistent Multi-Shot Videos with Cache-Guided Autoregressive Diffusion [46.67733869872552]
  textbfFilmWeaverは任意の長さで一貫したマルチショットビデオを生成するように設計されたフレームワークである。 私たちの重要な洞察は、問題をショット間の一貫性とショット内のコヒーレンスに分離することです。 本手法は, 整合性と美的品質の両面において, 既存の手法を超越した手法である。
  論文  参考訳（メタデータ） (2025-12-12T04:34:53Z)
• MultiShotMaster: A Controllable Multi-Shot Video Generation Framework [67.38203939500157]
  現在の生成技術はシングルショットクリップで優れているが、物語的なマルチショットビデオを作成するのに苦労している。 高度に制御可能なマルチショットビデオ生成のためのフレームワークであるMultiShotMasterを提案する。
  論文  参考訳（メタデータ） (2025-12-02T18:59:48Z)
• VideoGen-of-Thought: Step-by-step generating multi-shot video with minimal manual intervention [76.3175166538482]
  VideoGen-of-Thought(VGoT)は、単一の文から複数ショットのビデオ合成を自動化するステップバイステップのフレームワークである。 VGoTは、ナラティブな断片化、視覚的不整合、トランジションアーティファクトの3つの課題に対処する。 トレーニング不要のパイプラインで組み合わせられたVGoTは、ショット内面の一貫性が20.4%、スタイルの一貫性が17.4%向上した。
  論文  参考訳（メタデータ） (2024-12-03T08:33:50Z)
• DirecT2V: Large Language Models are Frame-Level Directors for Zero-Shot Text-to-Video Generation [37.25815760042241]
  本稿では,テキスト・ツー・ビデオ(T2V)ビデオを生成するための新しいフレームワークであるDirecT2Vを紹介する。 拡散モデルに新しい値マッピング法とデュアルソフトマックスフィルタリングを適用し、追加のトレーニングを必要としない。 実験により,視覚的コヒーレントかつストーリーフルなビデオ制作におけるフレームワークの有効性が検証された。
  論文  参考訳（メタデータ） (2023-05-23T17:57:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。