論文の概要: VideoGen-of-Thought: Step-by-step generating multi-shot video with minimal manual intervention

• arxiv url: http://arxiv.org/abs/2412.02259v2
• Date: Thu, 20 Mar 2025 02:25:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-21 16:32:31.594640
• Title: VideoGen-of-Thought: Step-by-step generating multi-shot video with minimal manual intervention
• Title（参考訳）: VideoGen-of-Thought:手作業による最小限の介入で、ステップバイステップでマルチショットビデオを生成する
• Authors: Mingzhe Zheng, Yongqi Xu, Haojian Huang, Xuran Ma, Yexin Liu, Wenjie Shu, Yatian Pang, Feilong Tang, Qifeng Chen, Harry Yang, Ser-Nam Lim,
• Abstract要約: 現在のビデオ生成モデルは短いクリップで優れているが、解離した視覚力学と破折したストーリーラインのため、凝集性のある複数ショットの物語を生成できない。 一つの文から複数ショットのビデオ合成を自動化する,ステップバイステップのフレームワークであるVideoGen-of-Thought (VGoT)を紹介した。 VGoTは、ショット内の顔の一貫性が20.4%、スタイルの一貫性が17.4%向上するマルチショットビデオを生成する。
• 参考スコア（独自算出の注目度）: 70.61101071902596
• License:
• Abstract: Current video generation models excel at short clips but fail to produce cohesive multi-shot narratives due to disjointed visual dynamics and fractured storylines. Existing solutions either rely on extensive manual scripting/editing or prioritize single-shot fidelity over cross-scene continuity, limiting their practicality for movie-like content. We introduce VideoGen-of-Thought (VGoT), a step-by-step framework that automates multi-shot video synthesis from a single sentence by systematically addressing three core challenges: (1) Narrative Fragmentation: Existing methods lack structured storytelling. We propose dynamic storyline modeling, which first converts the user prompt into concise shot descriptions, then elaborates them into detailed, cinematic specifications across five domains (character dynamics, background continuity, relationship evolution, camera movements, HDR lighting), ensuring logical narrative progression with self-validation. (2) Visual Inconsistency: Existing approaches struggle with maintaining visual consistency across shots. Our identity-aware cross-shot propagation generates identity-preserving portrait (IPP) tokens that maintain character fidelity while allowing trait variations (expressions, aging) dictated by the storyline. (3) Transition Artifacts: Abrupt shot changes disrupt immersion. Our adjacent latent transition mechanisms implement boundary-aware reset strategies that process adjacent shots' features at transition points, enabling seamless visual flow while preserving narrative continuity. VGoT generates multi-shot videos that outperform state-of-the-art baselines by 20.4% in within-shot face consistency and 17.4% in style consistency, while achieving over 100% better cross-shot consistency and 10x fewer manual adjustments than alternatives.
• Abstract（参考訳）: 現在のビデオ生成モデルは短いクリップで優れているが、解離した視覚力学と破折したストーリーラインのため、凝集性のある複数ショットの物語を生成できない。 既存のソリューションは、広範な手動のスクリプティング/編集に依存するか、ワンショットの忠実度をシーン間の連続性よりも優先し、映画のようなコンテンツに対する実用性を制限している。 本稿では,(1)ナラティブ・フラグメンテーション:既存の手法では構造化されたストーリーテリングが欠如している,という3つの課題に体系的に対処することで,単一の文からマルチショットビデオ合成を自動化する,ステップバイステップのフレームワークであるVideoGen-of-Thought(VGoT)を紹介する。 本稿では,まずユーザプロンプトを簡潔なショット記述に変換するダイナミックなストーリーラインモデリングを提案し,それを5つの領域(キャラクタダイナミクス,背景連続性,関係進化,カメラ運動,HDR照明)にわたる詳細な映画仕様に詳細化し,自己検証による論理的物語の進行を保証する。 2) 視覚的不整合性: 既存のアプローチはショット間の視覚的一貫性を維持するのに苦労する。 我々のアイデンティティを意識したクロスショット伝播は、ストーリーラインによって特徴変動(表現、老化)を許容しつつ、文字の忠実性を維持するアイデンティティ保存ポートレート(IPP)トークンを生成する。 (3) 遷移アーティファクト: 突然のショット変更は浸漬を阻害する。 隣接している潜伏遷移機構は、隣接ショットの特徴を遷移点で処理し、物語の連続性を保ちながらシームレスな視覚的フローを可能にする境界対応リセット戦略を実装している。 VGoTは、最先端のベースラインを20.4%上回り、スタイルの一貫性を17.4%上回るマルチショットビデオを生成する。

関連論文リスト

• VideoAuteur: Towards Long Narrative Video Generation [22.915448471769384]
  本稿では,調理領域における長めの物語生成を促進するために,大規模な調理ビデオデータセットを提案する。 生成ビデオにおける視覚的・意味的コヒーレンスを高めるために,Long Narrative Video Directorを導入する。 本手法は,視覚的細部および意味的整合性の生成における大幅な改善を示す。
  論文  参考訳（メタデータ） (2025-01-10T18:52:11Z)
• DiTCtrl: Exploring Attention Control in Multi-Modal Diffusion Transformer for Tuning-Free Multi-Prompt Longer Video Generation [54.30327187663316]
  DiTCtrlは、MM-DiTアーキテクチャの下で初めてトレーニング不要なマルチプロンプトビデオ生成手法である。 MM-DiTの注意機構を解析し、3次元のフルアテンションがUNetのような拡散モデルにおけるクロス/セルフアテンションブロックと同様の振る舞いを示す。 我々の注意深い設計に基づいて、DiTCtrlによって生成されたビデオは、複数のシーケンシャルプロンプトが与えられた滑らかな遷移と一貫した物体の動きを達成する。
  論文  参考訳（メタデータ） (2024-12-24T18:51:19Z)
• StoryAgent: Customized Storytelling Video Generation via Multi-Agent Collaboration [88.94832383850533]
  CSVG(Customized Storytelling Video Generation)のためのマルチエージェントフレームワークを提案する。 StoryAgentはCSVGを特殊エージェントに割り当てられた個別のサブタスクに分解し、プロの制作プロセスを反映する。 具体的には、撮影時間内整合性を高めるために、カスタマイズされたイメージ・ツー・ビデオ(I2V)手法であるLoRA-BEを導入する。 コントリビューションには、ビデオ生成タスクのための汎用フレームワークであるStoryAgentの導入や、プロタゴニストの一貫性を維持するための新しい技術が含まれている。
  論文  参考訳（メタデータ） (2024-11-07T18:00:33Z)
• MovieDreamer: Hierarchical Generation for Coherent Long Visual Sequence [62.72540590546812]
  MovieDreamerは、自己回帰モデルの強みと拡散ベースのレンダリングを統合する、新しい階層的なフレームワークである。 様々な映画ジャンルにまたがって実験を行い、そのアプローチが優れた視覚的・物語的品質を実現することを示す。
  論文  参考訳（メタデータ） (2024-07-23T17:17:05Z)
• SEINE: Short-to-Long Video Diffusion Model for Generative Transition and Prediction [93.26613503521664]
  本稿では、生成遷移と予測に焦点をあてた、短時間から長期のビデオ拡散モデルSEINEを提案する。 テキスト記述に基づく遷移を自動的に生成するランダムマスクビデオ拡散モデルを提案する。 我々のモデルは、コヒーレンスと視覚的品質を保証するトランジションビデオを生成する。
  論文  参考訳（メタデータ） (2023-10-31T17:58:17Z)
• VideoDirectorGPT: Consistent Multi-scene Video Generation via LLM-Guided Planning [62.51232333352754]
  VideoDirectorGPTは、一貫したマルチシーンビデオ生成のための新しいフレームワークである。 提案手法は,複数シーンのビデオ生成におけるレイアウトと移動制御を大幅に改善する。
  論文  参考訳（メタデータ） (2023-09-26T17:36:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。