論文の概要: VideoGen-of-Thought: Step-by-step generating multi-shot video with minimal manual intervention

• arxiv url: http://arxiv.org/abs/2503.15138v2
• Date: Thu, 20 Mar 2025 13:00:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-21 13:17:54.015368
• Title: VideoGen-of-Thought: Step-by-step generating multi-shot video with minimal manual intervention
• Title（参考訳）: VideoGen-of-Thought:手作業による最小限の介入で、ステップバイステップでマルチショットビデオを生成する
• Authors: Mingzhe Zheng, Yongqi Xu, Haojian Huang, Xuran Ma, Yexin Liu, Wenjie Shu, Yatian Pang, Feilong Tang, Qifeng Chen, Harry Yang, Ser-Nam Lim,
• Abstract要約: 現在のビデオ生成モデルは短いクリップで優れているが、解離した視覚力学と破折したストーリーラインのため、凝集性のある複数ショットの物語を生成できない。 一つの文から複数ショットのビデオ合成を自動化する,ステップバイステップのフレームワークであるVideoGen-of-Thought (VGoT)を紹介した。 VGoTは、ショット内の顔の一貫性が20.4%、スタイルの一貫性が17.4%向上するマルチショットビデオを生成する。
• 参考スコア（独自算出の注目度）: 70.61101071902596
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: Current video generation models excel at short clips but fail to produce cohesive multi-shot narratives due to disjointed visual dynamics and fractured storylines. Existing solutions either rely on extensive manual scripting/editing or prioritize single-shot fidelity over cross-scene continuity, limiting their practicality for movie-like content. We introduce VideoGen-of-Thought (VGoT), a step-by-step framework that automates multi-shot video synthesis from a single sentence by systematically addressing three core challenges: (1) Narrative Fragmentation: Existing methods lack structured storytelling. We propose dynamic storyline modeling, which first converts the user prompt into concise shot descriptions, then elaborates them into detailed, cinematic specifications across five domains (character dynamics, background continuity, relationship evolution, camera movements, HDR lighting), ensuring logical narrative progression with self-validation. (2) Visual Inconsistency: Existing approaches struggle with maintaining visual consistency across shots. Our identity-aware cross-shot propagation generates identity-preserving portrait (IPP) tokens that maintain character fidelity while allowing trait variations (expressions, aging) dictated by the storyline. (3) Transition Artifacts: Abrupt shot changes disrupt immersion. Our adjacent latent transition mechanisms implement boundary-aware reset strategies that process adjacent shots' features at transition points, enabling seamless visual flow while preserving narrative continuity. VGoT generates multi-shot videos that outperform state-of-the-art baselines by 20.4% in within-shot face consistency and 17.4% in style consistency, while achieving over 100% better cross-shot consistency and 10x fewer manual adjustments than alternatives.
• Abstract（参考訳）: 現在のビデオ生成モデルは短いクリップで優れているが、解離した視覚力学と破折したストーリーラインのため、凝集性のある複数ショットの物語を生成できない。 既存のソリューションは、広範な手動のスクリプティング/編集に依存するか、ワンショットの忠実度をシーン間の連続性よりも優先し、映画のようなコンテンツに対する実用性を制限している。 本稿では,(1)ナラティブ・フラグメンテーション:既存の手法では構造化されたストーリーテリングが欠如している,という3つの課題に体系的に対処することで,単一の文からマルチショットビデオ合成を自動化する,ステップバイステップのフレームワークであるVideoGen-of-Thought(VGoT)を紹介する。 本稿では,まずユーザプロンプトを簡潔なショット記述に変換するダイナミックなストーリーラインモデリングを提案し,それを5つの領域(キャラクタダイナミクス,背景連続性,関係進化,カメラ運動,HDR照明)にわたる詳細な映画仕様に詳細化し,自己検証による論理的物語の進行を保証する。 2) 視覚的不整合性: 既存のアプローチはショット間の視覚的一貫性を維持するのに苦労する。 我々のアイデンティティを意識したクロスショット伝播は、ストーリーラインによって特徴変動(表現、老化)を許容しつつ、文字の忠実性を維持するアイデンティティ保存ポートレート(IPP)トークンを生成する。 (3) 遷移アーティファクト: 突然のショット変更は浸漬を阻害する。 隣接している潜伏遷移機構は、隣接ショットの特徴を遷移点で処理し、物語の連続性を保ちながらシームレスな視覚的フローを可能にする境界対応リセット戦略を実装している。 VGoTは、最先端のベースラインを20.4%上回り、スタイルの一貫性を17.4%上回るマルチショットビデオを生成する。

関連論文リスト

• Long Context Tuning for Video Generation [63.060794860098795]
  Long Context Tuning (LCT) は、訓練済みのシングルショットビデオ拡散モデルのコンテキストウィンドウを拡張する訓練パラダイムである。 本手法は、シーン内のすべてのショットを包含するために、個々のショットからフルアテンションメカニズムを拡張する。 実験では、コヒーレントなマルチショットシーンを実証し、合成生成やインタラクティブショット拡張など、新たな能力を示す。
  論文  参考訳（メタデータ） (2025-03-13T17:40:07Z)
• Text2Story: Advancing Video Storytelling with Text Guidance [20.51001299249891]
  本稿では,自然な行動遷移と構造化された物語を伴うシームレスなビデオ生成を実現するための,新しいストーリーテリング手法を提案する。 我々は,短いクリップと拡張ビデオのギャップを埋めて,テキストからGenAI駆動のビデオ合成の新しいパラダイムを確立する。
  論文  参考訳（メタデータ） (2025-03-08T19:04:36Z)
• Motion by Queries: Identity-Motion Trade-offs in Text-to-Video Generation [47.61288672890036]
  本研究では,テキスト・ビデオ・モデルにおける自己注意クエリ機能がどのように動作,構造,アイデンティティを制御するかを検討する。 分析の結果,Qがレイアウトに影響を及ぼすだけでなく,Qをデノナイズする際にも主観的同一性に強い影響を及ぼすことが明らかとなった。 本研究では,(1)既存の手法より20倍効率の良いゼロショットモーショントランスファー法,(2)一貫したマルチショットビデオ生成のためのトレーニングフリー手法の2つの応用例を示す。
  論文  参考訳（メタデータ） (2024-12-10T18:49:39Z)
• VideoGen-of-Thought: A Collaborative Framework for Multi-Shot Video Generation [70.61101071902596]
  現在の世代モデルは短いクリップを生成するのに優れていますが、マルチショット映画のようなビデオを作るのに苦戦しています。 マルチショットビデオ生成に特化して設計された協調学習不要なアーキテクチャであるVideoGen-of-Thought (VGoT)を提案する。 我々の実験は、VGoTが高品質でコヒーレントなマルチショットビデオを作成する際に、既存のビデオ生成方法を上回ることを実証している。
  論文  参考訳（メタデータ） (2024-12-03T08:33:50Z)
• StoryAgent: Customized Storytelling Video Generation via Multi-Agent Collaboration [88.94832383850533]
  CSVG(Customized Storytelling Video Generation)のためのマルチエージェントフレームワークを提案する。 StoryAgentはCSVGを特殊エージェントに割り当てられた個別のサブタスクに分解し、プロの制作プロセスを反映する。 具体的には、撮影時間内整合性を高めるために、カスタマイズされたイメージ・ツー・ビデオ(I2V)手法であるLoRA-BEを導入する。 コントリビューションには、ビデオ生成タスクのための汎用フレームワークであるStoryAgentの導入や、プロタゴニストの一貫性を維持するための新しい技術が含まれている。
  論文  参考訳（メタデータ） (2024-11-07T18:00:33Z)
• SEINE: Short-to-Long Video Diffusion Model for Generative Transition and Prediction [93.26613503521664]
  本稿では、生成遷移と予測に焦点をあてた、短時間から長期のビデオ拡散モデルSEINEを提案する。 テキスト記述に基づく遷移を自動的に生成するランダムマスクビデオ拡散モデルを提案する。 我々のモデルは、コヒーレンスと視覚的品質を保証するトランジションビデオを生成する。
  論文  参考訳（メタデータ） (2023-10-31T17:58:17Z)
• Task-agnostic Temporally Consistent Facial Video Editing [84.62351915301795]
  タスクに依存しない、時間的に一貫した顔画像編集フレームワークを提案する。 3次元再構成モデルに基づいて,本フレームワークはより統一的で不整合な方法で複数の編集タスクを処理するように設計されている。 現状の顔画像編集法と比較すると,本フレームワークはより写実的で時間的に滑らかな映像像を生成する。
  論文  参考訳（メタデータ） (2020-07-03T02:49:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。