論文の概要: Multi-Grid Post-Training for Long-Form Multi-Shot Video Generation
- arxiv url: http://arxiv.org/abs/2609.06373v1
- Date: Sun, 06 Sep 2026 04:20:32 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-12 05:52:14.876573
- Title: Multi-Grid Post-Training for Long-Form Multi-Shot Video Generation
- Title(参考訳): 長めのマルチショットビデオ生成のためのマルチグリッドポストトレーニング
- Abstract要約: MovieGridは、長いビデオを短い時間順のチャンクに分解し、それらを共同モデリングのための空間グリッドに配置する。
我々は、ソースビデオ収集、階層的セグメンテーション、グリッドビデオ構築、文字認識型ストーリーアノテーションを用いて、1000本の長ビデオからMulti-Grid Long Videoデータセットを構築した。
MovieGridは最先端のショット内一貫性(HoloCineでは0.9131対0.8086)とショット間一貫性(StoryMemでは0.5914対0.5384)を実現している。
- 参考スコア(独自算出の注目度): 49.26923863190158
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Generating long-form multi-shot videos requires coherent within-shot motion and visually consistent narratives across shots. Existing video generators favor continuous motion and struggle to present complete shot sets when an entire narrative is packed along one temporal axis. We propose MovieGrid, a Multi-Grid Post-Training paradigm that decomposes a long video into shorter, temporally ordered chunks and arranges them on a spatial grid for joint modeling. This design reduces the number of shots handled by each temporal axis while enabling global information exchange across chunks. We construct the Multi-Grid Long Video (MGLV) dataset from 1,000 long-form videos using source video collection, hierarchical segmentation, grid video construction, and character-aware story annotation, producing 54K grid videos paired with story prompts. Our Noise-Free Random-Grid Training retains a random subset of chunks as clean visual context for denoising the remaining chunks. Grid Embedding encodes grid structure, character-aware Story Prompts link recurring entities, and Grid Boundary Loss stabilizes layouts. Under the same token budget, MovieGrid generates 6.05 times more shots than Temporal Packing in a 1,616-frame video. On a benchmark spanning five real-world categories, it achieves state-of-the-art intra-shot consistency (0.9131 versus 0.8086 for HoloCine) and inter-shot consistency (0.5914 versus 0.5384 for StoryMem). MovieGrid can further scale video length with minimal compromise through single or multiple generations.
- Abstract(参考訳): ロングフォームなマルチショットビデオを生成するには、ショット内のコヒーレントな動きと、ショット全体で視覚的に一貫した物語が必要である。
既存のビデオジェネレータは、1つの時間軸に沿って物語全体を詰め込むとき、連続的な動きと完全なショットセットの提示に苦労する。
長い動画を短時間で時間的に順序付けられたチャンクに分解し,共同モデリングのための空間格子上に配置するマルチグリッドポストトライニングパラダイムであるMovieGridを提案する。
この設計は、チャンク間でグローバルな情報交換を可能にしながら、時間軸ごとに処理されるショットの数を減らす。
ソースビデオ収集,階層的セグメンテーション,グリッドビデオ構築,文字認識型ストーリアノテーションを用いて,1000本の長ビデオからMGLV(Multi-Grid Long Video)データセットを構築し,ストーリープロンプトと組み合わせた54Kのグリッドビデオを生成する。
我々のノイズフリーランダムグリッドトレーニングは、残りのチャンクを識別するためのクリーンな視覚的コンテキストとして、チャンクのランダムなサブセットを保持します。
Grid Embeddingはグリッド構造をエンコードし、文字対応のStory Promptsは繰り返しエンティティをリンクし、Grid境界損失はレイアウトを安定化する。
同じトークン予算の下で、MovieGridは1,616コマのビデオでテンポラル・パッキングの6.05倍のショットを生成する。
5つの実世界のカテゴリにまたがるベンチマークでは、最先端のショット内一貫性(HoloCineでは0.9131対0.8086)とショット間一貫性(StoryMemでは0.5914対0.5384)を達成する。
MovieGridは、単一の世代または複数の世代で最小限の妥協で、ビデオの長さを拡大することができる。
関連論文リスト
- Soap2Soap: Long Cinematic Video Remaking via Multi-Agent Collaboration [61.98029663481308]
Soap2SoapはDualBridgeメカニズムを通じて長期の視覚的一貫性を強制するマルチエージェントフレームワークである。
クローズドループ検証エージェントは、識別、安定性、アライメントを監査し、選択的再生を誘導する。
論文 参考訳(メタデータ) (2026-05-17T12:38:21Z) - FilmWeaver: Weaving Consistent Multi-Shot Videos with Cache-Guided Autoregressive Diffusion [46.67733869872552]
textbfFilmWeaverは任意の長さで一貫したマルチショットビデオを生成するように設計されたフレームワークである。
私たちの重要な洞察は、問題をショット間の一貫性とショット内のコヒーレンスに分離することです。
本手法は, 整合性と美的品質の両面において, 既存の手法を超越した手法である。
論文 参考訳(メタデータ) (2025-12-12T04:34:53Z) - SwiftTry: Fast and Consistent Video Virtual Try-On with Diffusion Models [10.66567645920237]
本研究の目的は,被服が時間的整合性を維持しつつ着ている新しい映像を合成することである。
我々は,映像仮想試着を条件付き映像塗装作業として再認識し,衣服を入力条件として機能させる。
具体的には,時間的注意層を取り入れた画像拡散モデルを構築し,時間的コヒーレンスを改善する。
論文 参考訳(メタデータ) (2024-12-13T14:50:26Z) - VideoGen-of-Thought: Step-by-step generating multi-shot video with minimal manual intervention [76.3175166538482]
VideoGen-of-Thought(VGoT)は、単一の文から複数ショットのビデオ合成を自動化するステップバイステップのフレームワークである。
VGoTは、ナラティブな断片化、視覚的不整合、トランジションアーティファクトの3つの課題に対処する。
トレーニング不要のパイプラインで組み合わせられたVGoTは、ショット内面の一貫性が20.4%、スタイルの一貫性が17.4%向上した。
論文 参考訳(メタデータ) (2024-12-03T08:33:50Z) - VidToMe: Video Token Merging for Zero-Shot Video Editing [100.79999871424931]
本稿では,フレーム間で自己注意トークンをマージすることで,生成ビデオの時間的一貫性を高める新しい手法を提案する。
本手法は時間的コヒーレンスを改善し,自己アテンション計算におけるメモリ消費を削減する。
論文 参考訳(メタデータ) (2023-12-17T09:05:56Z) - VideoDirectorGPT: Consistent Multi-scene Video Generation via LLM-Guided Planning [62.51232333352754]
VideoDirectorGPTは、一貫したマルチシーンビデオ生成のための新しいフレームワークである。
提案手法は,複数シーンのビデオ生成におけるレイアウトと移動制御を大幅に改善する。
論文 参考訳(メタデータ) (2023-09-26T17:36:26Z) - ControlVideo: Training-free Controllable Text-to-Video Generation [117.06302461557044]
ControlVideoは、自然で効率的なテキスト・ビデオ生成を可能にするフレームワークである。
NVIDIA 2080Tiを使って、ショートビデオとロングビデオの両方を数分で生成する。
論文 参考訳(メタデータ) (2023-05-22T14:48:53Z) - Towards Smooth Video Composition [59.134911550142455]
ビデオ生成には、時間とともに動的コンテンツを伴う一貫した永続的なフレームが必要である。
本研究は, 生成的対向ネットワーク(GAN)を用いて, 任意の長さの映像を構成するための時間的関係を, 数フレームから無限までモデル化するものである。
単体画像生成のためのエイリアスフリー操作は、適切に学習された知識とともに、フレーム単位の品質を損なうことなく、スムーズなフレーム遷移をもたらすことを示す。
論文 参考訳(メタデータ) (2022-12-14T18:54:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。