論文の概要: Captain Cinema: Towards Short Movie Generation
- arxiv url: http://arxiv.org/abs/2507.18634v1
- Date: Thu, 24 Jul 2025 17:59:56 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-07-25 15:10:44.313222
- Title: Captain Cinema: Towards Short Movie Generation
- Title（参考訳）: キャプテン・シネマ:短編映画化に向けて
- Authors: Junfei Xiao, Ceyuan Yang, Lvmin Zhang, Shengqu Cai, Yang Zhao, Yuwei Guo, Gordon Wetzstein, Maneesh Agrawala, Alan Yuille, Lu Jiang,
- Abstract要約: 我々は、短編映画生成のための世代フレームワークであるキャプテン・シネマを提示する。
我々のアプローチは、物語全体を概説する一連の合成を生成する。
我々のモデルは、インターリーブされたデータペアからなる特別にキュレートされたデータセットで訓練されている。
- 参考スコア（独自算出の注目度）: 66.22442526026215
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: We present Captain Cinema, a generation framework for short movie generation. Given a detailed textual description of a movie storyline, our approach firstly generates a sequence of keyframes that outline the entire narrative, which ensures long-range coherence in both the storyline and visual appearance (e.g., scenes and characters). We refer to this step as top-down keyframe planning. These keyframes then serve as conditioning signals for a video synthesis model, which supports long context learning, to produce the spatio-temporal dynamics between them. This step is referred to as bottom-up video synthesis. To support stable and efficient generation of multi-scene long narrative cinematic works, we introduce an interleaved training strategy for Multimodal Diffusion Transformers (MM-DiT), specifically adapted for long-context video data. Our model is trained on a specially curated cinematic dataset consisting of interleaved data pairs. Our experiments demonstrate that Captain Cinema performs favorably in the automated creation of visually coherent and narrative consistent short movies in high quality and efficiency. Project page: https://thecinema.ai
- Abstract（参考訳）: 我々は、短編映画生成のための世代フレームワークであるキャプテン・シネマを提示する。
映画のストーリーラインの詳細なテキスト記述が与えられた場合、まず、ストーリーラインと視覚的外観(例えば、シーンやキャラクター)の両方において、長い範囲のコヒーレンスを確保するために、物語全体を概説するキーフレームのシーケンスを生成する。
このステップをトップダウンのキーフレーム計画と呼んでいます。
これらのキーフレームは、長い文脈学習をサポートするビデオ合成モデルの条件付け信号として機能し、それらの間の時空間的ダイナミクスを生成する。
このステップはボトムアップビデオ合成と呼ばれる。
本研究では,マルチモード拡散変換器(MM-DiT)のためのインターリーブ型トレーニング戦略を導入する。
我々のモデルは、インターリーブされたデータペアからなる特別にキュレートされた撮影データセットに基づいて訓練されている。
本実験は,高画質かつ高効率で映像的コヒーレントで一貫した短編映画を自動作成する上で,キャプテンシネマが好適に機能することを示した。
プロジェクトページ: https://thecinema.ai
関連論文リスト
- CineVerse: Consistent Keyframe Synthesis for Cinematic Scene Composition [23.795982778641573]
CineVerseは、シーン構成のタスクのための新しいフレームワークである。
従来のマルチショット生成と同様に、我々のタスクはフレーム間の一貫性と連続性の必要性を強調する。
我々の課題は、複数のキャラクター、複雑な相互作用、視覚的映像効果など、映画制作に固有の課題に対処することにも焦点を当てている。
論文 参考訳（メタデータ） (2025-04-28T15:28:14Z) - Automated Movie Generation via Multi-Agent CoT Planning [20.920129008402718]
MovieAgentは、CoT(Multi-agent Chain of Thought)計画による自動映画生成である。
コヒーレントな物語を持つマルチシーンでマルチショットのロングフォームビデオを生成し、文字の一貫性、同期字幕、安定したオーディオを保証します。
複数のLLMエージェントを使用して、ディレクター、脚本家、ストーリーボードアーティスト、ロケーションマネージャの役割をシミュレートすることで、MovieAgentはプロダクションパイプラインを合理化する。
論文 参考訳（メタデータ） (2025-03-10T13:33:27Z) - MovieBench: A Hierarchical Movie Level Dataset for Long Video Generation [62.85764872989189]
長いビデオ生成モデルの分析、評価、トレーニングに適したデータセットは公開されていない。
The MovieBench: A Hierarchical Movie-Level dataset for Long Video Generation。
データセットは公開され、継続的に維持され、長いビデオ生成の分野を前進させることを目的としている。
論文 参考訳（メタデータ） (2024-11-22T10:25:08Z) - StoryAgent: Customized Storytelling Video Generation via Multi-Agent Collaboration [88.94832383850533]
CSVG(Customized Storytelling Video Generation)のためのマルチエージェントフレームワークを提案する。
StoryAgentはCSVGを特殊エージェントに割り当てられた個別のサブタスクに分解し、プロの制作プロセスを反映する。
具体的には、撮影時間内整合性を高めるために、カスタマイズされたイメージ・ツー・ビデオ(I2V)手法であるLoRA-BEを導入する。
コントリビューションには、ビデオ生成タスクのための汎用フレームワークであるStoryAgentの導入や、プロタゴニストの一貫性を維持するための新しい技術が含まれている。
論文 参考訳（メタデータ） (2024-11-07T18:00:33Z) - DiscoGraMS: Enhancing Movie Screen-Play Summarization using Movie Character-Aware Discourse Graph [6.980991481207376]
映画脚本を映画キャラクタ対応の談話グラフ(CaD Graph)として表現する新しいリソースであるDiscoGraMSを紹介する。
このモデルは、スクリーンプレイの内容をより包括的で忠実に表現することで、すべての健全な情報を保存することを目的としている。
論文 参考訳（メタデータ） (2024-10-18T17:56:11Z) - MovieDreamer: Hierarchical Generation for Coherent Long Visual Sequence [62.72540590546812]
MovieDreamerは、自己回帰モデルの強みと拡散ベースのレンダリングを統合する、新しい階層的なフレームワークである。
様々な映画ジャンルにまたがって実験を行い、そのアプローチが優れた視覚的・物語的品質を実現することを示す。
論文 参考訳（メタデータ） (2024-07-23T17:17:05Z) - Movie101v2: Improved Movie Narration Benchmark [53.54176725112229]
映像の自動ナレーションは、視覚障害者を支援するために、映像に合わせたプロット記述を生成することを目的としている。
映画ナレーションに特化して設計されたデータ品質を向上した大規模バイリンガルデータセットであるMovie101v2を紹介する。
新しいベンチマークに基づいて,GPT-4Vを含む多数の視覚言語モデルをベースライン化し,ナレーション生成における課題の詳細な分析を行う。
論文 参考訳（メタデータ） (2024-04-20T13:15:27Z) - SEINE: Short-to-Long Video Diffusion Model for Generative Transition and
Prediction [93.26613503521664]
本稿では、生成遷移と予測に焦点をあてた、短時間から長期のビデオ拡散モデルSEINEを提案する。
テキスト記述に基づく遷移を自動的に生成するランダムマスクビデオ拡散モデルを提案する。
我々のモデルは、コヒーレンスと視覚的品質を保証するトランジションビデオを生成する。
論文 参考訳（メタデータ） (2023-10-31T17:58:17Z) - Movie Summarization via Sparse Graph Construction [65.16768855902268]
マルチモーダル情報を用いて構築された,シーン間の関係を表すスパースなムービーグラフを構築することで,TPシーンを識別するモデルを提案する。
人間の判断によれば、我々のアプローチによって作成された要約は、シーケンスベースモデルや汎用的な要約アルゴリズムの出力よりも、より情報的で完全であり、より高い評価を受けている。
論文 参考訳（メタデータ） (2020-12-14T13:54:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。