論文の概要: FilmWorld: Agentic Novel-to-Film Generation through Dynamic Cinematic World Modeling
- arxiv url: http://arxiv.org/abs/2607.19038v1
- Date: Tue, 21 Jul 2026 12:28:58 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-22 19:05:05.422281
- Title: FilmWorld: Agentic Novel-to-Film Generation through Dynamic Cinematic World Modeling
- Title(参考訳): ダイナミック・シネマティック・ワールド・モデリングによるエージェント・ノベル・ツー・イルム・ジェネレーション
- Abstract要約: 我々は、ダイナミック・シネマティック・ワールド・モデリングとして、新規・フィルム・ジェネレーションを、建設と進化の2段階に分類する。
2つの専門エージェントが協調してこれらのフェーズをインスタンス化する,エンドツーエンドのエージェントシステムであるFilmWorldを提案する。
実験により、FilmWorldは最先端のビデオ生成エージェントシステムより一貫して優れていることが示された。
- 参考スコア(独自算出の注目度): 82.23236914620828
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Translating novels into films poses a grand challenge for generative artificial intelligence, requiring conversion of abstract literary prose into long-form, multi-scene visual narratives. While current video generation models excel at short, single-scene clips within narrow temporal and spatial contexts, novel-to-film generation operates in a more complex regime, demanding long-duration content across diverse scenes with dynamically evolving entity states. To address this, we formalize novel-to-film generation as dynamic cinematic world modeling, decomposed into two phases: construction, which grounds abstract, underspecified literary narratives into concrete, stateful, and persistent world entities; and evolution, which governs how these entities dynamically update under plot progression to maintain causal consistency across scenes. We propose FilmWorld, an end-to-end agentic system where two groups of specialized agents collaborate to instantiate these phases. Construction-side agents perform narrative structured translation, world entity state modeling with visual anchoring, and state-driven shot planning, progressively projecting literary language into a cinematic blueprint. Evolution-side agents perform state-anchored visual generation, cross-shot dynamic state propagation, and closed-loop state verification to maintain causal consistency and visual coherence. To address the evaluation gap in long-form generation, we introduce FilmEval, a systematic evaluation framework that couples a difficulty-graded benchmark of 15 representative novels with an automated protocol of nine objective metrics spanning three dimensions: cinematic presentation, film consistency, and novel fidelity. Experiments demonstrate that FilmWorld consistently outperforms state-of-the-art video generation agent systems, with particularly pronounced improvements in narrative fidelity and cross-scene consistency.
- Abstract(参考訳): 小説を映画に翻訳することは、創造的な人工知能にとって大きな課題となり、抽象文学の散文を長文の多場面の視覚的物語に変換する必要がある。
現在のビデオ生成モデルは、短い時間的・空間的な狭い文脈で単一シーンのクリップを出力するが、小説から映画への生成はより複雑な状態にあり、動的に進化する実体状態を持つ多様なシーンにまたがる長期のコンテンツを要求する。
そこで,本研究では, 抽象的, 未特定な文学的物語を具体的, ステートフル, 永続的な世界エンティティに分解する構築と, プロットの進行下で動的に更新し, シーン間の因果一貫性を維持する進化という2つの段階に分解したダイナミック・シネマティック・ワールド・モデリングとして, 新規・フィルム・ジェネレーションを定式化する。
2つの専門エージェントが協調してこれらのフェーズをインスタンス化する,エンドツーエンドのエージェントシステムであるFilmWorldを提案する。
建設側エージェントは、物語構造翻訳、ビジュアルアンカーによる世界実体状態モデリング、およびステート駆動ショットプランニングを行い、徐々に文学的言語を映画的青写真に投影する。
進化側エージェントは、因果一貫性と視覚的コヒーレンスを維持するために、状態適応型ビジュアル生成、クロスショット動的状態伝搬、クローズドループ状態検証を実行する。
長文生成における評価ギャップを解決するために,15の代表的な小説の難易度ベンチマークと,映像提示,映画整合性,新規忠実度という,9つの客観的指標の自動化プロトコルを結合した,系統的評価フレームワークであるFilmEvalを導入する。
実験によると、FilmWorldは最新のビデオ生成エージェントシステムよりも優れており、特に物語の忠実さとシーン間の一貫性が顕著に向上している。
関連論文リスト
- ViMax: Agentic Video Generation [55.546794487716646]
ロングフォームビデオ生成には、体系的な物語計画と視覚的一貫性が必要である。
我々のフレームワークは、グローバルなストーリーコヒーレンスのための検索強化世代を備えた階層的な物語エンジンを採用している。
VLM誘導エージェントは、物語のコヒーレンスと視覚的忠実さの両方を継続的に監視し、洗練する。
論文 参考訳(メタデータ) (2026-06-02T12:55:41Z) - Soap2Soap: Long Cinematic Video Remaking via Multi-Agent Collaboration [61.98029663481308]
Soap2SoapはDualBridgeメカニズムを通じて長期の視覚的一貫性を強制するマルチエージェントフレームワークである。
クローズドループ検証エージェントは、識別、安定性、アライメントを監査し、選択的再生を誘導する。
論文 参考訳(メタデータ) (2026-05-17T12:38:21Z) - Camera Artist: A Multi-Agent Framework for Cinematic Language Storytelling Video Generation [4.910318162000904]
本稿では,現実の映画制作ワークフローをモデル化し,映像言語で物語ビデオを生成するマルチエージェントフレームワークであるCamera Artistを提案する。
カメラ・アーティストは、確立されたエージェント・パイプラインの上に構築され、専用のシネマトグラフィー・ショット・エージェント(Cinematography Shot Agent)を導入している。
論文 参考訳(メタデータ) (2026-04-10T10:27:52Z) - The Script is All You Need: An Agentic Framework for Long-Horizon Dialogue-to-Cinematic Video Generation [95.18045807704284]
対話・シネマティック・ビデオ生成のためのエンドツーエンドのエージェント・フレームワークを提案する。
ScripterAgentは粗い対話を微粒で実行可能なシネマティックスクリプトに変換するように訓練されている。
本フレームワークは,テスト対象のすべてのビデオモデルに対して,スクリプトの忠実度と時間的忠実度を大幅に向上させる。
論文 参考訳(メタデータ) (2026-01-25T08:10:28Z) - StoryAgent: Customized Storytelling Video Generation via Multi-Agent Collaboration [88.94832383850533]
CSVG(Customized Storytelling Video Generation)のためのマルチエージェントフレームワークを提案する。
StoryAgentはCSVGを特殊エージェントに割り当てられた個別のサブタスクに分解し、プロの制作プロセスを反映する。
具体的には、撮影時間内整合性を高めるために、カスタマイズされたイメージ・ツー・ビデオ(I2V)手法であるLoRA-BEを導入する。
コントリビューションには、ビデオ生成タスクのための汎用フレームワークであるStoryAgentの導入や、プロタゴニストの一貫性を維持するための新しい技術が含まれている。
論文 参考訳(メタデータ) (2024-11-07T18:00:33Z) - MovieDreamer: Hierarchical Generation for Coherent Long Visual Sequence [62.72540590546812]
MovieDreamerは、自己回帰モデルの強みと拡散ベースのレンダリングを統合する、新しい階層的なフレームワークである。
様々な映画ジャンルにまたがって実験を行い、そのアプローチが優れた視覚的・物語的品質を実現することを示す。
論文 参考訳(メタデータ) (2024-07-23T17:17:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。