論文の概要: World Narrative Model for Highly Controllable Video Generation: A Paradigm Shift from Pixel Sampling to Physical World Orchestration

• arxiv url: http://arxiv.org/abs/2606.31946v1
• Date: Tue, 30 Jun 2026 16:52:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-01 18:27:19.31811
• Title: World Narrative Model for Highly Controllable Video Generation: A Paradigm Shift from Pixel Sampling to Physical World Orchestration
• Title（参考訳）: 高可制御ビデオ生成のための世界ナラティブモデル:画素サンプリングから物理世界オーケストレーションへのパラダイムシフト
• Abstract要約: 私たちはWNM(World Narrative Model)というパラダイムを紹介します。 WNMは、エンドツーエンドのブラックボックスサンプリングを、メディア生成のための4D$プリヴィジュアル化に置き換える。 我々の人間-AIプラットフォームは、プロの映画制作パイプラインに合わせた世界の自動生成と前視化をサポートしています。
• 参考スコア（独自算出の注目度）: 49.72473930573157
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The fundamental obstacle to industrial grade video generation is the lack of controllability: existing models treat video as a pixel distribution sampling problem, bypassing the explicit, instance level $4D$ $(3D + T)$ physical world. Consequently, content creators cannot specify geometry, motion, camera parameters, or lighting in a deterministic, quantitative way, leading to the infamous ''gacha'' loop that makes professional content creation prohibitively inefficient and expensive. To address this, we introduce the World Narrative Model (WNM), a paradigm that decouples what to render -- the structured physical narrative -- from how to render -- the pixel generation process. WNM replaces end-to-end black-box sampling with orchestrated $4D$ pre-visualization for media generation. Collaborative agents translate sparse multimodal inputs, including text, reference videos, and sketches, into a fully editable world representation with scene geometry, object layouts, character/animal skeleton motion, trajectories, camera motion, and lighting at quantitative, physically meaningful granularity. This representation acts as a deterministic structural blueprint that drives existing video foundation models, either frozen or lightly adapted, to render final footage, turning the base model into a faithful neural shader. Built on this engine, our human-AI platform supports automatic world generation and pre-visualization aligned with professional filmmaking pipelines, while director consoles enable seamless human refinement. Experiments show that WNM greatly reduces probabilistic ``gacha'' calls and produces videos whose layout, motion, and cinematography closely follow creator intent. The framework is open and modular, allowing each component, such as world representation, control agents, and adapters, to be independently improved. Project website: https://glassroom.sjtu.edu.cn/WNM/.
• Abstract（参考訳）: 既存のモデルは、ビデオをピクセル分布サンプリング問題として扱い、明示的なインスタンスレベル4D$$(3D + T)$物理世界を通過する。 したがって、コンテンツ制作者は、幾何学、運動、カメラパラメータ、照明を決定論的かつ定量的に指定することができず、プロのコンテンツ制作が非効率で費用がかかる悪名高い「ガチャ」ループに繋がる。 これを解決するために、私たちはWNM(World Narrative Model)というパラダイムを紹介します。 WNMは、エンドツーエンドのブラックボックスサンプリングを、メディア生成のための4D$プリヴィジュアル化に置き換える。 コラボレーティブエージェントは、テキスト、参照ビデオ、スケッチを含むスパースなマルチモーダル入力を、シーン幾何学、オブジェクトレイアウト、文字/動物骨格運動、軌跡、カメラモーション、量的、物理的に意味のある粒度の照明で完全に編集可能な世界表現に変換する。 この表現は、決定論的構造的青写真として機能し、既存のビデオファンデーションモデルを凍結または軽量に適応させ、最終的な映像をレンダリングし、ベースモデルを忠実なニューラルシェーダーに変える。 このエンジンをベースに構築された私たちの人間-AIプラットフォームは、プロの映画制作パイプラインに合わせた自動世界生成と視覚化をサポートします。 実験の結果、WNMは確率的な『ガチャ』コールを大幅に減らし、レイアウト、モーション、撮影が作者の意図に忠実に従うビデオを生成することがわかった。 フレームワークはオープンでモジュール化されており、世界表現、コントロールエージェント、アダプタといった各コンポーネントを独立して改善することができる。 プロジェクトサイト: https://glassroom.sjtu.edu.cn/WNM/。

関連論文リスト

• MetaWorld: Scaling Multi-Agent Video World Model from Single-view Video Data [125.43597497646444]
  MetaWorldは、マルチエージェントビデオワールドモデルをシングルビュービデオから直接オープンドメイン環境にスケールする新しいフレームワークである。 クロスビューの一貫性とアイデンティティの整合性を向上し、マルチエージェントビデオワールドモデリングのための高度にスケーラブルで物理駆動のパラダイムを確立する。
  論文  参考訳（メタデータ） (2026-06-01T18:20:20Z)
• RealMaster: Lifting Rendered Scenes into Photorealistic Video [55.04231137698114]
  最先端のビデオ生成モデルは驚くべきフォトリアリズムを生み出すが、生成したコンテンツをシーン要求に合わせるために必要な正確な制御は欠如している。 本稿では,3Dエンジンの出力と完全な整合性を維持しつつ,映像拡散モデルを用いてレンダリング映像をフォトリアリスティックビデオに引き上げる手法であるRealMasterを提案する。 RealMasterは既存のビデオ編集のベースラインを大幅に上回り、ジオメトリ、ダイナミックス、アイデンティティを元の3Dコントロールで指定しながら、フォトリアリズムを改善している。
  論文  参考訳（メタデータ） (2026-03-24T17:32:42Z)
• MAD: Motion Appearance Decoupling for efficient Driving World Models [94.40548866741791]
  本稿では,一般的な映像モデルを制御可能な運転世界モデルに変換する,効率的な適応フレームワークを提案する。 鍵となるアイデアは、外見合成からモーションラーニングを分離することである。 私たちのMAD-LTXモデルであるLTXへのスケーリングは、すべてのオープンソース競合より優れています。
  論文  参考訳（メタデータ） (2026-01-14T12:52:23Z)
• Simulating the Visual World with Artificial Intelligence: A Roadmap [48.64639618440864]
  ビデオ生成は、視覚的に魅力的なクリップを生成するものから、インタラクションをサポートし、物理的な可視性を維持する仮想環境を構築するものへとシフトしている。 この調査は、この進化の体系的な概要を提供し、現代のビデオ基盤モデルを2つのコアコンポーネントの組み合わせとして概念化した。 4世代にわたる映像生成の進展を追究し,本質的な物理的妥当性を具現化した映像生成モデルを構築した。
  論文  参考訳（メタデータ） (2025-11-11T18:59:50Z)
• Yume: An Interactive World Generation Model [38.818537395166835]
  Yumeは、画像やテキスト、ビデオを使って対話的でリアルでダイナミックな世界を作る。 入力画像から動的世界を生成し、キーボードアクションを使って世界を探索することができる。
  論文  参考訳（メタデータ） (2025-07-23T17:57:09Z)
• From Single Images to Motion Policies via Video-Generation Environment Representations [13.58353565350936]
  ビデオ生成環境表現(VGER)と呼ばれるフレームワークを提案する。 移動カメラビデオのフレームは、トレーニング済みの3D基礎モデルに入力され、密度の高い点雲を生成する。 次に、環境構造の暗黙的な表現を訓練し、その表現の幾何学に準拠する動き生成モデルを構築するために、マルチスケールノイズアプローチを導入する。
  論文  参考訳（メタデータ） (2025-05-25T20:30:25Z)
• InfiniCube: Unbounded and Controllable Dynamic 3D Driving Scene Generation with World-Guided Video Models [75.03495065452955]
  InfiniCubeはダイナミックな3次元駆動シーンを高忠実かつ制御性で生成するスケーラブルな方法である。 制御可能でリアルな3Dドライビングシーンを生成でき、モデルの有効性と優越性を広範囲にわたる実験により検証できる。
  論文  参考訳（メタデータ） (2024-12-05T07:32:20Z)
• Generative Camera Dolly: Extreme Monocular Dynamic Novel View Synthesis [43.02778060969546]
  制御可能な単分子動的ビュー合成パイプラインを提案する。 我々のモデルは入力として深度を必要としないし、明示的に3次元シーン形状をモデル化しない。 私たちのフレームワークは、リッチな動的シーン理解、ロボット工学の知覚、バーチャルリアリティのためのインタラクティブな3Dビデオ視聴体験において、強力なアプリケーションをアンロックできる可能性があると考えています。
  論文  参考訳（メタデータ） (2024-05-23T17:59:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。