論文の概要: WorldDraft: If Code Builds the World, Can Video Models Just Render It?
- arxiv url: http://arxiv.org/abs/2611.16217v1
- Date: Thu, 12 Nov 2026 03:09:18 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:33.344219
- Title: WorldDraft: If Code Builds the World, Can Video Models Just Render It?
- Title(参考訳): WorldDraft:もしコードが世界を構築すれば、ビデオモデルはそれをレンダリングできるのか?
- Abstract要約: マルチモーダル符号化エージェントは、4Dワールド構築を視覚生成から切り離し、世界ジェネレータから生成足場へビデオモデルを再調達する。
コードが世界を構築すれば、ビデオモデルはそれをレンダリングできるのだろうか?
信頼性のある生成ヒンジは, (i) 世界保存, 4Dキネマティクス, カメラパスの保持, (ii) 視覚的実現, (ii) テキスト特定対象属性を時間とともに永続的に結合するペア化という2つの相補的基準に基づく。
- 参考スコア(独自算出の注目度): 42.687550827901305
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Multimodal coding agents decouple 4D world construction from visual generation, repurposing video models from world generators toward generative renderers. This division of labor raises a fundamental question: if code builds the world, can video models just render it? A reliable generative renderer hinges on two complementary criteria: (i) world preservation, retaining prescribed 4D kinematics and camera paths; and (ii) visual realization, persistently binding text-specified target attributes over time. To evaluate this capability, we introduce WorldDraft, a benchmark of $432$ strictly paired test cases across $48$ executable 4D world families spanning six dynamic challenge categories. Under a $3 \times 3$ factorial design, WorldDraft orthogonally crosses draft granularity (abstract proxy to previs) and appearance alignment (neutral to conflicting) under identical dynamics. Extensive evaluations across $12$ representative models reveal that: (I) world preservation and visual realization remain in stark operational tension; (II) richer draft scaffolding anchors structure but paradoxically impairs appearance fidelity; and (III) conflicting source cues trigger severe source leakage (up to $64\%$), exposing fragile cross-modal disentanglement. To mitigate these bottlenecks, we propose WorldDraft-Primer, a plug-and-play visual prompting strategy that consistently improves both objectives across frozen video renderers. Together, WorldDraft and WorldDraft-Primer lay a foundation for bridging programmatic 4D simulation with video generation, advancing physically grounded generative rendering.
- Abstract(参考訳): マルチモーダル符号化エージェントは、4Dワールド構築を視覚生成から切り離し、ワールドジェネレータから生成レンダラーへビデオモデルを再調達する。
コードが世界を構築すれば、ビデオモデルはそれをレンダリングできるのだろうか?
信頼できる生成レンダラーは2つの相補的な基準に基づいている。
一 所定の4Dキネマティクス及びカメラパスを維持した世界保存
(ii) 視覚的実現、時間とともにテキスト指定されたターゲット属性を永続的にバインディングする。
この能力を評価するために,6つの動的チャレンジカテゴリにまたがる48ドルの実行可能な4Dワールドファミリーに対して,厳密なペアテストケース432ドルのベンチマークであるWorldDraftを紹介した。
3ドル3セントの因子設計の下で、WorldDraftは、同じダイナミクスの下で、ドラフトの粒度(事前調整のための抽象的なプロキシ)と外見のアライメント(矛盾に対して中立)を直交する。
12ドルの代表モデルに対する大規模な評価では、 (I) 世界保存と視覚的実現は依然として厳しい運用上の緊張状態にあり、 (II) よりリッチなドラフトスキャフォールディングアンカーは構造を損なうが、 (III) 競合するソースキューは深刻なソースリークを引き起こす(最大6,4\%)。
これらのボトルネックを軽減するために、凍結ビデオレンダラー間の両方の目的を一貫して改善するプラグイン・アンド・プレイの視覚的プロンプト戦略であるWorldDraft-Primerを提案する。
WorldDraftとWorldDraft-Primerは共に、ビデオ生成によるプログラムによる4Dシミュレーションをブリッジする基盤を築き、物理的に接地された生成レンダリングを進めた。
関連論文リスト
- AEON: Unifying Video and 3D World Models [65.99530607396298]
AEONは、ビデオベースと3Dベースの世界モデルをブリッジする統合フレームワークである。
AEONの主な洞察は、テキストまたは画像条件付きビデオ潜在空間内で動く生成モデルにある。
モノクロビデオから4DGSとカメラのポーズを予測し、4Dデコーダとして機能する4D再構成モデルをトレーニングする。
論文 参考訳(メタデータ) (2026-10-20T17:59:51Z) - Demiurge: Forging Navigable 4D Worlds via Autoregressive Video Rerendering [35.18816704275933]
Demiurgeは動的4Dポイントクラウドメモリキャッシュ上に構築された自動回帰ビデオリレンダリングパイプラインである。
4つのコンポーネントを通じて、トラジェクトリ間の一貫性を促進する。
論文 参考訳(メタデータ) (2026-10-10T07:57:50Z) - GEM-4D: Geometry-Enhanced Video World Models for Robot Manipulation [72.52773248997929]
ビデオワールドモデルは、1つの命令から現実的な未来を生成できるが、時間とともに一貫したポイントレベルの動きを維持できないことが多い。
GEM-4Dは、トレーニング中にビデオ生成バックボーンに高密度な4D対応制御を注入する幾何学的地上ビデオワールドモデルである。
Inverse dynamicsモジュールは、対応性のあるビデオロールアウトを実行可能なロボットトラジェクトリに変換し、現実世界とシミュレーション操作の両方で直接デプロイできる。
論文 参考訳(メタデータ) (2026-05-20T21:36:44Z) - World Reconstruction From Inconsistent Views [54.12773637505746]
ビデオ拡散モデルは多様な世界を生成するが、個々のフレームは出力シーケンス全体の3D一貫性を欠いていることが多い。
ビデオフレームをグローバルに一貫性のある座標フレームに厳密に整列させることにより、これらの不整合を処理する新しい手法を提案する。
我々は,我々の3Dシーンがベースラインよりも高品質であることを示し,映像モデルを効果的に3D一貫性のあるワールドジェネレータにする。
論文 参考訳(メタデータ) (2026-03-17T16:18:08Z) - Code2Worlds: Empowering Coding LLMs for 4D World Generation [14.349376975089607]
我々は、4D生成を言語間コード生成として定式化するフレームワークであるCode2Worldsを紹介した。
本稿では,階層的な環境オーケストレーションから拡張オブジェクトを生成する2重ストリームアーキテクチャを提案する。
我々は,ポストプロシースエージェントが動的にスクリプトする物理対応閉ループ機構と,反復的に洗練されたシミュレーションコードに対して自己回帰を行うVLM-Motion Criticとを結合して構築する。
論文 参考訳(メタデータ) (2026-02-12T09:34:28Z) - SWiT-4D: Sliding-Window Transformer for Lossless and Parameter-Free Temporal 4D Generation [30.72482055095692]
SWiT-4Dは、損失のないパラメータフリーの時間的4Dメッシュ生成のためのスライディング・ウィンドウ変換器である。
SWiT-4D は任意の Diffusion Transformer (DiT) ベースの Image-to-3D ジェネレータとシームレスに統合される。
高忠実度幾何と安定した時間的整合性を実現し、非常に限られた4D監視下での実用的展開可能性を示す。
論文 参考訳(メタデータ) (2025-12-11T17:54:31Z) - WorldReel: 4D Video Generation with Consistent Geometry and Motion Modeling [63.37476802589492]
We present WorldReel, a 4D video that are native-temporally consistent。
WorldReelは、ポイントマップ、カメラ軌道、高密度フローを含む4Dシーン表現と共にフレームを生成する。
We believe that WorldReel bring video generation to 4D-consistent world modeling。
論文 参考訳(メタデータ) (2025-12-08T18:54:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。