論文の概要: BoxWorld: Let World Engines Control and Video Generators Render

• arxiv url: http://arxiv.org/abs/2610.36371v1
• Date: Mon, 26 Oct 2026 22:36:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-28 21:04:31.445276
• Title: BoxWorld: Let World Engines Control and Video Generators Render
• Title（参考訳）: BoxWorld:World Enginesコントロールとビデオジェネレータのレンダリングが可能に
• Abstract要約: ユーザ定義の振る舞いでリアルタイムのインタラクティブなビデオ世界を構築するという課題に対処する。 BoxWorldは、インタラクション推論と生成レンダリングを分離する。 BoxWorldは、エンド・ツー・エンドの世界モデルを大幅に上回っている。
• 参考スコア（独自算出の注目度）: 16.00815745807407
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We tackle the challenge of building real-time interactive video worlds with user-defined behaviors. Such worlds must track object states, apply interaction rules, and render the resulting consequences as users act. Yet existing end-to-end video world models typically learn interaction dynamics within the generator, making it difficult to specify object-level rules and reason about their consequences. In this work, we introduce BoxWorld, which separates interaction reasoning from generative rendering. Given user-specified rules, a coding agent creates a Box World Engine that determines interaction outcomes and exposes the resulting object states through a lightweight interface of layout boxes, persistent object attributes, and dynamic status variables, leaving appearance and physical effects to generative rendering. A Box-State Generative Renderer then renders this evolving state stream into video autoregressively, enabling online control over object motion, state switches, and conditional events. Rendering this state stream is non-trivial: the renderer must respond to object-level state updates in real time while remaining coherent with the generated history. To this end, we introduce a three-stage training strategy that learns object grounding from open-domain videos and state transitions from gameplay videos, both annotated automatically, and finally performs rollout distillation on self-generated histories. We further propose PairedStateBench, a paired benchmark for fine-grained interaction control. BoxWorld substantially outperforms end-to-end world models and remains competitive across multiple public benchmarks. Project page: https://boxworld-web.github.io.
• Abstract（参考訳）: ユーザ定義の振る舞いでリアルタイムのインタラクティブなビデオ世界を構築するという課題に対処する。 このような世界は、オブジェクトの状態を追跡し、インタラクションルールを適用し、ユーザが行動する際に結果を表示する必要があります。 しかし、既存のエンドツーエンドビデオワールドモデルは一般的にジェネレータ内でのインタラクションのダイナミクスを学習し、オブジェクトレベルのルールを特定したり、結果の推論を困難にします。 そこで本研究では,生成的レンダリングからインタラクション推論を分離したBoxWorldを紹介する。 ユーザが指定したルールに従って、コーディングエージェントはBox World Engineを作成し、インタラクションの結果を決定し、レイアウトボックス、永続オブジェクト属性、動的ステータス変数の軽量インターフェースを通じて結果のオブジェクト状態を公開する。 Box-State Generative Rendererは、この進化するステートストリームを自動回帰的にビデオにレンダリングし、オブジェクトの動き、状態スイッチ、条件付きイベントのオンライン制御を可能にする。 レンダラーは、生成された履歴と一貫性を維持しながら、オブジェクトレベルの状態更新にリアルタイムで応答しなければなりません。 この目的のために,オープンドメインビデオからオブジェクトグラウンドングを学習し,ゲームプレイビデオから状態遷移を学習する3段階のトレーニング戦略を導入し,最終的に自己生成履歴のロールアウト蒸留を行う。 さらに,微細な相互作用制御のためのペアベンチマークであるPairedStateBenchを提案する。 BoxWorldは、エンド・ツー・エンドの世界モデルを大幅に上回り、複数の公開ベンチマークで競争力を維持している。 プロジェクトページ: https://boxworld-web.github.io

関連論文リスト

• State World Models: Execute the Rules, Generate the Pixels [87.46047440037937]
  Stateful Harnessは、ステートフルとルールが支配するインタラクションをサポートするために、世界進化をビデオレンダリングから分離するフレームワークである。 特定のルールの下で進化する世界状態を維持し、結果のイベントを凍結したビデオモデルでレンダリングし、生成されたクリップを使用して次のターンに世界状態を更新する。
  論文  参考訳（メタデータ） (2026-10-19T17:50:32Z)
• RIGen: Beyond Action Following with Reciprocal Interaction in Generative Gameplay [57.52613244510983]
  rigは、ジェネレーティブゲームプレイにおける相互相互作用のフレームワークである。 rigは永続的な状態とルール、コンテキスト間相互作用推論、アクション条件のオーディオビジュアル生成を組み合わせたものだ。 リガレナ(rigarena)は、FPS(インタラクティブ・ジェネレーティブ・ファーストパーソン・シューティング)のプロトタイプである。
  論文  参考訳（メタデータ） (2026-10-14T18:57:47Z)
• StateCraft: Augmenting Video World Models with Abstract-State Reasoning [83.32752897069362]
  ビデオワールドモデルは、一度に世界全体の部分的な観察しか生成できない。 視覚状態から永続的で高可逆な抽象状態を分離するパラダイムを導入する。 StateCraftは、動的世界を発展させるために、言語モデルとビデオ拡散モデルを組み合わせる新しいアーキテクチャである。
  論文  参考訳（メタデータ） (2026-10-14T08:39:41Z)
• Oneira: From Open-Ended Generation to Open-World Interaction in Video World Models [47.28440373515767]
  オナイラ(英: Oneira)は、明示的な世界状態を通じて生成と相互作用の間のループを閉じるインタラクティブなビデオワールドモデルである。 オナイラは、長い地平線上での先行相互作用の効果を保ちながら、新たに生成されたオブジェクトとの直接的かつ一貫した相互作用を可能にする。
  論文  参考訳（メタデータ） (2026-10-01T12:52:47Z)
• Programmable World Model [37.43654073749753]
  本稿では、視覚的観察生成から世界状態の進化を分離するフレームワークであるProgrammable World Modelを紹介する。 エージェントは自然言語の命令をエンティティの状態と状態遷移規則を指定する実行可能なプログラムに変換する。 軽量エンジンはこれらのプログラムを実行し、明示的で永続的な世界状態を更新し維持する。
  論文  参考訳（メタデータ） (2026-09-09T17:59:32Z)
• StateFlow: Building, Evolving, and Accessing 3D World States for Previsualization [86.21950969100901]
  我々は、生成前ビジョン化のためのステート中心のフレームワークであるStateFlowを紹介する。 ワンショットでビデオを生成する代わりに、StateFlowは編集可能な3Dワールドを使用してシーン構造、進化、カメラを整理する。 実験によると、StateFlowはビデオ制作やゲームライクなプロトタイピングのために高品質な3Dワールドを生産している。
  論文  参考訳（メタデータ） (2026-08-12T17:58:07Z)
• ActWorld: From Explorable to Interactive World Model via Action-Aware Memory [36.88820961480639]
  本稿では,対話型世界モデルであるActWorldについて紹介する。 実験の結果、ActWorldは単一のモデル内でフレキシブルなナビゲーションとリッチなオブジェクトインタラクションの両方をサポートしています。
  論文  参考訳（メタデータ） (2026-06-16T09:47:32Z)
• InterDyn: Controllable Interactive Dynamics with Video Diffusion Models [50.38647583839384]
  我々は、初期フレームと駆動対象またはアクターの動作を符号化する制御信号が与えられたインタラクティブな動画像を生成するフレームワークであるInterDynを提案する。 我々の重要な洞察は、大規模なビデオ生成モデルは、大規模ビデオデータからインタラクティブなダイナミクスを学習し、ニューラルと暗黙の物理シミュレーターの両方として機能できるということです。
  論文  参考訳（メタデータ） (2024-12-16T13:57:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。