論文の概要: StateCraft: Augmenting Video World Models with Abstract-State Reasoning

• arxiv url: http://arxiv.org/abs/2610.19795v1
• Date: Wed, 14 Oct 2026 08:39:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:16.039724
• Title: StateCraft: Augmenting Video World Models with Abstract-State Reasoning
• Title（参考訳）: StateCraft: 抽象状態推論によるビデオワールドモデルの拡張
• Abstract要約: ビデオワールドモデルは、一度に世界全体の部分的な観察しか生成できない。 視覚状態から永続的で高可逆な抽象状態を分離するパラダイムを導入する。 StateCraftは、動的世界を発展させるために、言語モデルとビデオ拡散モデルを組み合わせる新しいアーキテクチャである。
• 参考スコア（独自算出の注目度）: 83.32752897069362
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Video world models aim to simulate complex environments with realistic appearance and dynamics. Maintaining consistency over long interactions requires tracking past actions and understanding how those actions affect the environment. Video world models can only generate partial observations of the entire world at a time. Remembering past observations alone may not be sufficient in every scenario, as they may no longer reflect the world after a sequence of actions. We introduce a paradigm that decouples a persistent, updatable abstract state from the visual state. The abstract state keeps track of the entities' changes as the world evolves, and is used to condition the visual state, which represents the current view. We propose StateCraft, a novel architecture that pairs a language model with a video diffusion model to evolve the dynamic world. We evaluate our approach on generative interfaces, which pose a substantial challenge because a single action may change parts of the state that are not currently visible. To support training and evaluation, we develop a data collection pipeline that produces informative, densely annotated trajectories at scale without human or agent supervision, together with a benchmark measuring generation quality, memory, and controllability. On this benchmark, our approach improves surpasses the state-of-the-art baselines. We demonstrate that StateCraft maintains high self-consistency and strong generation quality over long trajectories. Because the abstract state is explicit, it can be edited directly, and generation follows edits to states never observed in the data. Finally, a proof-of-concept 3D experiment, in which actions change the illumination of an unobserved room, shows that the paradigm can also be applied to spatial environments. Project page: https://insait-institute.github.io/StateCraft/.
• Abstract（参考訳）: ビデオワールドモデルは、現実的な外観とダイナミックスを持つ複雑な環境をシミュレートすることを目的としている。 長時間のインタラクションに対する一貫性を維持するには、過去のアクションを追跡し、それらのアクションが環境に与える影響を理解する必要がある。 ビデオワールドモデルは、一度に世界全体の部分的な観察しか生成できない。 過去の観測だけを覚えていることは、あらゆるシナリオで十分ではないかもしれない。 視覚状態から永続的で高可逆な抽象状態を分離するパラダイムを導入する。 抽象状態は、世界が進化するにつれて実体の変化を追跡し、現在のビューを表す視覚状態の条件付けに使用される。 動的世界の発展のために,言語モデルとビデオ拡散モデルを組み合わせた新しいアーキテクチャであるStateCraftを提案する。 生成インターフェースに対する我々のアプローチを評価することは、単一のアクションが現在見えていない状態の一部を変える可能性があるため、大きな課題となる。 トレーニングと評価を支援するため,人間やエージェントの監督なしに,情報的かつ高密度に注釈付きトラジェクトリを大規模に生成するデータ収集パイプラインと,生成品質,メモリ,制御性を測定するベンチマークを開発した。 このベンチマークでは、我々のアプローチは最先端のベースラインを超えています。 我々は、StateCraftが長い軌道上で高い自己整合性と強力な世代品質を維持していることを実証した。 抽象状態は明示的であるため、直接編集することができ、生成はデータで観測されていない状態への編集に従う。 最後に、観測されていない部屋の照明を動作が変化させる概念実証3D実験により、このパラダイムが空間環境にも適用可能であることを示す。 プロジェクトページ: https://insait-institute.github.io/StateCraft/.com

関連論文リスト

• Code Plans, Diffusion Renders: Open-Ended Generative World Modeling [82.36042129562516]
  我々は世界モデリングの新しいパラダイムである textbfCoDeR を紹介する。 本システムは,コードによる実行可能世界を明示的に構築し,映像生成モデルを用いて視覚的実現を行う。
  論文  参考訳（メタデータ） (2026-09-22T14:12:15Z)
• Programmable World Model [37.43654073749753]
  本稿では、視覚的観察生成から世界状態の進化を分離するフレームワークであるProgrammable World Modelを紹介する。 エージェントは自然言語の命令をエンティティの状態と状態遷移規則を指定する実行可能なプログラムに変換する。 軽量エンジンはこれらのプログラムを実行し、明示的で永続的な世界状態を更新し維持する。
  論文  参考訳（メタデータ） (2026-09-09T17:59:32Z)
• Can Video World Models Track Unobserved World States? [40.869875403179535]
  ビデオワールドモデルはシミュレータとしてますます使われているが、視覚的忠実性だけでは、モデルは世界の隠れた状態を維持するわけではない。 このギャップをアクション条件付きビデオシェルゲーム(S_5$状態追跡のビジュアルアナログ)で調べる。 エクストラポーレートを行う2つのメカニズムを見つけ、どちらもチャンクにまたがって状態を保持し、それを修正します。
  論文  参考訳（メタデータ） (2026-08-31T12:29:24Z)
• Code World Model: Coding Agent as World Brain [51.31807545747191]
  私たちは、世界進化と視覚的実現を分離するフレームワークであるCode World Modelを紹介します。 コーディングエージェントは世界脳として機能し、出来事とその結果について推論する。 実行可能状態と視覚的生成を結びつけるために,フレームの時間的制約をプロキシビデオにエンコードするプロキシ表現を導入する。
  論文  参考訳（メタデータ） (2026-08-26T15:37:33Z)
• PlayWorld: Benchmarking World Models with Agent Players over Long-Horizon Objectives [86.3073067035531]
  ビデオワールドモデルは、現在の観察とユーザーアクションに基づいて、将来の状態をシミュレートする。 近年のシステムでは、長いシーケンス上での映像の一貫性とアクション制御性が顕著に示されている。 しかし、これらのインタラクティブモデルを比較することは依然として困難だ。 我々はマルチモーダル・エージェント・プレイヤーを用いて、特定の長距離目標に向けて世界モデルと対話する。
  論文  参考訳（メタデータ） (2026-08-13T17:59:30Z)
• MASS: Multiplayer World Models with Authoritative Shared State [65.85526248184442]
  MASS (Multiplayer world model with Authoritative Shared State) はマルチプレイヤーゲームアーキテクチャにインスパイアされている。 学習されたLogic Engineは、グローバルで権威のある型付きステートをジョイントアクションから前進させる。 学習されたレンダリングエンジンは、要求されたカメラに対して、独立して一貫したビューを生成する。
  論文  参考訳（メタデータ） (2026-08-06T16:47:24Z)
• WildWorld: A Large-Scale Dataset for Dynamic World Modeling with Actions and Explicit State toward Generative ARPG [38.24292688170687]
  明示的な状態アノテーションを備えた大規模アクション条件付き世界モデリングデータセットであるWildWorldを提案する。 セマンティックなリッチなアクションをモデル化し、長期的状態整合性を維持する上での課題を示す。
  論文  参考訳（メタデータ） (2026-03-24T17:58:25Z)
• LiveWorld: Simulating Out-of-Sight Dynamics in Generative Video World Models [32.92934803081681]
  近年の世代別ビデオワールドモデルは、視覚環境の進化をシミュレートすることを目的としており、観察者はカメラ制御によってシーンをインタラクティブに探索することができる。 彼らは、世界は観察者の視野内でしか進化しないと暗黙的に仮定している。 オブジェクトがオブザーバの視点を離れると、その状態はメモリ内で"凍結"され、その後同じ領域を再考しても、その間に発生すべき出来事を反映できないことがしばしばある。 永続的な世界進化をサポートするために,ビデオワールドモデルを拡張する新しいフレームワークであるLiveWorldを提案する。
  論文  参考訳（メタデータ） (2026-03-07T10:31:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。