論文の概要: Can Video World Models Track Unobserved World States?

• arxiv url: http://arxiv.org/abs/2608.30692v1
• Date: Mon, 31 Aug 2026 12:29:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-01 18:31:31.389231
• Title: Can Video World Models Track Unobserved World States?
• Title（参考訳）: 動画の世界モデル、世界各国を追跡できるのか?
• Abstract要約: ビデオワールドモデルはシミュレータとしてますます使われているが、視覚的忠実性だけでは、モデルは世界の隠れた状態を維持するわけではない。 このギャップをアクション条件付きビデオシェルゲーム(S_5$状態追跡のビジュアルアナログ)で調べる。 エクストラポーレートを行う2つのメカニズムを見つけ、どちらもチャンクにまたがって状態を保持し、それを修正します。
• 参考スコア（独自算出の注目度）: 40.869875403179535
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Video world models are increasingly used as simulators, yet visual fidelity alone does not show that a model maintains the hidden state of the world. We examine this gap with an action-conditioned video Shell Game, a visual analog of $S_5$ state tracking that decouples visual rendering from compositing the hidden state underneath. Bidirectional and autoregressive Transformers, Mamba, and linear attention restricted to nonnegative transition eigenvalues all fit the training horizon of 5 swaps and then fall toward chance on longer swap chains (extrapolation) while still rendering plausible video with additional denoising steps providing no benefit. The pixel-based diffusion target never supervises the unseen hidden state, so the generated frames cannot carry it and the state has to live inside the architecture rather than in the tokens. For a Transformer, that architectural state is only an append-only KV cache, so the model has to re-derive the hidden arrangement from the whole history at every chunk. We find two mechanisms that do extrapolate, and both carry a state across chunks and revise it in place. Linear attention succeeds once its transition eigenvalues may be negative, and TTT with a nonlinear fast weight succeeds by updating the feature map through which it reads its own state. We further examine harder cases in dynamic world exploration tasks, and discuss the broader implications for building stateful video world models.
• Abstract（参考訳）: ビデオワールドモデルはシミュレータとしてますます使われているが、視覚的忠実性だけでは、モデルは世界の隠れた状態を維持するわけではない。 このギャップをアクション条件付きビデオシェルゲーム(S_5$状態追跡の視覚的類似)で検証し、その下の隠れ状態の構成から視覚的レンダリングを分離する。 双方向および自己回帰変換器、Mamba、線形注意は、非負の遷移固有値に制限され、5つのスワップのトレーニングの地平線に適合し、長いスワップチェーン(外挿)でチャンスに落ちる。 ピクセルベースの拡散ターゲットは、目に見えない隠された状態を監視しないので、生成されたフレームはそれを運ぶことができず、状態はトークンではなくアーキテクチャ内で生きなければならない。 Transformerの場合、アーキテクチャ状態は追加のみのKVキャッシュである。 エクストラポーレートを行う2つのメカニズムを見つけ、どちらもチャンクにまたがって状態を保持し、それを修正します。 線形の注意は、遷移固有値が負となると成功し、非線形の高速重みを持つTTTは、自身の状態を読み取る特徴写像を更新して成功する。 さらに,動的世界探索作業における困難な事例について検討し,ステートフルなビデオワールドモデルを構築する上でのより広範な意味について考察する。

関連論文リスト

• Marionette: Predicting World States, Rendering Geometry, Painting Appearance [30.170848813370444]
  われわれはこのアイデアを,対話型ゲームと明瞭なキャラクタを持つ世界モデルであるMarionetteとしてインスタント化する。 二段階自己回帰力学モデルは、明示的で解釈可能な276次元の3次元世界状態を予測する。 制御条件付きビデオ拡散観測モデルは、結果として得られる制御からフォトリアリスティックなRGB観測を合成する。
  論文  参考訳（メタデータ） (2026-08-14T17:48:16Z)
• MASS: Multiplayer World Models with Authoritative Shared State [65.85526248184442]
  MASS (Multiplayer world model with Authoritative Shared State) はマルチプレイヤーゲームアーキテクチャにインスパイアされている。 学習されたLogic Engineは、グローバルで権威のある型付きステートをジョイントアクションから前進させる。 学習されたレンダリングエンジンは、要求されたカメラに対して、独立して一貫したビューを生成する。
  論文  参考訳（メタデータ） (2026-08-06T16:47:24Z)
• StatePlay: State-Aware Game World Models for Mechanics-Consistent Generation [53.07918503798731]
  StatePlayは、ビジュアルコンテンツとゲーム状態を予測する新しいステート対応ゲームワールドモデルであり、メカニクスと一貫性のある生成を促進する。 我々の研究は、状態認識型ゲームワールドモデリングの重要性を強調し、完全かつ機械的に忠実なゲーム生成に向けたピクセルレベルのリアリズムを超えて進歩している。
  論文  参考訳（メタデータ） (2026-07-29T10:49:30Z)
• Streaming Multi-Agent Autoregressive Diffusion Model with World State Registers [50.3000377325823]
  We present WorldWeaver, a streaming multi-agent video diffusion model that a rollout with cross-agent world state registers。 これらのレジスタには、個々のエージェントの状態、鳥眼ビューを含むグローバルステートビュー、シーンテキストの監視信号が配置されている。 2エージェントのMinecraftビデオ生成の実験では、明示的な世界状態モデリングが論理的一貫性と生成品質を向上させることが示されている。
  論文  参考訳（メタデータ） (2026-07-23T17:59:58Z)
• WildWorld: A Large-Scale Dataset for Dynamic World Modeling with Actions and Explicit State toward Generative ARPG [38.24292688170687]
  明示的な状態アノテーションを備えた大規模アクション条件付き世界モデリングデータセットであるWildWorldを提案する。 セマンティックなリッチなアクションをモデル化し、長期的状態整合性を維持する上での課題を示す。
  論文  参考訳（メタデータ） (2026-03-24T17:58:25Z)
• Olaf-World: Orienting Latent Actions for Video World Modeling [100.96069208914957]
  アクションコントロール可能な世界モデルのスケーリングは、アクションラベルの不足によって制限される。 大規模受動的ビデオから行動条件付きビデオワールドモデルを事前訓練するパイプラインであるOraf-Worldを紹介する。
  論文  参考訳（メタデータ） (2026-02-10T18:58:41Z)
• MAD: Motion Appearance Decoupling for efficient Driving World Models [94.40548866741791]
  本稿では,一般的な映像モデルを制御可能な運転世界モデルに変換する,効率的な適応フレームワークを提案する。 鍵となるアイデアは、外見合成からモーションラーニングを分離することである。 私たちのMAD-LTXモデルであるLTXへのスケーリングは、すべてのオープンソース競合より優れています。
  論文  参考訳（メタデータ） (2026-01-14T12:52:23Z)
• ViPro-2: Unsupervised State Estimation via Integrated Dynamics for Guiding Video Prediction [5.931665251123055]
  ViProは、最初から完全な真理状態を提供することなく、観測結果から状態を推測できることを示す。 実際のシナリオとのギャップを埋めるために、オリジナルのOrbitsデータセットを3D変種で拡張します。
  論文  参考訳（メタデータ） (2025-08-08T14:10:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。