論文の概要: Matrix-Game 3.5: Enhancing Real-Time Streaming Interactive World Models with Patch Memory

• arxiv url: http://arxiv.org/abs/2608.29910v1
• Date: Sun, 30 Aug 2026 17:11:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-01 18:31:31.112622
• Title: Matrix-Game 3.5: Enhancing Real-Time Streaming Interactive World Models with Patch Memory
• Title（参考訳）: Matrix-Game 3.5: リアルタイムストリーミングインタラクティブワールドモデルをパッチメモリで強化
• Abstract要約: 本稿では,3つの重要な改良点を通じて,リアルタイム対話型ワールドジェネレーションを推し進めるMatrix-Game 3.5を紹介する。 まず、パッチメモリとタイル付きPRoPEコンポーネントが追加で学習可能なパラメータを導入しない統合幾何対応メモリフレームワークを提案する。 第2に、静的なシーン幾何学と動的主題を別々にモデル化した静的な非交叉世界表現を導入する。 第3に、双方向拡散モデルから数ステップの因果生成器に変換する2段階進行リアルタイム蒸留フレームワークを開発する。
• 参考スコア（独自算出の注目度）: 28.887112448832525
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Interactive world models extend video generation from offline clip synthesis toward persistent simulation of interactive virtual worlds, enabling applications in games, robotics, embodied agents, and XR. Achieving stable long-horizon interactive generation, however, remains challenging, as the model must simultaneously preserve scene geometry, dynamic consistency, and camera control while supporting real-time autoregressive generation. Building upon Matrix-Game 3.0, we present Matrix-Game 3.5, as shown in Figure 1, which advances real-time interactive world generation toward geometry-aware and long-horizon consistent simulation through three key improvements. First, we propose a unified geometry-aware memory framework, whose patch-memory and tiled-PRoPE components introduce no additional learnable parameters, combining explicit 3D patch retrieval with projective camera conditioning to enable geometry-consistent camera control and faithful long-horizon scene recall. Second, we introduce a static-dynamic disentangled world representation that separately models static scene geometry and dynamic subjects, preserving both geometric consistency and subject identity throughout long-horizon generation. Third, we develop a two-stage progressive real-time distillation framework that converts a bidirectional diffusion model into a few-step causal generator through Perceptual Flow Matching and curriculum based Self-Rollout DMD, enabling minute-long real-time interactive generation. Extensive experiments demonstrate that, with a unified training corpus spanning Unreal simulation environments, open-world games, and internet videos, MatrixGame 3.5 achieves strong performance in long-horizon scene recall, precise camera control, subject consistency, prompt-driven world generation, and stable real-time open-world interaction.
• Abstract（参考訳）: インタラクティブワールドモデルは、オフラインクリップ合成からインタラクティブ仮想世界の永続的なシミュレーションへとビデオ生成を拡張し、ゲーム、ロボティクス、エンボディエージェント、XRの応用を可能にする。 しかし、リアルタイム自己回帰生成をサポートしながら、シーン形状、ダイナミック一貫性、カメラ制御を同時に保持する必要があるため、安定した長距離対話型生成を実現することは依然として困難である。 Matrix-Game 3.0 上に構築した Matrix-Game 3.5 は,図1 に示すように,3 つの重要な改良点を通じて,幾何学的および長期的一貫したシミュレーションに向けて,リアルタイムな対話型世界生成を推し進めるものである。 まず,図形に一貫性のあるカメラ制御と忠実なロングホライゾンシーンリコールを実現するために,明示的な3Dパッチ検索と投影型カメラコンディショニングを組み合わせた,パッチメモリとタイル付きPRoPEコンポーネントに追加の学習可能なパラメータを導入しない統一型形状認識メモリフレームワークを提案する。 第2に、静的なシーン幾何学と動的主題を別々にモデル化し、長期にわたって幾何学的整合性と主観的同一性の両方を保った静的な動的不整合世界表現を導入する。 第3に、双方向拡散モデルを知覚フローマッチングとカリキュラムベースのセルフロールアウトMDDを用いて、数ステップの因果生成器に変換する2段階のプログレッシブリアルタイム蒸留フレームワークを開発した。 大規模な実験により、Unrealシミュレーション環境、オープンワールドゲーム、インターネットビデオにまたがる統一的なトレーニングコーパスにより、MatrixGame 3.5は、ロングホライゾンシーンリコール、正確なカメラ制御、主題の一貫性、プロンプト駆動の世界生成、安定したリアルタイムオープンワールドインタラクションにおいて、強力なパフォーマンスを達成している。

関連論文リスト

• MetaWorld: Scaling Multi-Agent Video World Model from Single-view Video Data [125.43597497646444]
  MetaWorldは、マルチエージェントビデオワールドモデルをシングルビュービデオから直接オープンドメイン環境にスケールする新しいフレームワークである。 クロスビューの一貫性とアイデンティティの整合性を向上し、マルチエージェントビデオワールドモデリングのための高度にスケーラブルで物理駆動のパラダイムを確立する。
  論文  参考訳（メタデータ） (2026-06-01T18:20:20Z)
• Matrix-Game 3.0: Real-Time and Streaming Interactive World Model with Long-Horizon Memory [53.39687409541093]
  Matrix-Game 3.0は、720pのリアルタイムビデオ生成用に設計されたメモリ拡張型インタラクティブワールドモデルである。 データ、モデル、推論にまたがる体系的な改善を導入する。 実験結果から, Matrix-Game 3.0は最大40FPSのリアルタイム生成を実現し, 5Bモデルで720pの解像度を実現した。
  論文  参考訳（メタデータ） (2026-04-10T06:00:09Z)
• WorldCam: Interactive Autoregressive 3D Gaming Worlds with Camera Pose as a Unifying Geometric Representation [47.97929550105451]
  我々は、地上での即時動作制御と長期3次元一貫性を統一した幾何学的表現として、カメラのポーズを確立する。 本手法は, アクション制御性, 長時間の視覚的品質, 3次元空間の整合性において, 最先端の対話型ゲームワールドモデルよりも大幅に優れる。
  論文  参考訳（メタデータ） (2026-03-17T17:59:56Z)
• Beyond Pixel Histories: World Models with Persistent 3D State [50.4601060508243]
  PERSISTは、潜伏した3Dシーンの進化をシミュレートする世界モデルの新たなパラダイムである。 既存の手法に比べて空間記憶,3次元整合性,長期安定性が大幅に向上した。
  論文  参考訳（メタデータ） (2026-03-03T19:58:31Z)
• RAYNOVA: Scale-Temporal Autoregressive World Modeling in Ray Space [51.441415833480505]
  RAYNOVAは、二重因果自己回帰フレームワークを使用するシナリオを駆動するための多視点世界モデルである。 相対的なシャーカー線位置符号化に基づいて、ビュー、フレーム、スケールにまたがる等方的時間的表現を構築する。
  論文  参考訳（メタデータ） (2026-02-24T08:41:40Z)
• TeleWorld: Towards Dynamic Multimodal Synthesis with a 4D World Model [53.555353366322464]
  我々は,映像生成,動的シーン再構成,長期記憶をクローズドループシステム内で統合するリアルタイム多モード4DワールドモデリングフレームワークTeleWorldを提案する。 提案手法は,動的オブジェクトモデリングと静的シーン表現のシームレスな統合を実現し,現実的でインタラクティブで計算可能な合成システムに向けて世界モデルを推し進める。
  論文  参考訳（メタデータ） (2025-12-31T18:31:46Z)
• RELIC: Interactive Video World Model with Long-Horizon Memory [74.81433479334821]
  真のインタラクティブな世界モデルは、リアルタイムの長距離ストリーミング、一貫した空間記憶、正確なユーザ制御を必要とする。 この3つの課題を完全に解決する統合フレームワークであるRELICを紹介します。 単一の画像とテキスト記述が与えられた後、RELICは任意のシーンをリアルタイムにメモリを意識した長期探索を可能にする。
  論文  参考訳（メタデータ） (2025-12-03T18:29:20Z)
• Matrix-Game 2.0: An Open-Source, Real-Time, and Streaming Interactive World Model [15.16063778402193]
  Matrix-Game 2.0はインタラクティブな世界モデルで、数ステップの自己回帰拡散を通じて長時間の動画をオンザフライで生成する。 超高速25FPSで、さまざまなシーンで高品質のミニレベルビデオを生成することができる。
  論文  参考訳（メタデータ） (2025-08-18T15:28:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。