論文の概要: Beyond Pixel Histories: World Models with Persistent 3D State

• arxiv url: http://arxiv.org/abs/2603.03482v1
• Date: Tue, 03 Mar 2026 19:58:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-05 21:29:15.071817
• Title: Beyond Pixel Histories: World Models with Persistent 3D State
• Title（参考訳）: Pixelの歴史を超えて - 永続的な3D状態を持つ世界モデル
• Authors: Samuel Garcin, Thomas Walker, Steven McDonagh, Tim Pearce, Hakan Bilen, Tianyu He, Kaixin Wang, Jiang Bian,
• Abstract要約: PERSISTは、潜伏した3Dシーンの進化をシミュレートする世界モデルの新たなパラダイムである。 既存の手法に比べて空間記憶,3次元整合性,長期安定性が大幅に向上した。
• 参考スコア（独自算出の注目度）: 50.4601060508243
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Interactive world models continually generate video by responding to a user's actions, enabling open-ended generation capabilities. However, existing models typically lack a 3D representation of the environment, meaning 3D consistency must be implicitly learned from data, and spatial memory is restricted to limited temporal context windows. This results in an unrealistic user experience and presents significant obstacles to down-stream tasks such as training agents. To address this, we present PERSIST, a new paradigm of world model which simulates the evolution of a latent 3D scene: environment, camera, and renderer. This allows us to synthesize new frames with persistent spatial memory and consistent geometry. Both quantitative metrics and a qualitative user study show substantial improvements in spatial memory, 3D consistency, and long-horizon stability over existing methods, enabling coherent, evolving 3D worlds. We further demonstrate novel capabilities, including synthesising diverse 3D environments from a single image, as well as enabling fine-grained, geometry-aware control over generated experiences by supporting environment editing and specification directly in 3D space. Project page: https://francelico.github.io/persist.github.io
• Abstract（参考訳）: インタラクティブワールドモデルは、ユーザのアクションに応答してビデオを生成し、オープンな生成機能を実現する。 しかし、既存のモデルは一般的に環境の3D表現を欠いているため、3D一貫性はデータから暗黙的に学習され、空間記憶は時間的コンテキストウインドウに制限される。 これは非現実的なユーザエクスペリエンスをもたらし、トレーニングエージェントのような下流タスクに重大な障害をもたらす。 そこで我々は,環境,カメラ,レンダラーの3Dシーンの進化をシミュレートした,世界モデルの新たなパラダイムであるPERSISTを提案する。 これにより、持続的な空間記憶と一貫した幾何で新しいフレームを合成できる。 定量的メトリクスと定性的ユーザスタディの両方は、空間記憶、3D一貫性、既存の方法に対する長期安定性を大幅に改善し、コヒーレントで進化する3D世界を可能にしている。 さらに、単一画像から多様な3D環境を合成する機能や、環境編集と3D空間での仕様作成を直接サポートすることで、生成した体験に対する微粒で幾何学的な制御を可能にする機能についても紹介する。 プロジェクトページ: https://francelico.github.io/persist.github.io

関連論文リスト

• Unified Semantic Transformer for 3D Scene Understanding [55.415468022487005]
  我々は、単一のモデル内に多様な3Dセマンティックタスクを統一する新しいフィードフォワードニューラルネットワークUNITEを紹介する。 我々のモデルは、完全なエンドツーエンドで見えないシーンで動作し、完全な3Dセマンティックジオメトリを推測するのにほんの数秒しかかからない。 UNITEはいくつかの異なる意味的タスクにおいて最先端のパフォーマンスを達成し、タスク固有のモデルよりも優れていることを実証する。
  論文  参考訳（メタデータ） (2025-12-16T12:49:35Z)
• Terra: Explorable Native 3D World Model with Point Latents [74.90179419859415]
  本稿では,本質的な3次元潜伏空間における探索可能な環境を表現・生成する,ネイティブな3次元世界モデルTerraを提案する。 具体的には、3次元入力を潜在点表現に符号化する新しい点対ガウス変分オートエンコーダ(P2G-VAE)を提案する。 次に、潜伏点表現を生成するためのスパース点フローマッチングネットワーク(SPFlow)を導入し、同時に潜伏点の位置と特徴を識別する。
  論文  参考訳（メタデータ） (2025-10-16T17:59:56Z)
• FantasyWorld: Geometry-Consistent World Modeling via Unified Video and 3D Prediction [13.098585993121722]
  本稿では,FantasyWorldについて紹介する。FantasyWorldは,凍結動画基盤モデルをトレーニング可能な幾何学的ブランチで拡張する幾何学的拡張フレームワークである。 提案手法は,3次元予測を正規化するためのガイド映像生成とビデオ優先の手法であるクロスブランチ・インフォメーションを導入する。 実験により、FantasyWorldは映像の想像力と3D知覚を効果的に橋渡しし、近年の多視点コヒーレンスとスタイル整合性において、幾何学的に一貫性のあるベースラインを上回っていることが示された。
  論文  参考訳（メタデータ） (2025-09-25T22:24:23Z)
• SPATIALGEN: Layout-guided 3D Indoor Scene Generation [37.30623176278608]
  本研究では,現実的でセマンティックに整合した室内シーンを生成するマルチビューマルチモーダル拡散モデルであるSpatialGenを提案する。 3次元レイアウトと参照画像が与えられたモデルでは、任意の視点から外観(カラー画像)、幾何学(シーン座標マップ)、意味(セマンティックセグメンテーションマップ)を合成する。 私たちは、コミュニティを力づけ、屋内のシーン理解と生成の分野を前進させるために、データとモデルをオープンソース化しています。
  論文  参考訳（メタデータ） (2025-09-18T14:12:32Z)
• GaussianAnything: Interactive Point Cloud Flow Matching For 3D Object Generation [75.39457097832113]
  本稿では,インタラクティブなポイントクラウド構造ラテント空間を備えたスケーラブルで高品質な3D生成を実現する,新しい3D生成フレームワークを提案する。 本フレームワークでは,複数ビューのRGB-D(epth)-N(ormal)レンダリングを入力として使用する変分オートエンコーダを,3次元形状情報を保存する独自のラテント空間設計を用いて構成する。 提案手法であるGaussianAnythingは,複数モード条件付き3D生成をサポートし,ポイントクラウド,キャプション,単一画像入力を可能にする。
  論文  参考訳（メタデータ） (2024-11-12T18:59:32Z)
• 3D-SceneDreamer: Text-Driven 3D-Consistent Scene Generation [51.64796781728106]
  本稿では,2次元拡散モデル以前の自然画像と,現在のシーンのグローバルな3次元情報を利用して,高品質で新しいコンテンツを合成する生成的精細化ネットワークを提案する。 提案手法は,視覚的品質と3次元の整合性を改善した多種多様なシーン生成と任意のカメラトラジェクトリをサポートする。
  論文  参考訳（メタデータ） (2024-03-14T14:31:22Z)
• Persistent Nature: A Generative Model of Unbounded 3D Worlds [74.51149070418002]
  任意のカメラポーズから3Dデコーダとボリュームレンダリングによって描画できる拡張可能な平面配置グリッドを提案する。 この表現に基づいて、単一視点のインターネット写真のみから生成的世界モデルを学ぶ。 提案手法は,現在の3次元生成モデルの固定境界を超えるシーン外挿を可能にするとともに,永続的でカメラに依存しない世界表現をサポートする。
  論文  参考訳（メタデータ） (2023-03-23T17:59:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。