論文の概要: Persistent Planar Memory for Video World Models
- arxiv url: http://arxiv.org/abs/2610.23795v1
- Date: Fri, 16 Oct 2026 17:21:54 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-20 00:56:08.03592
- Title: Persistent Planar Memory for Video World Models
- Title（参考訳）: ビデオワールドモデルのための永続的平面記憶
- Abstract要約: 大規模な環境の生成と探索を行うビデオワールドモデルは、彼らが生成したものの永続的な3Dメモリを必要とする。
PPMemは、平面プリミティブを永続的な3Dメモリとして採用したビデオワールドモデルである。
- 参考スコア（独自算出の注目度）: 67.31149600947869
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Video world models that generate and explore environments at scale need a persistent 3D memory of what they have produced. Plane primitives offer a natural candidate: a compact set of oriented planes captures the dominant structural elements (e.g., walls, floors, facades) of indoor and outdoor scenes, while requiring only 7 parameters per primitive. We present PPMem, a video world model that adopts plane primitives as its persistent 3D memory. PPMem augments a video diffusion transformer with a planar prediction head and a Depth Token Fusion (DTF) module: each autoregressive chunk jointly produces RGB video and planar geometry, which merges into a persistent plane memory that conditions subsequent chunks via rendered depth. The resulting memory is three orders of magnitude more compact than per-pixel point clouds (~100K primitives, 5MB for a full scene), geometrically explicit (metric depth, normals, exportable surfaces), cross-view consistent (jointly predicted by the shared backbone), and adaptive (refined by the merging procedure as generation proceeds). On DL3DV and RealEstate10K, PPMem outperforms prior 3D-grounded world models in video quality while jointly producing metric-scale depth, surface normals, and exportable planar geometry, sustaining coherence across hundreds of frames under large viewpoint changes. Project page: https://hyzcluster.github.io/ppmem.
- Abstract（参考訳）: 大規模な環境の生成と探索を行うビデオワールドモデルは、彼らが生成したものの永続的な3Dメモリを必要とする。
平面プリミティブは自然な候補を提供する: 配向平面のコンパクトなセットは、室内と屋外のシーンにおいて支配的な構造要素(例えば、壁、床、ファサード)をキャプチャするが、プリミティブごとに7つのパラメータしか必要としない。
PPMemは、平面プリミティブを永続的な3Dメモリとして採用したビデオワールドモデルである。
PPMemは、ビデオ拡散トランスフォーマーを平面予測ヘッドとディープス・トーケン・フュージョン(DTF)モジュールで強化し、各自己回帰チャンクはRGBビデオと平面幾何学を共同で生成する。
結果として得られるメモリは、ピクセル単位の点雲(約100Kプリミティブ、フルシーンの5MB)、幾何学的に明示的な(メートル法的な深さ、正規化、エクスポート可能な表面)、横断的な一貫した(共有バックボーンによって一緒に予測される)、適応的な(生成が進むにつれてマージ手順によって修正される)3桁の規模である。
DL3DVとRealEstate10Kでは、PPMemは、大局的な視点変化の下で数百フレームにわたるコヒーレンスを維持しながら、メートルスケールの深さ、表面の正常、輸出可能な平面形状を共同で生成しながら、ビデオ品質の3Dグラウンドの世界モデルよりも優れていた。
プロジェクトページ: https://hyzcluster.github.io/ppmem.com
関連論文リスト
- DepthWorld: 3D World Model for Robot Manipulation [20.098353800639902]
現在のビデオベースのワールドモデルは、RGBだけでトレーニングされており、フレームごとに正しいように見えるが、一貫した3Dの世界に構成しないロールアウトを生成する。
我々は,学習したステレオ深度タイリングとジョイントファクターグラフを組み合わせたキャリブレーションパイプラインを導入し,同じ物理ロボットから収集したすべてのエピソードをプールする。
次に、安定なビデオ拡散に基づく世界モデルであるDepthWorldをトレーニングし、空間的タイリングによる多視点深度を共同で予測する。
論文 参考訳（メタデータ） (2026-10-06T17:59:00Z) - World Narrative Model for Highly Controllable Video Generation: A Paradigm Shift from Pixel Sampling to Physical World Orchestration [49.72473930573157]
私たちはWNM(World Narrative Model)というパラダイムを紹介します。
WNMは、エンドツーエンドのブラックボックスサンプリングを、メディア生成のための4D$プリヴィジュアル化に置き換える。
我々の人間-AIプラットフォームは、プロの映画制作パイプラインに合わせた世界の自動生成と前視化をサポートしています。
論文 参考訳（メタデータ） (2026-06-30T16:52:53Z) - VideoWeave: Unlocking Geometric Consistency in Video Generation via Joint Geometry-Video Modeling [49.98112719317813]
ビデオ拡散モデルは、時間とともに3D構造を保存できないことが多い。
既存の手法は通常、明示的な幾何再構成を用いて幾何整合を強制する。
我々は,暗黙的幾何モデルを用いて生成分布を制約する潜在空間後学習フレームワークであるVideoWeaveを提案する。
論文 参考訳（メタデータ） (2026-06-12T06:41:13Z) - Geometry-Aware Implicit Memory for Video World Models [29.522291951915577]
GIM-Worldは、ビデオワールドモデルのための幾何学的な暗黙記憶フレームワークである。
カメラクエリ可能な幾何ヘッドは、凍結基礎モデルからトレーニング中にメモリに3Dシーン構造を蒸留する。
MINDの実験では、GIM-Worldは明示的メモリベースラインと暗黙的メモリベースラインの両方よりも、長期の幾何学的および視覚的一貫性を保っている。
論文 参考訳（メタデータ） (2026-06-01T16:08:43Z) - Quantitative Video World Model Evaluation for Geometric-Consistency [18.53748808467407]
生成ビデオモデルは暗黙の世界モデルとしてますます研究されている。
物理的に妥当な3D構造と動きを創出するかどうかを評価することは依然として困難である。
生成ビデオにおける幾何コヒーレンスを監査するフレームワークであるPDI-Benchを紹介する。
論文 参考訳（メタデータ） (2026-05-14T17:59:04Z) - SceneScribe-1M: A Large-Scale Video Dataset with Comprehensive Geometric and Semantic Annotations [88.8747004592363]
SceneScribe-1Mは新しい大規模多時間ビデオデータセットである。
そこには100万本のビデオが含まれており、それぞれに詳細なテキスト記述、正確なパラメータ、深度マップ、一貫性のある3Dポイントトラックなどが含まれている。
SceneScribe-1Mの汎用性と価値は、単眼深度推定、シーン再構成動的点追跡、テキスト・ビデオ合成などの生成タスク、カメラ制御の有無にかかわらず、幅広い下流タスクのベンチマークを確立することで示される。
論文 参考訳（メタデータ） (2026-04-09T08:59:33Z) - WorldStereo: Bridging Camera-Guided Video Generation and Scene Reconstruction via 3D Geometric Memories [36.79437857022868]
WorldStereoは、カメラ誘導のビデオ生成と3D再構成を橋渡しする新しいフレームワークだ。
我々はWorldStereoが強力な世界モデルとして機能し,多種多様なシーン生成タスクと高忠実度3D結果に対処していることを示す。
論文 参考訳（メタデータ） (2026-03-02T16:36:56Z) - AutoScape: Geometry-Consistent Long-Horizon Scene Generation [69.2451355181344]
AutoScapeは長距離走行シーン生成フレームワークである。
20秒以上のリアルで幾何学的に一貫したドライビングビデオを生成する。
ロングホライゾンのFIDとFVDのスコアは、それぞれ48.6%、FVDは43.0%向上している。
論文 参考訳（メタデータ） (2025-10-23T16:44:34Z) - WorldMirror: Universal 3D World Reconstruction with Any-Prior Prompting [51.69408870574092]
汎用的な3次元幾何予測タスクのためのオールインワンフィードフォワードモデルであるWorldMirrorを提案する。
我々のフレームワークは、カメラのポーズ、内在性、深度マップなど、様々な幾何学的先入観を柔軟に統合する。
WorldMirrorは、カメラ、ポイントマップ、深さ、表面正規推定から新しいビュー合成に至るまで、さまざまなベンチマークで最先端のパフォーマンスを実現している。
論文 参考訳（メタデータ） (2025-10-12T17:59:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。