論文の概要: GSExplorer: Interactive World Generation with a Persistent 3D Gaussian World State
- arxiv url: http://arxiv.org/abs/2611.01543v1
- Date: Sun, 01 Nov 2026 04:14:50 GMT
- ステータス: 情報取得中
- システム内更新日: 2026-11-03 19:25:01.593916
- Title: GSExplorer: Interactive World Generation with a Persistent 3D Gaussian World State
- Title(参考訳): GSExplorer: 永続的な3Dガウス世界ステートを備えたインタラクティブワールドジェネレーション
- Abstract要約: 永続的な3Dガウス世界状態を中心に構築された世代再構築フレームワークである textbfGSExplorer を提示する。
GSExplorerは、シングルステップと3ステップのWorldScore評価で比較した手法の中で、最高の総合的なパフォーマンスを達成する。
- 参考スコア(独自算出の注目度): 16.723150673229053
- License:
- Abstract: Interactive world generation requires both accurate local control and stable scene consistency over long rollouts. Existing methods improve local generation through camera or geometry conditioning and extend historical context with memory mechanisms. However, long-horizon exploration remains challenging as target-view guidance becomes incomplete and inconsistencies accumulate across repeated scene updates. We present \textbf{GSExplorer}, a generation--reconstruction framework built around a persistent 3D Gaussian world state. At each step, the current 3DGS scene provides multimodal rendering conditions for a condition-driven video generator, while camera geometry is injected through a separate Relative Ray Encoding branch. Generated videos are then fed back to a SLAM-based reconstruction backend, where inconsistency filtering prevents conflicting content from corrupting the scene and cross-chunk bundle adjustment improves spatial alignment across generation steps. We further design a data-construction pipeline that reproduces realistic 3DGS degradation during scene extrapolation, yielding 293K training pairs of degraded multimodal renderings and real target videos. GSExplorer achieves the best overall performance among the compared methods on both single-step and three-step WorldScore evaluation, with strong camera control and consistency across both settings, including a Camera Control score of 99.07 in single-step extrapolation. On 481-frame leave-and-return rollouts, it also shows strong revisit consistency, demonstrating the value of maintaining a reliable 3D world state for continued exploration.
- Abstract(参考訳): インタラクティブなワールドジェネレーションは、正確なローカルコントロールと長時間のロールアウトに対する安定したシーン一貫性の両方を必要とする。
既存の手法は、カメラや幾何学的条件付けによる局所生成を改善し、履歴コンテキストをメモリ機構で拡張する。
しかし、目標視の誘導が不完全となり、繰り返し行われるシーン更新の間に不整合が蓄積されるため、長距離探査は依然として困難である。
本稿では,持続的な3次元ガウス世界状態を中心に構築された世代再構築フレームワークであるtextbf{GSExplorer}について述べる。
それぞれのステップで、現在の3DGSシーンは条件駆動のビデオジェネレータに対してマルチモーダルレンダリング条件を提供し、カメラ幾何学は別の相対レイエンコーディングブランチを介して注入される。
生成したビデオはSLAMベースの再構築バックエンドに送り返され、不整合フィルタリングによって競合するコンテンツがシーンを損なうのを防ぎ、クロスチャンクのバンドル調整により生成ステップ間の空間的アライメントが改善される。
さらに、シーン外挿中にリアルな3DGS劣化を再現するデータ構築パイプラインを設計し、劣化したマルチモーダルレンダリングと実際のターゲットビデオの293Kのトレーニングペアを生成する。
GSExplorerは、シングルステップと3ステップのWorldScore評価の両方で比較した手法の中で、カメラコントロールスコア99.07を含む、両方の設定で強力なカメラコントロールと一貫性を達成している。
481フレームの離反ロールアウトでは、信頼性の高い3Dワールドステートを継続的な探査のために維持する価値を示す、強い再検討の一貫性も示している。
関連論文リスト
- Orbia: Do Generated Videos Form a Consistent 3D World? [101.24452875624782]
ビデオジェネレータは、探索とシミュレーションのためのインタラクティブな世界として機能するが、現実的で視覚的に魅力的なフレームは、必ずしも一貫した3D世界を描写しない。
インタラクティブな世界モデルにおける3D一貫性の体系的かつ包括的な評価を目的とした最初のベンチマークであるOrbiaを紹介する。
論文 参考訳(メタデータ) (2026-10-14T17:59:53Z) - Closing the Loop: Training-Free Revisit Consistency for Autoregressive Generative Rendering [8.16620085872554]
新しい条件付きビデオ生成モデルは、3Dエンジンのレンダリングをゲームや没入型コンテンツ作成のためのフォトリアリスティックなビデオに変換する有望な可能性を示している。
これらの応用には、永続的な3D世界を保ちながら、新しいフレームを継続的に合成する長い水平自動回帰生成が必要である。
本稿では,実際のアプリケーションシナリオを複雑に反映するために,TartanAirとTartanデータセットから抽出したループ閉鎖軌道について示す。
論文 参考訳(メタデータ) (2026-07-23T22:33:52Z) - Geo-Align: Video Generation Alignment via Metric Geometry Reward [53.65904111864641]
Geo-Alignは、カメラ制御ビデオ再レンダリング用に特別に設計された最初の強化学習フレームワークである。
事前訓練されたモデルに基づいて、スケールアウェアの知覚報酬機構を用いてモデルを最適化する。
実験により、Geo-Alignは、カメラの正確な制御性と視覚的忠実性の両方において、既存の教師付き学習ベースラインを一貫して上回っていることが示された。
論文 参考訳(メタデータ) (2026-05-22T17:59:43Z) - I3DM: Implicit 3D-aware Memory Retrieval and Injection for Consistent Video Scene Generation [56.33710337846449]
I3DMは、一貫した映像シーン生成のための暗黙的な3D対応メモリ機構である。
われわれのアプローチの核心は3D対応メモリ検索戦略である。
検索した履歴フレームをフル活用するために,3次元メモリインジェクションモジュールを導入する。
論文 参考訳(メタデータ) (2026-03-24T16:45:40Z) - WorldStereo: Bridging Camera-Guided Video Generation and Scene Reconstruction via 3D Geometric Memories [36.79437857022868]
WorldStereoは、カメラ誘導のビデオ生成と3D再構成を橋渡しする新しいフレームワークだ。
我々はWorldStereoが強力な世界モデルとして機能し,多種多様なシーン生成タスクと高忠実度3D結果に対処していることを示す。
論文 参考訳(メタデータ) (2026-03-02T16:36:56Z) - AnchorWeave: World-Consistent Video Generation with Retrieved Local Spatial Memories [78.78355829813793]
既存のメモリベースのアプローチでは、歴史的に再構成された幾何学のアンカービデオをレンダリングすることで、グローバルに再構成された3Dシーンを条件付けすることが多い。
AnchorWeaveは、単一の不整合グローバルメモリを複数のローカルな幾何学的メモリに置き換える、メモリ拡張ビデオ生成フレームワークである。
実験によると、AnchorWeaveは視覚的品質を維持しながら、長期的なシーンの一貫性を著しく向上する。
論文 参考訳(メタデータ) (2026-02-16T17:23:08Z) - Voyager: Long-Range and World-Consistent Video Diffusion for Explorable 3D Scene Generation [66.95956271144982]
本稿では,単一画像から一貫した3Dポイントクラウドシーケンスを生成する新しいビデオ拡散フレームワークであるVoyagerを紹介する。
既存のアプローチとは異なり、Voyagerはフレーム間で固有の一貫性を持って、エンドツーエンドのシーン生成と再構築を実現している。
論文 参考訳(メタデータ) (2025-06-04T17:59:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。