論文の概要: L3G-World: Real-Time Infinite World Generation with Latent 3D Gaussian Memory

• arxiv url: http://arxiv.org/abs/2610.40614v1
• Date: Thu, 29 Oct 2026 17:54:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-02 06:20:55.535091
• Title: L3G-World: Real-Time Infinite World Generation with Latent 3D Gaussian Memory
• Title（参考訳）: L3G-World:3Dガウス記憶を用いたリアルタイム無限世界生成
• Abstract要約: 本稿では、フィードフォワード再構成の効率と、コンパクトで高速にレンダリング可能なシーン表現を組み合わせた3Dガウスメモリ(L3G)を提案する。 L3G-Worldは3Dプリミティブを最大38.6時間、高速なメモリ更新を3.2時間、高速なメモリレンダリングを3.59時間で実現している。
• 参考スコア（独自算出の注目度）: 37.92323269700456
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Interactive world models generate visual content conditioned on user actions, yet maintaining spatial consistency over long-horizon exploration in real time remains challenging. Existing approaches rely on either temporal context or explicit 3D memory, both of which scale poorly because memory grows with the length of the generated stream. Moreover, explicit 3D memories condition latent video generators by re-encoding RGB renderings, which precludes real-time generation. In this paper, we introduce a Latent 3D Gaussian Memory (L3G) that combines the efficiency of feed-forward reconstruction with a compact, rapidly renderable scene representation. Building on this memory, we propose L3G-World, in which a memory updater and a video diffusion transformer (DiT) alternate autoregressively to generate spatially consistent worlds. The memory updater spawns Gaussians in newly observed regions and refines existing ones, so that the memory grows with scene extent rather than stream length. Each Gaussian further stores a VAE latent feature, allowing the memory to be rendered directly into the DiT's latent space without VAE re-encoding. Experiments show that L3G-World achieves state-of-the-art generation quality and long-horizon spatial consistency, with up to $38.6\times$ fewer 3D primitives, $3.2\times$ faster memory updates, and $359\times$ faster memory rendering relative to the most efficient prior 3D-memory baseline for each metric, enabling real-time world generation at 9 FPS.
• Abstract（参考訳）: 対話型世界モデルは、ユーザの行動に条件付けされた視覚的コンテンツを生成するが、長距離探査よりも空間的一貫性をリアルタイムで維持することは困難である。 既存のアプローチは、時間的コンテキストと明示的な3Dメモリのいずれかに依存しており、どちらも、生成されたストリームの長さによってメモリが増大するため、スケールが悪くなっている。 さらに、RGBレンダリングを再エンコードすることで、リアルタイム生成を阻害する明示的な3Dメモリ条件潜時ビデオ生成を行う。 本稿では、フィードフォワード再構成の効率と、コンパクトで高速にレンダリング可能なシーン表現を組み合わせた3Dガウスメモリ(L3G)を提案する。 このメモリ上に構築されたL3G-Worldは,空間的に一貫した世界を生成するために,メモリ更新器とビデオ拡散変換器(DiT)を交互に自動回帰する。 メモリ更新器は、新たに観測された領域にガウスを発生させ、既存の領域を洗練させるため、メモリはストリーム長ではなくシーン範囲で成長する。 各ガウシアンはさらにVAE潜伏機能を格納し、VAE再エンコーディングなしで直接DiTの潜伏空間にメモリをレンダリングできる。 実験の結果、L3G-Worldは3Dプリミティブを最大38.6ドル、高速なメモリ更新を3.2ドル、高速なメモリレンダリングを359ドルとすることで、最先端の3Dメモリベースラインよりも高速なメモリレンダリングを実現している。

関連論文リスト

• Long-horizon Video Generation with Slot Memory Addressed By Region Tokens [64.5452365505665]
  長期ビデオ生成のための記憶は、競合する2つの要件を満たす必要がある。 レコンストラクションベースの記憶は、明示的な幾何学をキャッシングし再計画することで空間的リコールを提供する。 リカレントメモリは一定サイズの状態を保っているが、保持は時間的再発によって制御される。 領域トークンによってアドレス化されるスロットメモリであるSMARTを導入し、境界ストレージと空間的にアドレス付けされたリコールを組み合わせた。
  論文  参考訳（メタデータ） (2026-10-13T22:28:34Z)
• World-T3: Test-Time Training as Persistent Memory for Real-Time Video World Models [23.209945433503382]
  本稿では、過去の観測を専用モデルパラメータに集約するテストタイムトレーニングメモリを備えた、カメラ制御ビデオワールドモデルであるWorld-T3を紹介する。 我々のTTメモリは、カメラのポーズによる高速な状態から以前に観測されたシーンの特徴を読み出し、一定のストレージとステップごとの計算で一貫した生成を可能にする。 長期のリビジットベンチマークでは、World-T3はPSNRを13.52から18.31dBに引き上げ、絶対回転誤差を3.344から1.075に減らした。
  論文  参考訳（メタデータ） (2026-10-12T21:52:46Z)
• Honeycomb: Constant-Size Scene Memory Representation for Video World Models [19.478192594069455]
  ビデオワールドモデルは、長期ビデオ生成時の一貫性を維持するためにシーンメモリを必要とする。 We introduced Honeycomb, a video world model built on HexMemory。 WorldScoreとRealEstate10Kの実験では、HexMemoryの機能ストレージを世代毎に一定に保ちながら、強力なビデオ生成品質と再検討の一貫性が示されている。
  論文  参考訳（メタデータ） (2026-09-29T14:33:39Z)
• OctWorld: Long-Range World-Consistent Video Generation with Octree-Based 3D Mapping [28.09932043900358]
  OctWorldは、高忠実な視覚シーンを生成するための永続的な3Dメモリを備えたビデオ拡散フレームワークである。 生成した視覚観測と対応する深度マップをグローバルな表現に融合する空間適応型3DメモリであるOctoMapを紹介する。 実験により、OctoWorldは長距離で空間的に一貫したビデオを生成し、既存のベンチマークと挑戦する長距離生成設定の両方で先行手法より優れていることが示された。
  論文  参考訳（メタデータ） (2026-09-03T14:35:38Z)
• Latent Spatial Memory for Video World Models [45.02259712072663]
  ビデオワールドモデルのためのエンフラテント空間記憶を導入し、3Dキャッシュでシーン情報を拡散潜時空間に直接保存し、画素空間の再構成を避ける。 実験により、遅延空間メモリは、より高速なエンドツーエンドビデオ生成と、明示的な3Dベースラインに対するメモリフットプリントの削減を実現する。
  論文  参考訳（メタデータ） (2026-06-08T17:59:54Z)
• Robust Dreamer: Deviation-Aware Latent Gaussian Memory for Action-Controlled AR Video Generation [89.70897512515477]
  アクション制御された画像対ビデオ生成は、インタラクティブな世界シミュレーションにおいて有望なパラダイムであり、各制御信号が即時視覚応答を誘発する。 長時間の自己回帰的なロールアウトに対する視覚的忠実さと3D一貫性を維持することは依然として難しい。 既存の3D認識手法は、textitLatent--RGB Cyclingからの情報損失と、textiterror-free仮説によって引き起こされるトレーニング-推論ギャップという2つの障害により、破滅的なドリフトに悩まされることが多い。 textbfRobust Dreamerという,メモリ拡張フレームワークについて紹介する。
  論文  参考訳（メタデータ） (2026-05-29T05:21:33Z)
• RELIC: Interactive Video World Model with Long-Horizon Memory [74.81433479334821]
  真のインタラクティブな世界モデルは、リアルタイムの長距離ストリーミング、一貫した空間記憶、正確なユーザ制御を必要とする。 この3つの課題を完全に解決する統合フレームワークであるRELICを紹介します。 単一の画像とテキスト記述が与えられた後、RELICは任意のシーンをリアルタイムにメモリを意識した長期探索を可能にする。
  論文  参考訳（メタデータ） (2025-12-03T18:29:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。