論文の概要: GAE: Learning a Geometry-Native Latent Space for 3D-Consistent World Generation
- arxiv url: http://arxiv.org/abs/2609.24981v1
- Date: Mon, 21 Sep 2026 17:56:25 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-22 20:29:01.457357
- Title: GAE: Learning a Geometry-Native Latent Space for 3D-Consistent World Generation
- Title(参考訳): GAE:3次元連続世界のための幾何学的潜在空間の学習
- Abstract要約: 本稿では,知覚と生成の共通基盤として,コンパクトな幾何学ネイティブな潜在空間を提案する。
我々は、このシフトを幾何学ネイティブオートエンコーダ(GAE)で実現し、その潜伏線は外観、深度、カメラ、点マップに共起可能である。
- 参考スコア(独自算出の注目度): 79.28580044574306
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We present a compact geometry-native latent space as a shared foundation for perception and generation. Visual generators can produce photorealistic frames without preserving a consistent 3D scene. We argue that this is not only a modeling problem but also a representation problem: generators typically evolve appearance-centric latents, while perception models recover geometry in a semantically rich space that encodes cross-view structure. Rather than adding geometry as another output, we reparameterize a geometry foundation model's features into a compact latent space for generation. We realize this shift with the geometry-native autoencoder (GAE), whose latent is jointly decodable to appearance, depth, cameras, and point maps. With this state, a standard conditional flow supports diverse generation tasks. In controlled comparisons that hold the generator and training protocol fixed, replacing the latent with GAE improves both visual quality and independently measured 3D coherence: FVD falls by $12.7\%$ and $23.1\%$ on RealEstate10K and DL3DV, and camera-trajectory error is halved on RealEstate10K. Together, these results show that the latent space is central to geometry-consistent generation and can serve as a shared interface between perception and generation.
- Abstract(参考訳): 本稿では,知覚と生成の共通基盤として,コンパクトな幾何学ネイティブな潜在空間を提案する。
ビジュアルジェネレータは、一貫した3Dシーンを保存することなく、フォトリアリスティックなフレームを生成することができる。
ジェネレータは通常、外見中心の潜伏線を進化させ、知覚モデルは、クロスビュー構造をエンコードする意味的にリッチな空間で幾何学を復元する。
幾何を他の出力として加えるのではなく、幾何学基礎モデルの特徴をコンパクトな潜在空間に再パラメータ化して生成する。
我々は、このシフトを幾何学ネイティブオートエンコーダ(GAE)で実現し、その潜伏線は外観、深度、カメラ、点マップに共起可能である。
この状態において、標準的な条件フローは多様な生成タスクをサポートする。
FVDはRealEstate10KとDL3DVで$12.7\%と$23.1\%、カメラ軌道誤差はRealEstate10Kで半減する。
これらの結果は、潜在空間が幾何整合生成の中心であり、知覚と生成の間の共有インターフェースとして機能することを示している。
関連論文リスト
- Latent Riemannian Flow Matching for Geometry-Grounded 3D Foundation Models [27.12023248183448]
3次元シーンの生成モデルは、スパース入力からコヒーレントな出力を生成するために、強い幾何学的先行に頼らなければならない。
VGGTの潜在空間で直接フローマッチングを行うことにより、これらの2つのパラダイムをブリッジする。
RealEstate10K, ScanNet++, ETH3Dでは, シーン生成ベースラインに対して高い性能を示す。
論文 参考訳(メタデータ) (2026-07-21T14:06:04Z) - VideoWeave: Unlocking Geometric Consistency in Video Generation via Joint Geometry-Video Modeling [49.98112719317813]
ビデオ拡散モデルは、時間とともに3D構造を保存できないことが多い。
既存の手法は通常、明示的な幾何再構成を用いて幾何整合を強制する。
我々は,暗黙的幾何モデルを用いて生成分布を制約する潜在空間後学習フレームワークであるVideoWeaveを提案する。
論文 参考訳(メタデータ) (2026-06-12T06:41:13Z) - Beyond Gaussian Bottlenecks: Topologically Aligned Encoding of Vision-Transformer Feature Spaces [18.19675060489249]
S$2$VAEは,シーンの潜伏状態の圧縮と表現に焦点を当てた幾何学第一の潜伏学習フレームワークである。
深度推定, カメラポーズ復元, 点雲再構成では, 幾何配向超球面潜水剤が従来のガウスボトルネックよりも常に優れていたことを示す。
論文 参考訳(メタデータ) (2026-04-30T17:12:31Z) - Geometry-Aware Rotary Position Embedding for Consistent Video World Model [48.914346802616414]
ViewRopeは、ビデオトランスフォーマーの自己アテンション層に直接カメラの方向を注入するジオメトリ対応のエンコーディングである。
Geometry-Aware Frame-Sparse Attentionは、これらの幾何学的手がかりを利用して、関連する歴史的なフレームに選択的に参加する。
この結果から,ViewRopeは長期的整合性を大幅に向上し,計算コストを低減できることがわかった。
論文 参考訳(メタデータ) (2026-02-08T08:01:16Z) - Joint Geometry-Appearance Human Reconstruction in a Unified Latent Space via Bridge Diffusion [57.09673862519791]
本稿では,幾何学と外観のモデリングを結合潜在表現に統一する新しいフレームワークである textbfJGA-LBD を紹介する。
実験により、JGA-LBDは、幾何学的忠実度と外観品質の両方の観点から、現在の最先端アプローチよりも優れていることが示された。
論文 参考訳(メタデータ) (2026-01-01T12:48:56Z) - GeoVideo: Introducing Geometric Regularization into Video Generation Model [46.38507581500745]
フレームごとの深度予測による潜時拡散モデルの拡大により,ビデオ生成に幾何正則化損失を導入する。
本手法は, 外観生成と3次元構造モデリングのギャップを埋めることにより, 構造的コヒーレンス・時間的形状, 整合性, 物理的妥当性が向上する。
論文 参考訳(メタデータ) (2025-12-03T05:11:57Z) - GeoWorld: Unlocking the Potential of Geometry Models to Facilitate High-Fidelity 3D Scene Generation [68.02988074681427]
画像から3Dのシーン生成にビデオモデルを利用する以前の研究は、幾何学的歪みやぼやけた内容に悩まされる傾向にある。
本稿では,幾何学モデルの可能性を解き放つことにより,画像から3次元のシーン生成のパイプラインを再構築する。
我々のGeoWorldは、1つの画像と所定のカメラ軌道から高忠実度3Dシーンを生成することができ、定性的かつ定量的に先行手法より優れている。
論文 参考訳(メタデータ) (2025-11-28T13:55:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。