論文の概要: GeoVerse: World-Consistent Novel View Synthesis in Geometric Latent Space
- arxiv url: http://arxiv.org/abs/2609.35734v1
- Date: Mon, 28 Sep 2026 17:51:48 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-30 21:28:46.839905
- Title: GeoVerse: World-Consistent Novel View Synthesis in Geometric Latent Space
- Title（参考訳）: GeoVerse: 幾何学的潜在空間における世界一貫性のある新しいビュー合成
- Abstract要約: 事前訓練された3次元基礎モデル内で生成を行うことにより,世界一貫性のある新規ビューを合成するフレームワークであるGeoVerseを提案する。
具体的には、GeoVerseはWan2.2 VACEからマルチレベル機能を抽出し、制御ネットスタイルのアダプタを介して幾何学的潜在拡散モデルに注入する。
多様なデータセットにわたる実験では、DL3DVでは2.23dB、Mip-NeRF360では32.4%、視品質と幾何整合性が向上した。
- 参考スコア（独自算出の注目度）: 51.75763755769632
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Novel view synthesis from sparse images must reconcile faithful reconstruction of observed regions with plausible completion of unseen content, while maintaining world consistency across viewpoints. Existing geometry-based methods preserve observed scene structure but often struggle to complete unseen regions, whereas video generative models offer rich appearance priors but accumulate inconsistencies during sequential view generation. We propose GeoVerse, a framework that synthesizes world-consistent novel views by performing generation within the geometric latent space of a pretrained 3D foundation model and injecting appearance priors from a video generative model. Specifically, GeoVerse extracts multilevel features from Wan2.2 VACE and injects them into the geometric latent diffusion model via a ControlNet-style adapter, incorporating video-learned appearance priors to enhance structural completion. To enforce cross-view coherence, a global spatial memory continuously aggregates observed and synthesized content, reprojecting target-aligned guidance to anchor subsequent predictions to a shared scene representation. Extensive experiments across diverse datasets demonstrate improved visual quality and geometric consistency, with a 2.23 dB higher PSNR on DL3DV and 32.4% lower ATE on Mip-NeRF360 compared to GLD.
- Abstract（参考訳）: スパース画像からの新たな視点合成は、観察された領域の忠実な再構築と、見えない内容のもっともらしい完成を両立させながら、視点を越えた世界的一貫性を維持する必要がある。
既存の幾何学的手法は、観察されたシーン構造を保存するが、しばしば見えない領域を完成させるのに苦労するが、ビデオ生成モデルは、リッチな外観の先行を提供するが、シーケンシャルなビュー生成の間に矛盾を蓄積する。
事前学習された3次元基礎モデルの幾何学的潜在空間内で生成し,映像生成モデルから外観先行を注入することにより,世界一貫性のある新規ビューを合成するフレームワークであるGeoVerseを提案する。
具体的には、GeoVerse は Wan2.2 VACE から多層的特徴を抽出し、それらを ControlNet スタイルのアダプタを通じて幾何学的潜伏拡散モデルに注入し、ビデオ学習前の外観を取り入れて構造的完成性を高める。
クロスビューコヒーレンスを実現するために、グローバル空間メモリは、観察、合成されたコンテンツを連続的に集約し、目標に沿ったガイダンスを再投影し、その後の予測を共有シーン表現に固定する。
多様なデータセットにわたる大規模な実験では、DL3DVでは2.23dBのPSNR、GLDに比べてMip-NeRF360では32.4%の精度で視品質と幾何的整合性が向上した。
関連論文リスト
- PRG-Fusion: Orchestrating Generative Priors with Reconstruction Evidence for Driving View Synthesis [16.51293833344591]
本研究では,地域間における生成先行を整理するために,復元証拠を用いたビュー合成を駆動するフレームワークであるPRG-Fusionを提案する。
具体的には、再建された運転シーンから地域的復元証拠を抽出し、保存、修復、生成(PRG)ラベルに変換する。
次に、2段階の訓練パラダイムに従い、まず疎LiDARプロジェクションから幾何学的制御を確立し、次に密度の高い3DGSから外観制御を学ぶ。
論文 参考訳（メタデータ） (2026-09-07T02:34:51Z) - ReconSplat: Generalizable 3D Scene Reconstruction Beyond Observed Views [9.257489669927624]
ReconSplatは3Dシーン再構築のためのフィードフォワードモデルである。
幾何学的に整列した新しいビューと鋭い深さ推定の両方を提供する。
実際のベンチマークで、フォトリアリスティックなノベルビューと正確な深度マップの両方を生成する。
論文 参考訳（メタデータ） (2026-08-28T21:53:58Z) - GeoFace: Consistent Multi-View Face Generation with Geometry-Constrained Diffusion [36.691978700341515]
GeoFaceは、単一の入力から一貫した顔を生成するための幾何学制約付き多視点拡散フレームワークである。
RenderMe-360 と NeRSemble の実験では、GeoFace は視覚的品質と横方向の幾何的整合性の両方において、既存の手法よりも一貫して優れていることを示した。
論文 参考訳（メタデータ） (2026-06-26T02:31:06Z) - IVGT: Implicit Visual Geometry Transformer for Neural Scene Representation [76.36174247570716]
ポーズレス多視点画像から連続的かつ一貫性のある幾何を暗黙的にモデル化するインプリシトビジュアル幾何変換器IVGTを提案する。
IVGTは標準座標系で連続的なニューラルネットワークシーン表現を学習し、任意の3D位置での連続的な空間クエリをサポートする。
連続的かつコヒーレントな表面形状の直接抽出を可能にし、任意の視点からRGB画像、深度マップ、表面正規写像のレンダリングを可能にする。
論文 参考訳（メタデータ） (2026-05-15T17:59:57Z) - GTA: Advancing Image-to-3D World Generation via Geometry Then Appearance Video Diffusion [29.999238067855245]
GTAは幾何学的手法に基づく新しい画像から3次元世界生成手法である。
具体的には、単一の入力画像が与えられた場合、GTAは2つの専用ビデオ拡散モデルを持つ2段階のフレームワークを採用する。
広汎な実験により,提案手法は忠実度,視覚的品質,幾何学的精度で既存手法より一貫して優れていた。
論文 参考訳（メタデータ） (2026-05-13T03:43:02Z) - Repurposing Geometric Foundation Models for Multi-view Diffusion [54.65956050951508]
本稿では,幾何学的基礎モデルの幾何学的一貫した特徴空間を多視点拡散の潜在空間として再利用するフレームワークを提案する。
実験の結果,GADは2次元画像品質と3次元整合性の測定値において,VAEとRAEのどちらよりも優れており,VAEの潜伏空間に比べて4.4倍以上のトレーニングが加速していることがわかった。
論文 参考訳（メタデータ） (2026-03-23T17:57:05Z) - OrbitNVS: Harnessing Video Diffusion Priors for Novel View Synthesis [16.645032433380603]
新規ビュー合成(NVS)は、限られた数の既知のビューを条件に、3Dオブジェクトの見えないビューを生成することを目的としている。
軌道ビデオ生成タスクとしてNVSを再構成するOrbitNVSを提案する。
我々は,OrbitNVS が GSO と OmniObject3D ベンチマークにおいて,従来の手法よりも大幅に優れていたことを示す。
論文 参考訳（メタデータ） (2026-03-20T03:40:36Z) - GeoNVS: Geometry Grounded Video Diffusion for Novel View Synthesis [73.97869945427645]
GeoNVSは、幾何学的忠実度とカメラ制御性の両方を明示的な3D幾何学的ガイダンスによって強化する新規なビューシンセサイザーである。
GS-Adapterは3次元ガウス表現に入力ビュー拡散特徴を持ち上げ、幾何学的に矛盾しない表現を補正するために拡散特徴を適応的に融合させる。
9シーンと18設定の実験では最先端のパフォーマンスを示し、SEVAやCameraCtrlよりも11.3%、14.9%改善されている。
論文 参考訳（メタデータ） (2026-03-16T08:23:00Z) - RAYNOVA: Scale-Temporal Autoregressive World Modeling in Ray Space [51.441415833480505]
RAYNOVAは、二重因果自己回帰フレームワークを使用するシナリオを駆動するための多視点世界モデルである。
相対的なシャーカー線位置符号化に基づいて、ビュー、フレーム、スケールにまたがる等方的時間的表現を構築する。
論文 参考訳（メタデータ） (2026-02-24T08:41:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。