論文の概要: Latent Riemannian Flow Matching for Geometry-Grounded 3D Foundation Models
- arxiv url: http://arxiv.org/abs/2607.19120v1
- Date: Tue, 21 Jul 2026 14:06:04 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-22 19:05:05.440502
- Title: Latent Riemannian Flow Matching for Geometry-Grounded 3D Foundation Models
- Title（参考訳）: 幾何学的3次元基礎モデルに対する潜在リーマン流マッチング
- Abstract要約: 3次元シーンの生成モデルは、スパース入力からコヒーレントな出力を生成するために、強い幾何学的先行に頼らなければならない。
VGGTの潜在空間で直接フローマッチングを行うことにより、これらの2つのパラダイムをブリッジする。
RealEstate10K, ScanNet++, ETH3Dでは, シーン生成ベースラインに対して高い性能を示す。
- 参考スコア（独自算出の注目度）: 27.12023248183448
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Geometric foundation models, such as the Visual Geometry Grounded Transformer (VGGT), provide strong 3D priors from unposed images. However, such models operate purely in a feed-forward, deterministic regime, \ie~they cannot generate plausible geometry beyond what the input views directly support. Generative models for 3D scenes, on the other hand, must rely on strong geometric priors to produce coherent outputs from sparse inputs. We bridge these two paradigms by performing flow matching directly in VGGT's latent space, leveraging its learned 3D priors without committing to any explicit downstream representation such as Gaussians, meshes, or video-VAE latents. This requires respecting the latent geometry: VGGT tokens occupy a product of high-dimensional hyperspheres on which standard Euclidean flow matching fails. We address this with a Riemannian Flow Matching framework defined on a product manifold of four hyperspheres, aligned with VGGT's multi-scale encoder, which keeps generated tokens on the valid data manifold required by the frozen decoding heads. On RealEstate10K, ScanNet++ and ETH3D, our method achieves strong performance against recent scene generation baselines in both per-view appearance and aggregated 3D geometry, establishing latent-space flow matching on geometric foundation models as a viable paradigm for 3D generation. The project page can be found $\href{https://lisaweijler.github.io/geometry-grounded-rfm/}{\text{here}}$.
- Abstract（参考訳）: Visual Geometry Grounded Transformer (VGGT)のような幾何学的基礎モデルは、未提示の画像から強力な3D先行情報を提供する。
しかし、そのようなモデルはフィードフォワードで決定論的な状態において純粋に動作するので、入力ビューが直接サポートしている以上の、もっともらしい幾何学は生成できない。
一方、3Dシーンの生成モデルは、スパース入力からコヒーレントな出力を生成するために、強い幾何学的先行に頼らなければならない。
VGGTの潜伏空間で直接フローマッチングを実行し、ガウス、メッシュ、ビデオVAE潜伏といった明示的な下流表現にコミットすることなく、学習した3Dプリエントを活用することにより、これらの2つのパラダイムを橋渡しする。
VGGTトークンは、標準ユークリッドフローマッチングが失敗する高次元超球面の積を占有する。
これを、4つの超球面の積多様体上に定義したリーマンフローマッチングフレームワークを用いて、VGGTのマルチスケールエンコーダと整列し、凍結復号ヘッドが要求する有効なデータ多様体上のトークンを生成する。
本手法は,RealEstate10K,ScanNet++,ETH3Dにおいて,ビュー毎の外観と集約された3次元幾何学の両方において,最近のシーン生成ベースラインに対して高い性能を達成し,幾何学的基礎モデルに基づく潜在空間フローマッチングを3次元生成の実行可能なパラダイムとして確立する。
プロジェクトのページは、$\href{https://lisaweijler.github.io/geometry-grounded-rfm/}{\text{here}}$で見ることができる。
関連論文リスト
- Self-Geometry: GT-Free and Plug-and-Play Test-Time Adaptation for Geometrically Consistent 3D Vision Foundation Models [12.061080782435013]
最近のビジョンファウンデーションモデル(VFM)は、シーンごとの最適化なしに、単一の前方パスで深さ、カメラポーズ、ポイントマップを予測する。
明示的な多視点幾何学的整合性(例えば束調整など)を強制することは、計算コストがかかるため、VFM事前訓練では課されない。
本研究では,2次元画素対応を擬似接地構造として用いた明示的な多視点幾何制約を直接課す,プラグアンドプレイテスト時適応パイプラインであるセルフジオメトリを提案する。
論文 参考訳（メタデータ） (2026-08-11T09:28:50Z) - FLAT: Feedforward Latent Triangle Splatting for Geometrically Accurate Scene Generation [72.38727895659405]
ビデオ拡散潜水器から直接三角形スプラットをデコードするFLATを導入する。
標準的なベンチマークでは、FLATは最先端のフィードフォワードベースラインに比べて、はるかに優れた幾何学的精度を実現している。
軽量なテスト時間改善ステップにより,予測された三角形のスープが不透明でゲームエンジン対応の表現に変換されることを示す。
論文 参考訳（メタデータ） (2026-06-23T17:53:41Z) - GAP-MLLM: Geometry-Aligned Pre-training for Activating 3D Spatial Perception in Multimodal Large Language Models [70.61152292499737]
このギャップは、幾何学的事前の不足から生じるものではなく、訓練パラダイムの誤った調整から生じるものである、と我々は主張する。
既存のアプローチでは、通常、特徴の結合を示唆し、幾何学的な監督なしに下流のタスクを直接最適化する。
本稿では,下流適応前の構造知覚を明示的に活性化する幾何学的事前学習パラダイムであるGAP-MLLMを提案する。
論文 参考訳（メタデータ） (2026-03-17T12:43:48Z) - GeoPurify: A Data-Efficient Geometric Distillation Framework for Open-Vocabulary 3D Segmentation [57.8059956428009]
2次元視覚言語モデルから3次元セマンティックセグメンテーションへ機能を移行しようとする最近の試みは、永続的なトレードオフを露呈している。
3次元教師モデルから抽出した幾何学的事前情報を用いて2次元VLM生成した3次元点特徴に小さな学生親和性ネットワークを適用したGeoPurifyを提案する。
遅延幾何学情報と学習された親和性ネットワークから恩恵を受けることで、GeoPurifyはトレードオフを効果的に軽減し、優れたデータ効率を実現する。
論文 参考訳（メタデータ） (2025-10-02T16:37:56Z) - UniLat3D: Geometry-Appearance Unified Latents for Single-Stage 3D Generation [98.40254523605581]
UniLat3Dは、単一の潜在空間における幾何学と外観を符号化する統一されたフレームワークである。
我々の重要な貢献は、高分解能スパース特徴をコンパクトな潜在表現に圧縮する幾何学的外観統一VAEである。
UniLat3Dは、1枚の画像から数秒で高品質な3Dアセットを生成する。
論文 参考訳（メタデータ） (2025-09-29T17:21:23Z) - Dens3R: A Foundation Model for 3D Geometry Prediction [44.13431776180547]
Dens3Rは幾何学的密度予測のための3次元基礎モデルである。
画像対マッチング機能と本質的不変性モデリングを統合することにより、Dens3Rは複数の幾何学的量を正確に回帰する。
論文 参考訳（メタデータ） (2025-07-22T07:22:30Z) - Dragen3D: Multiview Geometry Consistent 3D Gaussian Generation with Drag-Based Control [2.5031284037888395]
Dragen3Dは、幾何学的に一貫した制御可能な3D生成を実現する新しいアプローチである。
Anchor-Gaussian Variational Autoencoder (Anchor-GS VAE)を導入し、点雲と1つのイメージをアンカー潜水器にエンコードし、これらの潜水器を3DGSにデコードする。
我々の知る限りでは、幾何学的に制御可能な3Dガウス生成と編集を初めて達成した人物である。
論文 参考訳（メタデータ） (2025-02-23T07:19:03Z) - Deep Geometric Moments Promote Shape Consistency in Text-to-3D Generation [27.43973967994717]
MT3Dは高忠実度3Dオブジェクトを利用して視点バイアスを克服するテキスト・ツー・3D生成モデルである。
3Dアセットから幾何学的詳細を取り入れることで、MT3Dは多様で幾何学的に一貫したオブジェクトを作成することができる。
論文 参考訳（メタデータ） (2024-08-12T06:25:44Z) - GeoLRM: Geometry-Aware Large Reconstruction Model for High-Quality 3D Gaussian Generation [65.33726478659304]
GeoLRM(Geometry-Aware Large Restruction Model)は、512kガウスと21の入力画像で11GBのGPUメモリで高品質な資産を予測できる手法である。
従来の作品では、3D構造の本質的な空間性は無視されており、3D画像と2D画像の間の明示的な幾何学的関係は利用されていない。
GeoLRMは、3Dポイントを直接処理し、変形可能なクロスアテンション機構を使用する新しい3D対応トランスフォーマー構造を導入することで、これらの問題に対処する。
論文 参考訳（メタデータ） (2024-06-21T17:49:31Z) - Deep Marching Tetrahedra: a Hybrid Representation for High-Resolution 3D
Shape Synthesis [90.26556260531707]
DMTetは粗いボクセルのような単純なユーザーガイドを用いて高解像度の3次元形状を合成できる条件付き生成モデルである。
メッシュなどの明示的な表現を直接生成する深部3次元生成モデルとは異なり、我々のモデルは任意の位相で形状を合成することができる。
論文 参考訳（メタデータ） (2021-11-08T05:29:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。