論文の概要: GeoGS3D: Single-view 3D Reconstruction via Geometric-aware Diffusion Model and Gaussian Splatting
- arxiv url: http://arxiv.org/abs/2403.10242v2
- Date: Thu, 31 Oct 2024 02:13:15 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-11-01 16:57:40.300252
- Title: GeoGS3D: Single-view 3D Reconstruction via Geometric-aware Diffusion Model and Gaussian Splatting
- Title（参考訳）: GeoGS3D:Geometric-Aware Diffusion ModelとGaussian Splattingによる一視点3D再構成
- Authors: Qijun Feng, Zhen Xing, Zuxuan Wu, Yu-Gang Jiang,
- Abstract要約: 単視点画像から詳細な3Dオブジェクトを再構成するフレームワークであるGeoGS3Dを紹介する。
本稿では,GDS(Gaussian Divergence Significance)という新しい指標を提案する。
実験により、GeoGS3Dはビュー間で高い一貫性を持つ画像を生成し、高品質な3Dオブジェクトを再構成することを示した。
- 参考スコア（独自算出の注目度）: 81.03553265684184
- License:
- Abstract: We introduce GeoGS3D, a novel two-stage framework for reconstructing detailed 3D objects from single-view images. Inspired by the success of pre-trained 2D diffusion models, our method incorporates an orthogonal plane decomposition mechanism to extract 3D geometric features from the 2D input, facilitating the generation of multi-view consistent images. During the following Gaussian Splatting, these images are fused with epipolar attention, fully utilizing the geometric correlations across views. Moreover, we propose a novel metric, Gaussian Divergence Significance (GDS), to prune unnecessary operations during optimization, significantly accelerating the reconstruction process. Extensive experiments demonstrate that GeoGS3D generates images with high consistency across views and reconstructs high-quality 3D objects, both qualitatively and quantitatively.
- Abstract（参考訳）: 単視点画像から詳細な3Dオブジェクトを再構成するための新しい2段階フレームワークであるGeoGS3Dを紹介する。
事前学習された2次元拡散モデルの成功にインスパイアされた本手法は、直交平面分解機構を組み込んで、2次元入力から3次元幾何学的特徴を抽出し、多視点一貫した画像の生成を容易にする。
次のガウススプラッティングでは、これらの画像はエピポーラの注意と融合し、ビュー間の幾何学的相関を完全に活用する。
さらに,GDS(Gaussian Divergence Significance)と呼ばれる新しいメトリクスを提案し,最適化時に不要な操作を誘発し,再構成プロセスを大幅に高速化する。
大規模な実験により、GeoGS3Dはビュー全体にわたって高い一貫性を持つ画像を生成し、質的にも定量的にも高品質な3Dオブジェクトを再構成することを示した。
関連論文リスト
- Enhancing Single Image to 3D Generation using Gaussian Splatting and Hybrid Diffusion Priors [17.544733016978928]
単一の画像から3Dオブジェクトを生成するには、野生で撮影された未ポーズのRGB画像から、目に見えない景色の完全な3D形状とテクスチャを推定する必要がある。
3次元オブジェクト生成の最近の進歩は、物体の形状とテクスチャを再構築する技術を導入している。
本稿では, この限界に対応するために, 2次元拡散モデルと3次元拡散モデルとのギャップを埋めることを提案する。
論文 参考訳（メタデータ） (2024-10-12T10:14:11Z) - 3D Gaussian Splatting for Large-scale Surface Reconstruction from Aerial Images [6.076999957937232]
AGS(Aerial Gaussian Splatting)という,空中多視点ステレオ(MVS)画像を用いた3DGSによる大規模表面再構成手法を提案する。
まず,大規模空中画像に適したデータチャンキング手法を提案する。
次に,レイ・ガウス断面積法を3DGSに統合し,深度情報と正規情報を得る。
論文 参考訳（メタデータ） (2024-08-31T08:17:24Z) - Large Point-to-Gaussian Model for Image-to-3D Generation [48.95861051703273]
2次元画像上での3次元拡散モデルから生成された初期点雲を入力する大規模点-ガウスモデルを提案する。
点雲はガウス生成に先立って最初の3次元幾何学を提供し、画像から3次元生成を著しく促進する。
論文 参考訳（メタデータ） (2024-08-20T15:17:53Z) - GSD: View-Guided Gaussian Splatting Diffusion for 3D Reconstruction [52.04103235260539]
単一視点からの3次元オブジェクト再構成のためのガウススプティング表現に基づく拡散モデル手法を提案する。
モデルはGS楕円体の集合で表される3Dオブジェクトを生成することを学習する。
最終的な再構成されたオブジェクトは、高品質な3D構造とテクスチャを持ち、任意のビューで効率的にレンダリングできる。
論文 参考訳（メタデータ） (2024-07-05T03:43:08Z) - GeoLRM: Geometry-Aware Large Reconstruction Model for High-Quality 3D Gaussian Generation [65.33726478659304]
GeoLRM(Geometry-Aware Large Restruction Model)は、512kガウスと21の入力画像で11GBのGPUメモリで高品質な資産を予測できる手法である。
従来の作品では、3D構造の本質的な空間性は無視されており、3D画像と2D画像の間の明示的な幾何学的関係は利用されていない。
GeoLRMは、3Dポイントを直接処理し、変形可能なクロスアテンション機構を使用する新しい3D対応トランスフォーマー構造を導入することで、これらの問題に対処する。
論文 参考訳（メタデータ） (2024-06-21T17:49:31Z) - 2D Gaussian Splatting for Geometrically Accurate Radiance Fields [50.056790168812114]
3D Gaussian Splatting (3DGS)は近年,高画質の新規ビュー合成と高速レンダリングを実現し,放射界再構成に革命をもたらした。
多視点画像から幾何学的精度の高い放射場をモデル化・再構成するための新しいアプローチである2DGS(2D Gaussian Splatting)を提案する。
競合する外観品質、高速トレーニング速度、リアルタイムレンダリングを維持しつつ、ノイズフリーかつ詳細な幾何学的再構成を可能にする。
論文 参考訳（メタデータ） (2024-03-26T17:21:24Z) - Wonder3D: Single Image to 3D using Cross-Domain Diffusion [105.16622018766236]
Wonder3Dは、単一視点画像から高忠実なテクスチャメッシュを効率的に生成する新しい手法である。
画像から3Dまでのタスクの品質,一貫性,効率性を総括的に改善するため,領域間拡散モデルを提案する。
論文 参考訳（メタデータ） (2023-10-23T15:02:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。