論文の概要: FDGaussian: Fast Gaussian Splatting from Single Image via Geometric-aware Diffusion Model
- arxiv url: http://arxiv.org/abs/2403.10242v1
- Date: Fri, 15 Mar 2024 12:24:36 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-18 17:20:54.835809
- Title: FDGaussian: Fast Gaussian Splatting from Single Image via Geometric-aware Diffusion Model
- Title（参考訳）: FDGaussian:Geometric-Aware Diffusion Modelによる単一画像からの高速ガウス散乱
- Authors: Qijun Feng, Zhen Xing, Zuxuan Wu, Yu-Gang Jiang,
- Abstract要約: FDGaussianは、シングルイメージ3D再構成のための新しい2段階フレームワークである。
最近の手法では、通常、事前訓練された2次元拡散モデルを用いて、入力画像から可塑性な新しいビューを生成する。
我々は,FDGaussianが様々な視点で高一貫性の画像を生成し,高品質な3Dオブジェクトを再構成することを示した。
- 参考スコア（独自算出の注目度）: 81.03553265684184
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Reconstructing detailed 3D objects from single-view images remains a challenging task due to the limited information available. In this paper, we introduce FDGaussian, a novel two-stage framework for single-image 3D reconstruction. Recent methods typically utilize pre-trained 2D diffusion models to generate plausible novel views from the input image, yet they encounter issues with either multi-view inconsistency or lack of geometric fidelity. To overcome these challenges, we propose an orthogonal plane decomposition mechanism to extract 3D geometric features from the 2D input, enabling the generation of consistent multi-view images. Moreover, we further accelerate the state-of-the-art Gaussian Splatting incorporating epipolar attention to fuse images from different viewpoints. We demonstrate that FDGaussian generates images with high consistency across different views and reconstructs high-quality 3D objects, both qualitatively and quantitatively. More examples can be found at our website https://qjfeng.net/FDGaussian/.
- Abstract（参考訳）: シングルビュー画像から詳細な3Dオブジェクトを再構築することは、利用可能な情報が限られているため、依然として難しい課題である。
本稿ではFDGaussianについて紹介する。FDGaussianはシングルイメージ3D再構成のための新しい2段階フレームワークである。
最近の手法では、通常、事前学習された2次元拡散モデルを用いて入力画像から可塑性な新しいビューを生成するが、多視点不整合や幾何学的忠実性の欠如に直面する。
これらの課題を克服するために,2次元入力から3次元幾何学的特徴を抽出する直交平面分解機構を提案し,一貫した多視点画像を生成する。
さらに、異なる視点からのヒューズ画像にエピポーラ的注意を取り入れた最先端のガウススプラッティングをさらに加速する。
我々は、FDGaussianが様々な視点で高一貫性の画像を生成し、質的にも定量的にも高品質な3Dオブジェクトを再構成することを示した。
私たちのWebサイト https://qjfeng.net/FDGaussian/ でさらに例を挙げることができます。
関連論文リスト
- Enhancing Single Image to 3D Generation using Gaussian Splatting and Hybrid Diffusion Priors [17.544733016978928]
単一の画像から3Dオブジェクトを生成するには、野生で撮影された未ポーズのRGB画像から、目に見えない景色の完全な3D形状とテクスチャを推定する必要がある。
3次元オブジェクト生成の最近の進歩は、物体の形状とテクスチャを再構築する技術を導入している。
本稿では, この限界に対応するために, 2次元拡散モデルと3次元拡散モデルとのギャップを埋めることを提案する。
論文 参考訳（メタデータ） (2024-10-12T10:14:11Z) - 3D Gaussian Splatting for Large-scale Surface Reconstruction from Aerial Images [6.076999957937232]
AGS(Aerial Gaussian Splatting)という,空中多視点ステレオ(MVS)画像を用いた3DGSによる大規模表面再構成手法を提案する。
まず,大規模空中画像に適したデータチャンキング手法を提案する。
次に,レイ・ガウス断面積法を3DGSに統合し,深度情報と正規情報を得る。
論文 参考訳（メタデータ） (2024-08-31T08:17:24Z) - Large Point-to-Gaussian Model for Image-to-3D Generation [48.95861051703273]
2次元画像上での3次元拡散モデルから生成された初期点雲を入力する大規模点-ガウスモデルを提案する。
点雲はガウス生成に先立って最初の3次元幾何学を提供し、画像から3次元生成を著しく促進する。
論文 参考訳（メタデータ） (2024-08-20T15:17:53Z) - GSD: View-Guided Gaussian Splatting Diffusion for 3D Reconstruction [52.04103235260539]
単一視点からの3次元オブジェクト再構成のためのガウススプティング表現に基づく拡散モデル手法を提案する。
モデルはGS楕円体の集合で表される3Dオブジェクトを生成することを学習する。
最終的な再構成されたオブジェクトは、高品質な3D構造とテクスチャを持ち、任意のビューで効率的にレンダリングできる。
論文 参考訳（メタデータ） (2024-07-05T03:43:08Z) - GeoLRM: Geometry-Aware Large Reconstruction Model for High-Quality 3D Gaussian Generation [65.33726478659304]
GeoLRM(Geometry-Aware Large Restruction Model)は、512kガウスと21の入力画像で11GBのGPUメモリで高品質な資産を予測できる手法である。
従来の作品では、3D構造の本質的な空間性は無視されており、3D画像と2D画像の間の明示的な幾何学的関係は利用されていない。
GeoLRMは、3Dポイントを直接処理し、変形可能なクロスアテンション機構を使用する新しい3D対応トランスフォーマー構造を導入することで、これらの問題に対処する。
論文 参考訳（メタデータ） (2024-06-21T17:49:31Z) - 2D Gaussian Splatting for Geometrically Accurate Radiance Fields [50.056790168812114]
3D Gaussian Splatting (3DGS)は近年,高画質の新規ビュー合成と高速レンダリングを実現し,放射界再構成に革命をもたらした。
多視点画像から幾何学的精度の高い放射場をモデル化・再構成するための新しいアプローチである2DGS(2D Gaussian Splatting)を提案する。
競合する外観品質、高速トレーニング速度、リアルタイムレンダリングを維持しつつ、ノイズフリーかつ詳細な幾何学的再構成を可能にする。
論文 参考訳（メタデータ） (2024-03-26T17:21:24Z) - Wonder3D: Single Image to 3D using Cross-Domain Diffusion [105.16622018766236]
Wonder3Dは、単一視点画像から高忠実なテクスチャメッシュを効率的に生成する新しい手法である。
画像から3Dまでのタスクの品質,一貫性,効率性を総括的に改善するため,領域間拡散モデルを提案する。
論文 参考訳（メタデータ） (2023-10-23T15:02:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。