論文の概要: High-fidelity 3D Object Generation from Single Image with RGBN-Volume Gaussian Reconstruction Model

• arxiv url: http://arxiv.org/abs/2504.01512v1
• Date: Wed, 02 Apr 2025 08:58:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-03 13:21:31.463560
• Title: High-fidelity 3D Object Generation from Single Image with RGBN-Volume Gaussian Reconstruction Model
• Title（参考訳）: RGBN-Volume Gaussian再構成モデルを用いた単一画像からの高忠実度3次元オブジェクト生成
• Authors: Yiyang Shen, Kun Zhou, He Wang, Yin Yang, Tianjia Shao,
• Abstract要約: 本稿では,3次元のボクセル表現が明示的な3次元幾何情報を含む,新しいハイブリッドなVoxel-Gaussian表現を提案する。 我々の3Dボクセル表現は、2D画像から推定できるRGB特徴と表面正規特徴を整列する融合モジュールによって得られる。
• 参考スコア（独自算出の注目度）: 38.13429047918231
• License:
• Abstract: Recently single-view 3D generation via Gaussian splatting has emerged and developed quickly. They learn 3D Gaussians from 2D RGB images generated from pre-trained multi-view diffusion (MVD) models, and have shown a promising avenue for 3D generation through a single image. Despite the current progress, these methods still suffer from the inconsistency jointly caused by the geometric ambiguity in the 2D images, and the lack of structure of 3D Gaussians, leading to distorted and blurry 3D object generation. In this paper, we propose to fix these issues by GS-RGBN, a new RGBN-volume Gaussian Reconstruction Model designed to generate high-fidelity 3D objects from single-view images. Our key insight is a structured 3D representation can simultaneously mitigate the afore-mentioned two issues. To this end, we propose a novel hybrid Voxel-Gaussian representation, where a 3D voxel representation contains explicit 3D geometric information, eliminating the geometric ambiguity from 2D images. It also structures Gaussians during learning so that the optimization tends to find better local optima. Our 3D voxel representation is obtained by a fusion module that aligns RGB features and surface normal features, both of which can be estimated from 2D images. Extensive experiments demonstrate the superiority of our methods over prior works in terms of high-quality reconstruction results, robust generalization, and good efficiency.
• Abstract（参考訳）: 近年,ガウススプラッティングによるシングルビュー3D世代が出現し,急速に発展してきた。 彼らは、事前訓練されたマルチビュー拡散(MVD)モデルから生成された2D RGB画像から3Dガウス画像を学び、単一の画像を通して3D生成に有望な道を示す。 現在の進歩にもかかわらず、これらの手法は2次元画像の幾何学的曖昧さと3次元ガウス像の構造の欠如によって相反し、歪んでぼやけた3次元オブジェクト生成に繋がる。 本稿では,一視点画像から高忠実度3Dオブジェクトを生成するように設計された新しいRGBNボリュームガウス再構成モデルであるGS-RGBNにより,これらの問題を解決することを提案する。 私たちの重要な洞察は、構造化された3D表現は、前述の2つの問題を同時に緩和できるということです。 そこで本研究では,3次元ボクセル表現に明示的な3次元幾何学的情報を含むハイブリッドなVoxel-Gaussian表現を提案し,その幾何学的曖昧さを2次元画像から排除した。 また、学習中にガウスアンを構造化し、最適化がより良い局所最適性を見出す傾向がある。 我々の3Dボクセル表現は、2D画像から推定できるRGB特徴と表面正規特徴を整列する融合モジュールによって得られる。 大規模な実験により, 従来の手法よりも高品質な再構築結果, 堅牢な一般化, 優れた効率で優れた手法が実証された。

関連論文リスト

• DSplats: 3D Generation by Denoising Splats-Based Multiview Diffusion Models [67.50989119438508]
  本稿では,ガウスをベースとしたレコンストラクタを用いて,リアルな3Dアセットを生成することで,マルチビュー画像を直接認識するDSplatを紹介した。 実験の結果,DSplatsは高品質で空間的に一貫した出力を生成できるだけでなく,単一画像から3次元再構成への新たな標準も設定できることがわかった。
  論文  参考訳（メタデータ） (2024-12-11T07:32:17Z)
• Enhancing Single Image to 3D Generation using Gaussian Splatting and Hybrid Diffusion Priors [17.544733016978928]
  単一の画像から3Dオブジェクトを生成するには、野生で撮影された未ポーズのRGB画像から、目に見えない景色の完全な3D形状とテクスチャを推定する必要がある。 3次元オブジェクト生成の最近の進歩は、物体の形状とテクスチャを再構築する技術を導入している。 本稿では, この限界に対応するために, 2次元拡散モデルと3次元拡散モデルとのギャップを埋めることを提案する。
  論文  参考訳（メタデータ） (2024-10-12T10:14:11Z)
• Large Point-to-Gaussian Model for Image-to-3D Generation [48.95861051703273]
  2次元画像上での3次元拡散モデルから生成された初期点雲を入力する大規模点-ガウスモデルを提案する。 点雲はガウス生成に先立って最初の3次元幾何学を提供し、画像から3次元生成を著しく促進する。
  論文  参考訳（メタデータ） (2024-08-20T15:17:53Z)
• GSD: View-Guided Gaussian Splatting Diffusion for 3D Reconstruction [52.04103235260539]
  単一視点からの3次元オブジェクト再構成のためのガウススプティング表現に基づく拡散モデル手法を提案する。 モデルはGS楕円体の集合で表される3Dオブジェクトを生成することを学習する。 最終的な再構成されたオブジェクトは、高品質な3D構造とテクスチャを持ち、任意のビューで効率的にレンダリングできる。
  論文  参考訳（メタデータ） (2024-07-05T03:43:08Z)
• GeoLRM: Geometry-Aware Large Reconstruction Model for High-Quality 3D Gaussian Generation [65.33726478659304]
  GeoLRM(Geometry-Aware Large Restruction Model)は、512kガウスと21の入力画像で11GBのGPUメモリで高品質な資産を予測できる手法である。 従来の作品では、3D構造の本質的な空間性は無視されており、3D画像と2D画像の間の明示的な幾何学的関係は利用されていない。 GeoLRMは、3Dポイントを直接処理し、変形可能なクロスアテンション機構を使用する新しい3D対応トランスフォーマー構造を導入することで、これらの問題に対処する。
  論文  参考訳（メタデータ） (2024-06-21T17:49:31Z)
• 2D Gaussian Splatting for Geometrically Accurate Radiance Fields [50.056790168812114]
  3D Gaussian Splatting (3DGS)は近年,高画質の新規ビュー合成と高速レンダリングを実現し,放射界再構成に革命をもたらした。 多視点画像から幾何学的精度の高い放射場をモデル化・再構成するための新しいアプローチである2DGS(2D Gaussian Splatting)を提案する。 競合する外観品質、高速トレーニング速度、リアルタイムレンダリングを維持しつつ、ノイズフリーかつ詳細な幾何学的再構成を可能にする。
  論文  参考訳（メタデータ） (2024-03-26T17:21:24Z)
• GeoGS3D: Single-view 3D Reconstruction via Geometric-aware Diffusion Model and Gaussian Splatting [81.03553265684184]
  単視点画像から詳細な3Dオブジェクトを再構成するフレームワークであるGeoGS3Dを紹介する。 本稿では,GDS(Gaussian Divergence Significance)という新しい指標を提案する。 実験により、GeoGS3Dはビュー間で高い一貫性を持つ画像を生成し、高品質な3Dオブジェクトを再構成することを示した。
  論文  参考訳（メタデータ） (2024-03-15T12:24:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。