論文の概要: Large Point-to-Gaussian Model for Image-to-3D Generation

• arxiv url: http://arxiv.org/abs/2408.10935v1
• Date: Tue, 20 Aug 2024 15:17:53 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-21 13:05:41.887509
• Title: Large Point-to-Gaussian Model for Image-to-3D Generation
• Title（参考訳）: 画像から3次元生成のための大規模ポイント・ツー・ガウスモデル
• Authors: Longfei Lu, Huachen Gao, Tao Dai, Yaohua Zha, Zhi Hou, Junta Wu, Shu-Tao Xia,
• Abstract要約: 2次元画像上での3次元拡散モデルから生成された初期点雲を入力する大規模点-ガウスモデルを提案する。 点雲はガウス生成に先立って最初の3次元幾何学を提供し、画像から3次元生成を著しく促進する。
• 参考スコア（独自算出の注目度）: 48.95861051703273
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recently, image-to-3D approaches have significantly advanced the generation quality and speed of 3D assets based on large reconstruction models, particularly 3D Gaussian reconstruction models. Existing large 3D Gaussian models directly map 2D image to 3D Gaussian parameters, while regressing 2D image to 3D Gaussian representations is challenging without 3D priors. In this paper, we propose a large Point-to-Gaussian model, that inputs the initial point cloud produced from large 3D diffusion model conditional on 2D image to generate the Gaussian parameters, for image-to-3D generation. The point cloud provides initial 3D geometry prior for Gaussian generation, thus significantly facilitating image-to-3D Generation. Moreover, we present the \textbf{A}ttention mechanism, \textbf{P}rojection mechanism, and \textbf{P}oint feature extractor, dubbed as \textbf{APP} block, for fusing the image features with point cloud features. The qualitative and quantitative experiments extensively demonstrate the effectiveness of the proposed approach on GSO and Objaverse datasets, and show the proposed method achieves state-of-the-art performance.
• Abstract（参考訳）: 近年,画像から3Dへのアプローチは大規模再構成モデル,特に3次元ガウス再構成モデルに基づく3Dアセットの生成品質と速度を大幅に向上させている。 既存の3次元ガウスモデルでは2次元画像を直接3次元ガウスパラメータにマッピングする一方で、3次元ガウス表現を3次元ガウス表現に回帰することは困難である。 本稿では,2次元画像上で条件付き3次元拡散モデルから生成された初期点雲を入力し,ガウスパラメータを生成する。 点雲はガウス生成に先立って最初の3次元幾何学を提供し、画像から3次元生成を著しく促進する。 さらに,画像特徴と点雲特徴とを融合させるために,<textbf{A}ttention mechanism, \textbf{P}rojection mechanism, \textbf{P}oint feature extractor, \textbf{APP} blockを提案する。 定性的かつ定量的な実験は、提案手法がGSOおよびObjaverseデータセットに与える影響を広く示し、提案手法が最先端の性能を達成することを示す。

関連論文リスト

• GSD: View-Guided Gaussian Splatting Diffusion for 3D Reconstruction [52.04103235260539]
  単一視点からの3次元オブジェクト再構成のためのガウススプティング表現に基づく拡散モデル手法を提案する。 モデルはGS楕円体の集合で表される3Dオブジェクトを生成することを学習する。 最終的な再構成されたオブジェクトは、高品質な3D構造とテクスチャを持ち、任意のビューで効率的にレンダリングできる。
  論文  参考訳（メタデータ） (2024-07-05T03:43:08Z)
• GeoLRM: Geometry-Aware Large Reconstruction Model for High-Quality 3D Gaussian Generation [65.33726478659304]
  GeoLRM(Geometry-Aware Large Restruction Model)は、512kガウスと21の入力画像で11GBのGPUメモリで高品質な資産を予測できる手法である。 従来の作品では、3D構造の本質的な空間性は無視されており、3D画像と2D画像の間の明示的な幾何学的関係は利用されていない。 GeoLRMは、3Dポイントを直接処理し、変形可能なクロスアテンション機構を使用する新しい3D対応トランスフォーマー構造を導入することで、これらの問題に対処する。
  論文  参考訳（メタデータ） (2024-06-21T17:49:31Z)
• GaussianCube: A Structured and Explicit Radiance Representation for 3D Generative Modeling [55.05713977022407]
  構造的かつ完全明快な放射率表現を導入し、3次元生成モデリングを大幅に促進する。 我々はまず,新しい密度制約付きガウス適合アルゴリズムを用いてガウスキューブを導出する。 非条件およびクラス条件オブジェクト生成、デジタルアバター生成、テキスト・トゥ・3Dによる実験は、我々のモデル合成が最先端の生成結果を達成することを示す。
  論文  参考訳（メタデータ） (2024-03-28T17:59:50Z)
• GeoGS3D: Single-view 3D Reconstruction via Geometric-aware Diffusion Model and Gaussian Splatting [81.03553265684184]
  単視点画像から詳細な3Dオブジェクトを再構成するフレームワークであるGeoGS3Dを紹介する。 本稿では,GDS(Gaussian Divergence Significance)という新しい指標を提案する。 実験により、GeoGS3Dはビュー間で高い一貫性を持つ画像を生成し、高品質な3Dオブジェクトを再構成することを示した。
  論文  参考訳（メタデータ） (2024-03-15T12:24:36Z)
• AGG: Amortized Generative 3D Gaussians for Single Image to 3D [108.38567665695027]
  Amortized Generative 3D Gaussian framework (AGG) を導入する。 AGGは、共同最適化のための3Dガウス位置およびその他の外観特性の生成を分解する。 本稿では,まず3次元データの粗い表現を生成し,後に3次元ガウス超解像モジュールでアップサンプリングするカスケードパイプラインを提案する。
  論文  参考訳（メタデータ） (2024-01-08T18:56:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。