論文の概要: UVGS: Reimagining Unstructured 3D Gaussian Splatting using UV Mapping

• arxiv url: http://arxiv.org/abs/2502.01846v1
• Date: Mon, 03 Feb 2025 21:46:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-05 14:59:10.576836
• Title: UVGS: Reimagining Unstructured 3D Gaussian Splatting using UV Mapping
• Title（参考訳）: UVGS:UVマッピングによる非構造型3次元ガウス散乱の再現
• Authors: Aashish Rai, Dilin Wang, Mihir Jain, Nikolaos Sarafianos, Arthur Chen, Srinath Sridhar, Aayush Prakash,
• Abstract要約: 3D Gaussian Splatting (3DGS)は3Dオブジェクトやシーンのモデリングにおいて優れた品質を示している。 しかし、3DGSの生成は、その離散的、非構造的、置換不変の性質のため、依然として困難である。 球面マッピングを用いて3DGSをUVGSと呼ばれる構造化された2次元表現に変換する。
• 参考スコア（独自算出の注目度）: 17.91054671720623
• License:
• Abstract: 3D Gaussian Splatting (3DGS) has demonstrated superior quality in modeling 3D objects and scenes. However, generating 3DGS remains challenging due to their discrete, unstructured, and permutation-invariant nature. In this work, we present a simple yet effective method to overcome these challenges. We utilize spherical mapping to transform 3DGS into a structured 2D representation, termed UVGS. UVGS can be viewed as multi-channel images, with feature dimensions as a concatenation of Gaussian attributes such as position, scale, color, opacity, and rotation. We further find that these heterogeneous features can be compressed into a lower-dimensional (e.g., 3-channel) shared feature space using a carefully designed multi-branch network. The compressed UVGS can be treated as typical RGB images. Remarkably, we discover that typical VAEs trained with latent diffusion models can directly generalize to this new representation without additional training. Our novel representation makes it effortless to leverage foundational 2D models, such as diffusion models, to directly model 3DGS. Additionally, one can simply increase the 2D UV resolution to accommodate more Gaussians, making UVGS a scalable solution compared to typical 3D backbones. This approach immediately unlocks various novel generation applications of 3DGS by inherently utilizing the already developed superior 2D generation capabilities. In our experiments, we demonstrate various unconditional, conditional generation, and inpainting applications of 3DGS based on diffusion models, which were previously non-trivial.
• Abstract（参考訳）: 3D Gaussian Splatting (3DGS)は3Dオブジェクトやシーンのモデリングにおいて優れた品質を示している。 しかし、3DGSの生成は、その離散的、非構造的、置換不変の性質のため、依然として困難である。 本研究では,これらの課題を克服するための,単純かつ効果的な方法を提案する。 球面マッピングを用いて3DGSをUVGSと呼ばれる構造化された2次元表現に変換する。 UVGSは多チャンネル画像と見なすことができ、特徴次元は位置、スケール、色、不透明度、回転といったガウス属性の結合である。 さらに、これらの不均一な特徴は、慎重に設計されたマルチブランチネットワークを用いて、低次元(例えば、3チャンネル)の共有特徴空間に圧縮することができる。 圧縮されたUVGSは典型的なRGB画像として扱うことができる。 注目すべきは、遅延拡散モデルで訓練された典型的なVAEが、追加のトレーニングなしでこの新しい表現に直接一般化できることである。 我々の新しい表現は、3DGSを直接モデル化するために拡散モデルのような基礎的な2Dモデルを活用するのをむずかしくする。 さらに、UVGSは通常の3Dバックボーンに比べてスケーラブルなソリューションになるので、2DのUV解像度を拡大してガウシアンを増やせる。 このアプローチは、すでに開発された優れた2D生成能力を生かして、様々な新しい3DGSの応用を即座に解放する。 実験では,非自明な拡散モデルに基づく3DGSの様々な非条件生成,条件生成,塗装の応用を実証した。

関連論文リスト

• L3DG: Latent 3D Gaussian Diffusion [74.36431175937285]
  L3DGは3次元ガウス拡散定式化による3次元ガウスの3次元モデリングのための最初のアプローチである。 我々は、部屋の大きさのシーンで効率的に操作するために、スパース畳み込みアーキテクチャーを用いている。 3Dガウス表現を利用することで、生成されたシーンを任意の視点からリアルタイムでレンダリングすることができる。
  論文  参考訳（メタデータ） (2024-10-17T13:19:32Z)
• Enhancing Single Image to 3D Generation using Gaussian Splatting and Hybrid Diffusion Priors [17.544733016978928]
  単一の画像から3Dオブジェクトを生成するには、野生で撮影された未ポーズのRGB画像から、目に見えない景色の完全な3D形状とテクスチャを推定する必要がある。 3次元オブジェクト生成の最近の進歩は、物体の形状とテクスチャを再構築する技術を導入している。 本稿では, この限界に対応するために, 2次元拡散モデルと3次元拡散モデルとのギャップを埋めることを提案する。
  論文  参考訳（メタデータ） (2024-10-12T10:14:11Z)
• GSD: View-Guided Gaussian Splatting Diffusion for 3D Reconstruction [52.04103235260539]
  単一視点からの3次元オブジェクト再構成のためのガウススプティング表現に基づく拡散モデル手法を提案する。 モデルはGS楕円体の集合で表される3Dオブジェクトを生成することを学習する。 最終的な再構成されたオブジェクトは、高品質な3D構造とテクスチャを持ち、任意のビューで効率的にレンダリングできる。
  論文  参考訳（メタデータ） (2024-07-05T03:43:08Z)
• UV Gaussians: Joint Learning of Mesh Deformation and Gaussian Textures for Human Avatar Modeling [71.87807614875497]
  メッシュ変形と2次元UV空間のガウステクスチャを共同学習することで3次元人体をモデル化するUVガウスアンを提案する。 我々は,多視点画像,走査モデル,パラメトリックモデル登録,およびそれに対応するテクスチャマップを含む,人間の動作の新たなデータセットを収集し,処理する。
  論文  参考訳（メタデータ） (2024-03-18T09:03:56Z)
• Sculpt3D: Multi-View Consistent Text-to-3D Generation with Sparse 3D Prior [57.986512832738704]
  本稿では,2次元拡散モデルを再学習することなく,抽出した参照オブジェクトから3次元先行を明示的に注入する,電流パイプラインを備えた新しいフレームワークSculpt3Dを提案する。 具体的には、スパース線サンプリングによるキーポイントの監督により、高品質で多様な3次元形状を保証できることを実証する。 これら2つの分離された設計は、参照オブジェクトからの3D情報を利用して、2D拡散モデルの生成品質を保ちながら、3Dオブジェクトを生成する。
  論文  参考訳（メタデータ） (2024-03-14T07:39:59Z)
• Spec-Gaussian: Anisotropic View-Dependent Appearance for 3D Gaussian Splatting [55.71424195454963]
  Spec-Gaussian は球面調和の代わりに異方性球面ガウス場を利用するアプローチである。 実験結果から,本手法はレンダリング品質の面で既存の手法を超越していることが示された。 この改良は、3D GSの適用性を高めて、特異面と異方面の複雑なシナリオを扱う。
  論文  参考訳（メタデータ） (2024-02-24T17:22:15Z)
• Gaussian Splatting with NeRF-based Color and Opacity [7.121259735505479]
  本研究では、3Dオブジェクトの形状のGS表現と、色と不透明度のNeRFに基づく符号化を利用するハイブリッドモデルであるビューングディビジョン・ガウス・スティング(VDGS)を提案する。 我々のモデルは、テクスチャや光の成分を追加することなく、影、光の反射、そして3Dオブジェクトの透明さをよりよく記述します。
  論文  参考訳（メタデータ） (2023-12-21T10:52:59Z)
• GaussianDreamer: Fast Generation from Text to 3D Gaussians by Bridging 2D and 3D Diffusion Models [102.22388340738536]
  2Dおよび3D拡散モデルは、プロンプトに基づいて適切な3Dオブジェクトを生成することができる。 3次元拡散モデルには優れた3次元整合性があるが、トレーニング可能な3次元データは高価で入手が難しいため、その品質と一般化は制限されている。 本稿では,2種類の拡散モデルから近年の明示的かつ効率的な3次元ガウススプラッティング表現を通じて電力を橋渡ししようとする。
  論文  参考訳（メタデータ） (2023-10-12T17:22:24Z)
• 3D-LDM: Neural Implicit 3D Shape Generation with Latent Diffusion Models [8.583859530633417]
  自動復号器の潜時空間で動作する3次元形状のニューラル暗黙表現のための拡散モデルを提案する。 これにより、多種多様な高品質な3D表面を生成できます。
  論文  参考訳（メタデータ） (2022-12-01T20:00:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。