論文の概要: UVGS: Reimagining Unstructured 3D Gaussian Splatting using UV Mapping

• arxiv url: http://arxiv.org/abs/2502.01846v1
• Date: Mon, 03 Feb 2025 21:46:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-05 14:59:10.576836
• Title: UVGS: Reimagining Unstructured 3D Gaussian Splatting using UV Mapping
• Title（参考訳）: UVGS:UVマッピングによる非構造型3次元ガウス散乱の再現
• Authors: Aashish Rai, Dilin Wang, Mihir Jain, Nikolaos Sarafianos, Arthur Chen, Srinath Sridhar, Aayush Prakash,
• Abstract要約: 3D Gaussian Splatting (3DGS)は3Dオブジェクトやシーンのモデリングにおいて優れた品質を示している。 しかし、3DGSの生成は、その離散的、非構造的、置換不変の性質のため、依然として困難である。 球面マッピングを用いて3DGSをUVGSと呼ばれる構造化された2次元表現に変換する。
• 参考スコア（独自算出の注目度）: 17.91054671720623
• License:
• Abstract: 3D Gaussian Splatting (3DGS) has demonstrated superior quality in modeling 3D objects and scenes. However, generating 3DGS remains challenging due to their discrete, unstructured, and permutation-invariant nature. In this work, we present a simple yet effective method to overcome these challenges. We utilize spherical mapping to transform 3DGS into a structured 2D representation, termed UVGS. UVGS can be viewed as multi-channel images, with feature dimensions as a concatenation of Gaussian attributes such as position, scale, color, opacity, and rotation. We further find that these heterogeneous features can be compressed into a lower-dimensional (e.g., 3-channel) shared feature space using a carefully designed multi-branch network. The compressed UVGS can be treated as typical RGB images. Remarkably, we discover that typical VAEs trained with latent diffusion models can directly generalize to this new representation without additional training. Our novel representation makes it effortless to leverage foundational 2D models, such as diffusion models, to directly model 3DGS. Additionally, one can simply increase the 2D UV resolution to accommodate more Gaussians, making UVGS a scalable solution compared to typical 3D backbones. This approach immediately unlocks various novel generation applications of 3DGS by inherently utilizing the already developed superior 2D generation capabilities. In our experiments, we demonstrate various unconditional, conditional generation, and inpainting applications of 3DGS based on diffusion models, which were previously non-trivial.
• Abstract（参考訳）: 3D Gaussian Splatting (3DGS)は3Dオブジェクトやシーンのモデリングにおいて優れた品質を示している。 しかし、3DGSの生成は、その離散的、非構造的、置換不変の性質のため、依然として困難である。 本研究では,これらの課題を克服するための,単純かつ効果的な方法を提案する。 球面マッピングを用いて3DGSをUVGSと呼ばれる構造化された2次元表現に変換する。 UVGSは多チャンネル画像と見なすことができ、特徴次元は位置、スケール、色、不透明度、回転といったガウス属性の結合である。 さらに、これらの不均一な特徴は、慎重に設計されたマルチブランチネットワークを用いて、低次元(例えば、3チャンネル)の共有特徴空間に圧縮することができる。 圧縮されたUVGSは典型的なRGB画像として扱うことができる。 注目すべきは、遅延拡散モデルで訓練された典型的なVAEが、追加のトレーニングなしでこの新しい表現に直接一般化できることである。 我々の新しい表現は、3DGSを直接モデル化するために拡散モデルのような基礎的な2Dモデルを活用するのをむずかしくする。 さらに、UVGSは通常の3Dバックボーンに比べてスケーラブルなソリューションになるので、2DのUV解像度を拡大してガウシアンを増やせる。 このアプローチは、すでに開発された優れた2D生成能力を生かして、様々な新しい3DGSの応用を即座に解放する。 実験では,非自明な拡散モデルに基づく3DGSの様々な非条件生成,条件生成,塗装の応用を実証した。

関連論文リスト

• HuGDiffusion: Generalizable Single-Image Human Rendering via 3D Gaussian Diffusion [50.02316409061741]
  HuGDiffusionは、シングルビュー入力画像から人間の文字の新しいビュー合成(NVS)を実現するための学習パイプラインである。 本研究では,1つの画像から抽出したヒトの事前情報に基づいて,拡散に基づくフレームワークを用いて3DGS属性の集合を生成することを目的とする。 我々のHuGDiffusionは最先端の手法よりも優れた性能を示している。
  論文  参考訳（メタデータ） (2025-01-25T01:00:33Z)
• Zero-1-to-G: Taming Pretrained 2D Diffusion Model for Direct 3D Generation [66.75243908044538]
  我々は,事前学習した2次元拡散モデルを用いたガウススプラット上での3次元直接生成手法であるZero-1-to-Gを導入する。 3D認識を取り入れるために,複雑な相関関係を捉え,生成されたスプラット間の3D一貫性を強制する,クロスビュー層とクロスアトリビュートアテンション層を導入する。 これにより、Zero-1-to-Gは、事前訓練された2D拡散前処理を効果的に活用する最初の直接画像から3D生成モデルとなり、効率的なトレーニングと未確認物体への一般化が実現された。
  論文  参考訳（メタデータ） (2025-01-09T18:37:35Z)
• DSplats: 3D Generation by Denoising Splats-Based Multiview Diffusion Models [67.50989119438508]
  本稿では,ガウスをベースとしたレコンストラクタを用いて,リアルな3Dアセットを生成することで,マルチビュー画像を直接認識するDSplatを紹介した。 実験の結果,DSplatsは高品質で空間的に一貫した出力を生成できるだけでなく,単一画像から3次元再構成への新たな標準も設定できることがわかった。
  論文  参考訳（メタデータ） (2024-12-11T07:32:17Z)
• L3DG: Latent 3D Gaussian Diffusion [74.36431175937285]
  L3DGは3次元ガウス拡散定式化による3次元ガウスの3次元モデリングのための最初のアプローチである。 我々は、部屋の大きさのシーンで効率的に操作するために、スパース畳み込みアーキテクチャーを用いている。 3Dガウス表現を利用することで、生成されたシーンを任意の視点からリアルタイムでレンダリングすることができる。
  論文  参考訳（メタデータ） (2024-10-17T13:19:32Z)
• GSD: View-Guided Gaussian Splatting Diffusion for 3D Reconstruction [52.04103235260539]
  単一視点からの3次元オブジェクト再構成のためのガウススプティング表現に基づく拡散モデル手法を提案する。 モデルはGS楕円体の集合で表される3Dオブジェクトを生成することを学習する。 最終的な再構成されたオブジェクトは、高品質な3D構造とテクスチャを持ち、任意のビューで効率的にレンダリングできる。
  論文  参考訳（メタデータ） (2024-07-05T03:43:08Z)
• Gaussian Splatting with NeRF-based Color and Opacity [7.121259735505479]
  本研究では、3Dオブジェクトの形状のGS表現と、色と不透明度のNeRFに基づく符号化を利用するハイブリッドモデルであるビューングディビジョン・ガウス・スティング(VDGS)を提案する。 我々のモデルは、テクスチャや光の成分を追加することなく、影、光の反射、そして3Dオブジェクトの透明さをよりよく記述します。
  論文  参考訳（メタデータ） (2023-12-21T10:52:59Z)
• GaussianDreamer: Fast Generation from Text to 3D Gaussians by Bridging 2D and 3D Diffusion Models [102.22388340738536]
  2Dおよび3D拡散モデルは、プロンプトに基づいて適切な3Dオブジェクトを生成することができる。 3次元拡散モデルには優れた3次元整合性があるが、トレーニング可能な3次元データは高価で入手が難しいため、その品質と一般化は制限されている。 本稿では,2種類の拡散モデルから近年の明示的かつ効率的な3次元ガウススプラッティング表現を通じて電力を橋渡ししようとする。
  論文  参考訳（メタデータ） (2023-10-12T17:22:24Z)
• 3D-LDM: Neural Implicit 3D Shape Generation with Latent Diffusion Models [8.583859530633417]
  自動復号器の潜時空間で動作する3次元形状のニューラル暗黙表現のための拡散モデルを提案する。 これにより、多種多様な高品質な3D表面を生成できます。
  論文  参考訳（メタデータ） (2022-12-01T20:00:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。