論文の概要: Texture-GS: Disentangling the Geometry and Texture for 3D Gaussian Splatting Editing
- arxiv url: http://arxiv.org/abs/2403.10050v1
- Date: Fri, 15 Mar 2024 06:42:55 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-18 18:29:12.330223
- Title: Texture-GS: Disentangling the Geometry and Texture for 3D Gaussian Splatting Editing
- Title(参考訳): テクスチャ-GS:3次元ガウス版編集のための幾何学とテクスチャの分離
- Authors: Tian-Xing Xu, Wenbo Hu, Yu-Kun Lai, Ying Shan, Song-Hai Zhang,
- Abstract要約: 3Dガウススプラッティングは画期的なアプローチとして登場し、高忠実度再構成とリアルタイムレンダリングの能力に注目が集まっている。
そこで我々は,テクスチャ-GSという新しいアプローチを提案し,その外観を3次元表面上にマッピングされた2次元テクスチャとして表現することで幾何学から切り離す。
提案手法は,高精細な外観の編集を容易にするだけでなく,コンシューマレベルのデバイス上でのリアルタイムレンダリングも実現している。
- 参考スコア(独自算出の注目度): 79.10630153776759
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: 3D Gaussian splatting, emerging as a groundbreaking approach, has drawn increasing attention for its capabilities of high-fidelity reconstruction and real-time rendering. However, it couples the appearance and geometry of the scene within the Gaussian attributes, which hinders the flexibility of editing operations, such as texture swapping. To address this issue, we propose a novel approach, namely Texture-GS, to disentangle the appearance from the geometry by representing it as a 2D texture mapped onto the 3D surface, thereby facilitating appearance editing. Technically, the disentanglement is achieved by our proposed texture mapping module, which consists of a UV mapping MLP to learn the UV coordinates for the 3D Gaussian centers, a local Taylor expansion of the MLP to efficiently approximate the UV coordinates for the ray-Gaussian intersections, and a learnable texture to capture the fine-grained appearance. Extensive experiments on the DTU dataset demonstrate that our method not only facilitates high-fidelity appearance editing but also achieves real-time rendering on consumer-level devices, e.g. a single RTX 2080 Ti GPU.
- Abstract(参考訳): 3Dガウススプラッティングは画期的なアプローチとして登場し、高忠実度再構成とリアルタイムレンダリングの能力に注目が集まっている。
しかし、ガウス属性内のシーンの外観と幾何学が混在しており、テクスチャスワップのような編集操作の柔軟性を妨げている。
この問題に対処するために,テクスチュア-GSという新しいアプローチを提案し,それを3次元表面上にマッピングした2次元テクスチャとして表現し,外観編集を容易にする。
技術的には、3次元ガウス中心のUV座標を学習するためのUVマッピング MLPと、レイ・ガウス交叉のUV座標を効率的に近似するためのローカルテイラー展開と、きめ細かい外観を捉えるための学習可能なテクスチャから構成される。
DTUデータセットの大規模な実験により、我々の手法は高精細な外観の編集を容易にするだけでなく、単一のRTX 2080 Ti GPUのようなコンシューマレベルのデバイスでのリアルタイムレンダリングも実現している。
関連論文リスト
- TCLC-GS: Tightly Coupled LiDAR-Camera Gaussian Splatting for Surrounding Autonomous Driving Scenes [14.80202289008908]
都市シーンの3次元ガウススティング(3D-GS)に基づくほとんどの3次元ガウススティング(3D-GS)は、3D LiDARポイントで直接3Dガウスを初期化する。
我々は,LiDAR-Camera Gaussian Splatting (TCLC-GS) を設計し,LiDARとカメラセンサの双方の強度をフル活用する。
提案手法は高速な訓練を行い,1920x1280 (Waymo) の解像度で90 FPS,都市シナリオで1600x900 (nuScenes) の解像度で120 FPS の解像度でリアルタイム RGB と深度レンダリングを実現する。
論文 参考訳(メタデータ) (2024-04-03T02:26:15Z) - UV Gaussians: Joint Learning of Mesh Deformation and Gaussian Textures for Human Avatar Modeling [71.87807614875497]
メッシュ変形と2次元UV空間のガウステクスチャを共同学習することで3次元人体をモデル化するUVガウスアンを提案する。
我々は,多視点画像,走査モデル,パラメトリックモデル登録,およびそれに対応するテクスチャマップを含む,人間の動作の新たなデータセットを収集し,処理する。
論文 参考訳(メタデータ) (2024-03-18T09:03:56Z) - Nuvo: Neural UV Mapping for Unruly 3D Representations [61.87715912587394]
既存のUVマッピングアルゴリズムは、最先端の3D再構成と生成技術によって生成された幾何学で動作する。
本稿では,3次元再構成と生成技術により生成された幾何学的手法を用いたUVマッピング手法を提案する。
論文 参考訳(メタデータ) (2023-12-11T18:58:38Z) - Delicate Textured Mesh Recovery from NeRF via Adaptive Surface
Refinement [78.48648360358193]
画像からテクスチャ化された表面メッシュを生成する新しいフレームワークを提案する。
我々のアプローチは、NeRFを用いて幾何学とビュー依存の外観を効率的に初期化することから始まります。
ジオメトリと共同で外観を洗練し、テクスチャ画像に変換してリアルタイムレンダリングします。
論文 参考訳(メタデータ) (2023-03-03T17:14:44Z) - High-fidelity 3D GAN Inversion by Pseudo-multi-view Optimization [51.878078860524795]
フォトリアリスティック・ノベルビューを合成可能な高忠実度3次元生成対向ネットワーク(GAN)インバージョン・フレームワークを提案する。
提案手法は,1枚の画像から高忠実度3Dレンダリングを可能にし,AI生成3Dコンテンツの様々な応用に期待できる。
論文 参考訳(メタデータ) (2022-11-28T18:59:52Z) - FFHQ-UV: Normalized Facial UV-Texture Dataset for 3D Face Reconstruction [46.3392612457273]
このデータセットには、5万以上の高品質なテクスチャUVマップが含まれており、照度、中性表現、クリーンな顔領域がある。
我々のパイプラインは、StyleGANベースの顔画像編集アプローチの最近の進歩を活用している。
実験により,本手法は最先端手法よりも再現精度が向上することが示された。
論文 参考訳(メタデータ) (2022-11-25T03:21:05Z) - AUV-Net: Learning Aligned UV Maps for Texture Transfer and Synthesis [78.17671694498185]
AUV-Netは,3次元表面を2次元に整列したUV空間に埋め込むことを学習する。
結果として、テクスチャはオブジェクト間で整列し、画像の生成モデルによって容易に合成できる。
学習されたUVマッピングとアライメントテクスチャ表現は、テクスチャ転送、テクスチャ合成、テクスチャ化された単一ビュー3D再構成など、さまざまなアプリケーションを可能にする。
論文 参考訳(メタデータ) (2022-04-06T21:39:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。