論文の概要: Texture-GS: Disentangling the Geometry and Texture for 3D Gaussian Splatting Editing

• arxiv url: http://arxiv.org/abs/2403.10050v1
• Date: Fri, 15 Mar 2024 06:42:55 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-18 18:29:12.330223
• Title: Texture-GS: Disentangling the Geometry and Texture for 3D Gaussian Splatting Editing
• Title（参考訳）: テクスチャ-GS:3次元ガウス版編集のための幾何学とテクスチャの分離
• Authors: Tian-Xing Xu, Wenbo Hu, Yu-Kun Lai, Ying Shan, Song-Hai Zhang,
• Abstract要約: 3Dガウススプラッティングは画期的なアプローチとして登場し、高忠実度再構成とリアルタイムレンダリングの能力に注目が集まっている。 そこで我々は,テクスチャ-GSという新しいアプローチを提案し,その外観を3次元表面上にマッピングされた2次元テクスチャとして表現することで幾何学から切り離す。 提案手法は,高精細な外観の編集を容易にするだけでなく,コンシューマレベルのデバイス上でのリアルタイムレンダリングも実現している。
• 参考スコア（独自算出の注目度）: 79.10630153776759
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: 3D Gaussian splatting, emerging as a groundbreaking approach, has drawn increasing attention for its capabilities of high-fidelity reconstruction and real-time rendering. However, it couples the appearance and geometry of the scene within the Gaussian attributes, which hinders the flexibility of editing operations, such as texture swapping. To address this issue, we propose a novel approach, namely Texture-GS, to disentangle the appearance from the geometry by representing it as a 2D texture mapped onto the 3D surface, thereby facilitating appearance editing. Technically, the disentanglement is achieved by our proposed texture mapping module, which consists of a UV mapping MLP to learn the UV coordinates for the 3D Gaussian centers, a local Taylor expansion of the MLP to efficiently approximate the UV coordinates for the ray-Gaussian intersections, and a learnable texture to capture the fine-grained appearance. Extensive experiments on the DTU dataset demonstrate that our method not only facilitates high-fidelity appearance editing but also achieves real-time rendering on consumer-level devices, e.g. a single RTX 2080 Ti GPU.
• Abstract（参考訳）: 3Dガウススプラッティングは画期的なアプローチとして登場し、高忠実度再構成とリアルタイムレンダリングの能力に注目が集まっている。 しかし、ガウス属性内のシーンの外観と幾何学が混在しており、テクスチャスワップのような編集操作の柔軟性を妨げている。 この問題に対処するために,テクスチュア-GSという新しいアプローチを提案し,それを3次元表面上にマッピングした2次元テクスチャとして表現し,外観編集を容易にする。 技術的には、3次元ガウス中心のUV座標を学習するためのUVマッピング MLPと、レイ・ガウス交叉のUV座標を効率的に近似するためのローカルテイラー展開と、きめ細かい外観を捉えるための学習可能なテクスチャから構成される。 DTUデータセットの大規模な実験により、我々の手法は高精細な外観の編集を容易にするだけでなく、単一のRTX 2080 Ti GPUのようなコンシューマレベルのデバイスでのリアルタイムレンダリングも実現している。

関連論文リスト

• 3D Gaussian Splatting with Normal Information for Mesh Extraction and Improved Rendering [8.59572577251833]
  ガウス関数から推定される符号距離関数の勾配を用いた新しい正規化法を提案する。 我々は、Mip-NeRF360、Tamps and Temples、Deep-Blendingなどのデータセットに対するアプローチの有効性を実証する。
  論文  参考訳（メタデータ） (2025-01-14T18:40:33Z)
• GausSurf: Geometry-Guided 3D Gaussian Splatting for Surface Reconstruction [79.42244344704154]
  GausSurfは、テクスチャリッチな領域におけるマルチビュー一貫性と、シーンのテクスチャレスな領域における通常の事前の幾何学的ガイダンスを採用している。 本手法は,再現性や計算時間の観点から,最先端の手法を超越した手法である。
  論文  参考訳（メタデータ） (2024-11-29T03:54:54Z)
• TCLC-GS: Tightly Coupled LiDAR-Camera Gaussian Splatting for Autonomous Driving [14.80202289008908]
  都市シーンの3次元ガウススティング(3D-GS)に基づくほとんどの3次元ガウススティング(3D-GS)は、3D LiDARポイントで直接3Dガウスを初期化する。 我々は,LiDAR-Camera Gaussian Splatting (TCLC-GS) を設計し,LiDARとカメラセンサの双方の強度をフル活用する。 提案手法は高速な訓練を行い,1920x1280 (Waymo) の解像度で90 FPS,都市シナリオで1600x900 (nuScenes) の解像度で120 FPS の解像度でリアルタイム RGB と深度レンダリングを実現する。
  論文  参考訳（メタデータ） (2024-04-03T02:26:15Z)
• UV Gaussians: Joint Learning of Mesh Deformation and Gaussian Textures for Human Avatar Modeling [71.87807614875497]
  メッシュ変形と2次元UV空間のガウステクスチャを共同学習することで3次元人体をモデル化するUVガウスアンを提案する。 我々は,多視点画像,走査モデル,パラメトリックモデル登録,およびそれに対応するテクスチャマップを含む,人間の動作の新たなデータセットを収集し,処理する。
  論文  参考訳（メタデータ） (2024-03-18T09:03:56Z)
• Hybrid Explicit Representation for Ultra-Realistic Head Avatars [55.829497543262214]
  我々は,超現実的な頭部アバターを作成し,それをリアルタイムにレンダリングする新しい手法を提案する。 UVマップされた3Dメッシュは滑らかな表面のシャープでリッチなテクスチャを捉えるのに使われ、3Dガウス格子は複雑な幾何学構造を表現するために用いられる。 モデル化された結果が最先端のアプローチを上回る実験を行ないました。
  論文  参考訳（メタデータ） (2024-03-18T04:01:26Z)
• Nuvo: Neural UV Mapping for Unruly 3D Representations [61.87715912587394]
  既存のUVマッピングアルゴリズムは、最先端の3D再構成と生成技術によって生成された幾何学で動作する。 本稿では,3次元再構成と生成技術により生成された幾何学的手法を用いたUVマッピング手法を提案する。
  論文  参考訳（メタデータ） (2023-12-11T18:58:38Z)
• AUV-Net: Learning Aligned UV Maps for Texture Transfer and Synthesis [78.17671694498185]
  AUV-Netは,3次元表面を2次元に整列したUV空間に埋め込むことを学習する。 結果として、テクスチャはオブジェクト間で整列し、画像の生成モデルによって容易に合成できる。 学習されたUVマッピングとアライメントテクスチャ表現は、テクスチャ転送、テクスチャ合成、テクスチャ化された単一ビュー3D再構成など、さまざまなアプリケーションを可能にする。
  論文  参考訳（メタデータ） (2022-04-06T21:39:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。