論文の概要: Learning Part-aware 3D Representations by Fusing 2D Gaussians and Superquadrics
- arxiv url: http://arxiv.org/abs/2408.10789v1
- Date: Tue, 20 Aug 2024 12:30:37 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-21 13:45:16.806244
- Title: Learning Part-aware 3D Representations by Fusing 2D Gaussians and Superquadrics
- Title(参考訳): 2次元ガウスとスーパークワッドリックを融合した部分認識3次元表現の学習
- Authors: Zhirui Gao, Renjiao Yi, Yuhang Huang, Wei Chen, Chenyang Zhu, Kai Xu,
- Abstract要約: ポイントクラウド、メッシュ、NeRF、そして3Dガウスのような低レベルの3D表現は、一般的に3Dオブジェクトやシーンを表現するために使用される。
オブジェクトやシーンをセマンティックな部分に解析する部分認識型3D再構成の実現を目指している。
- 参考スコア(独自算出の注目度): 16.446659867133977
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Low-level 3D representations, such as point clouds, meshes, NeRFs, and 3D Gaussians, are commonly used to represent 3D objects or scenes. However, humans usually perceive 3D objects or scenes at a higher level as a composition of parts or structures rather than points or voxels. Representing 3D as semantic parts can benefit further understanding and applications. We aim to solve part-aware 3D reconstruction, which parses objects or scenes into semantic parts. In this paper, we introduce a hybrid representation of superquadrics and 2D Gaussians, trying to dig 3D structural clues from multi-view image inputs. Accurate structured geometry reconstruction and high-quality rendering are achieved at the same time. We incorporate parametric superquadrics in mesh forms into 2D Gaussians by attaching Gaussian centers to faces in meshes. During the training, superquadrics parameters are iteratively optimized, and Gaussians are deformed accordingly, resulting in an efficient hybrid representation. On the one hand, this hybrid representation inherits the advantage of superquadrics to represent different shape primitives, supporting flexible part decomposition of scenes. On the other hand, 2D Gaussians are incorporated to model the complex texture and geometry details, ensuring high-quality rendering and geometry reconstruction. The reconstruction is fully unsupervised. We conduct extensive experiments on data from DTU and ShapeNet datasets, in which the method decomposes scenes into reasonable parts, outperforming existing state-of-the-art approaches.
- Abstract(参考訳): ポイントクラウド、メッシュ、NeRF、そして3Dガウスのような低レベルの3D表現は、一般的に3Dオブジェクトやシーンを表現するために使用される。
しかしながら、人間は通常、点やボクセルではなく、部品や構造の合成として、より高いレベルで3Dオブジェクトやシーンを知覚する。
3Dをセマンティックな部分として表現することは、さらなる理解と応用に役立つ。
オブジェクトやシーンをセマンティックな部分に解析する部分認識型3D再構成の実現を目指している。
本稿では,スーパークワッドリックと2次元ガウスのハイブリッド表現を導入し,多視点画像入力から3次元構造的手がかりを掘り起こそうとする。
正確な構造的幾何再構成と高品質なレンダリングを同時に達成する。
メッシュの面にガウス中心をアタッチすることで、2次元ガウス中心にパラメトリックスーパークワッドリックをメッシュ形式に組み込む。
トレーニング中、スーパークワッドリックのパラメータは反復的に最適化され、ガウスはそれに従って変形し、効率的なハイブリッド表現をもたらす。
一方、このハイブリッド表現は、異なる形状のプリミティブを表現するためにスーパークワッドリックの利点を継承し、シーンのフレキシブルな部分分解をサポートする。
一方、2Dガウスアンは複雑なテクスチャと幾何学の詳細をモデル化し、高品質なレンダリングと幾何再構成を保証するために組み込まれている。
再建は完全に監督されていない。
我々はDTUとShapeNetのデータセットから得られたデータを広範囲に実験し、シーンを合理的な部分に分解し、既存の最先端のアプローチより優れています。
関連論文リスト
- GSD: View-Guided Gaussian Splatting Diffusion for 3D Reconstruction [52.04103235260539]
単一視点からの3次元オブジェクト再構成のためのガウススプティング表現に基づく拡散モデル手法を提案する。
モデルはGS楕円体の集合で表される3Dオブジェクトを生成することを学習する。
最終的な再構成されたオブジェクトは、高品質な3D構造とテクスチャを持ち、任意のビューで効率的にレンダリングできる。
論文 参考訳(メタデータ) (2024-07-05T03:43:08Z) - 3D Geometry-aware Deformable Gaussian Splatting for Dynamic View Synthesis [49.352765055181436]
動的ビュー合成のための3次元幾何学的変形可能なガウススメッティング法を提案する。
提案手法は,動的ビュー合成と3次元動的再構成を改良した3次元形状認識変形モデリングを実現する。
論文 参考訳(メタデータ) (2024-04-09T12:47:30Z) - Gaussian Grouping: Segment and Edit Anything in 3D Scenes [65.49196142146292]
ガウシアン・グルーピング(ガウシアン・グルーピング)はガウシアン・スプラッティングを拡張して,オープンワールドの3Dシーンで何かを共同で再構築・分割する。
暗黙のNeRF表現と比較すると,グループ化された3次元ガウシアンは,高画質,微粒度,高効率で,あらゆるものを3次元で再構成,分割,編集することができる。
論文 参考訳(メタデータ) (2023-12-01T17:09:31Z) - MvDeCor: Multi-view Dense Correspondence Learning for Fine-grained 3D
Segmentation [91.6658845016214]
そこで本研究では,2次元領域における自己教師型手法を,微細な3次元形状分割作業に活用することを提案する。
複数のビューから3次元形状を描画し、コントラスト学習フレームワーク内に密接な対応学習タスクを設置する。
その結果、学習された2次元表現はビュー不変であり、幾何学的に一貫性がある。
論文 参考訳(メタデータ) (2022-08-18T00:48:15Z) - DensePose 3D: Lifting Canonical Surface Maps of Articulated Objects to
the Third Dimension [71.71234436165255]
DensePose 3Dは2次元画像アノテーションのみから弱い教師付きで再構築を学習できる手法である。
3Dスキャンを必要としないため、DensePose 3Dは異なる動物種などの幅広いカテゴリーの学習に利用できる。
我々は,人間と動物のカテゴリーの合成データと実データの両方をベースラインとして,最先端の非剛体構造と比較し,顕著な改善を示した。
論文 参考訳(メタデータ) (2021-08-31T18:33:55Z) - Implicit Functions in Feature Space for 3D Shape Reconstruction and
Completion [53.885984328273686]
Implicit Feature Networks (IF-Nets) は連続的な出力を提供し、複数のトポロジを扱える。
IF-NetsはShapeNetにおける3次元オブジェクト再構成における先行作業よりも明らかに優れており、より正確な3次元人間の再構成が得られる。
論文 参考訳(メタデータ) (2020-03-03T11:14:29Z) - 3D Shape Segmentation with Geometric Deep Learning [2.512827436728378]
本稿では,部分分割問題としてセグメント化全体を解くために,3次元形状の3次元拡張ビューを生成するニューラルネットワークベースのアプローチを提案する。
提案手法は,公開データセットの3次元形状と,フォトグラム法を用いて再構成した実物体を用いて検証する。
論文 参考訳(メタデータ) (2020-02-02T14:11:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。