論文の概要: Integrating Meshes and 3D Gaussians for Indoor Scene Reconstruction with SAM Mask Guidance
- arxiv url: http://arxiv.org/abs/2407.16173v1
- Date: Tue, 23 Jul 2024 04:39:04 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-24 18:35:54.604501
- Title: Integrating Meshes and 3D Gaussians for Indoor Scene Reconstruction with SAM Mask Guidance
- Title（参考訳）: SAMマスク誘導による屋内シーン再構築のためのメッシュと3次元ガウスアンの統合
- Authors: Jiyeop Kim, Jongwoo Lim,
- Abstract要約: 本稿では,3次元ガウススプラッティング(3DGS)とメッシュ表現を組み合わせた3次元屋内シーン再構築手法を提案する。
壁や天井,床などの屋内シーンの室内レイアウトにはメッシュを使用し,他のオブジェクトには3Dガウスアンを採用しています。
メッシュと3Dガウスの合同トレーニングは、どのプリミティブがレンダリング画像のどの部分に影響を与えるべきかが明確でないため、難しい。
- 参考スコア（独自算出の注目度）: 7.800607250567994
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We present a novel approach for 3D indoor scene reconstruction that combines 3D Gaussian Splatting (3DGS) with mesh representations. We use meshes for the room layout of the indoor scene, such as walls, ceilings, and floors, while employing 3D Gaussians for other objects. This hybrid approach leverages the strengths of both representations, offering enhanced flexibility and ease of editing. However, joint training of meshes and 3D Gaussians is challenging because it is not clear which primitive should affect which part of the rendered image. Objects close to the room layout often struggle during training, particularly when the room layout is textureless, which can lead to incorrect optimizations and unnecessary 3D Gaussians. To overcome these challenges, we employ Segment Anything Model (SAM) to guide the selection of primitives. The SAM mask loss enforces each instance to be represented by either Gaussians or meshes, ensuring clear separation and stable training. Furthermore, we introduce an additional densification stage without resetting the opacity after the standard densification. This stage mitigates the degradation of image quality caused by a limited number of 3D Gaussians after the standard densification.
- Abstract（参考訳）: 本稿では,3次元ガウススプラッティング(3DGS)とメッシュ表現を組み合わせた3次元屋内シーン再構築手法を提案する。
壁や天井,床などの屋内シーンの室内レイアウトにはメッシュを使用し,他のオブジェクトには3Dガウスアンを採用しています。
このハイブリッドアプローチは両表現の長所を活用し、柔軟性と編集の容易さを向上させる。
しかし、メッシュと3Dガウスの合同トレーニングは、どのプリミティブがレンダリング画像のどの部分に影響を及ぼすべきかがはっきりしないため、難しい。
部屋のレイアウトに近いオブジェクトは、特に部屋のレイアウトがテクスチャレスである場合、トレーニング中に苦労することが多く、誤った最適化と不要な3Dガウスに繋がる可能性がある。
これらの課題を克服するために、プリミティブの選択をガイドするためにSegment Anything Model(SAM)を使用します。
SAMマスクの損失により、各インスタンスはガウスかメッシュのいずれかで表現され、明確な分離と安定したトレーニングが保証される。
さらに, 標準デンシフィケーション後の不透明度をリセットすることなく, さらなるデンシフィケーションステージを導入する。
この段階は標準密度化後の3次元ガウスの限られた数による画質劣化を緩和する。
関連論文リスト
- 3D Convex Splatting: Radiance Field Rendering with 3D Smooth Convexes [87.01284850604495]
多視点画像から幾何学的に有意な放射場をモデル化するためのプリミティブとして3次元滑らかな凸を利用した3次元凸法(3DCS)を提案する。
3DCSは、MipNeizer, Tanks and Temples, Deep Blendingなどのベンチマークで、3DGSよりも優れたパフォーマンスを実現している。
本結果は,高品質なシーン再構築のための新しい標準となる3Dコンベクシングの可能性を強調した。
論文 参考訳（メタデータ） (2024-11-22T14:31:39Z) - MeshGS: Adaptive Mesh-Aligned Gaussian Splatting for High-Quality Rendering [61.64903786502728]
本稿では,メッシュ表現を3次元ガウススプラットと統合し,再現された現実世界のシーンの高品質なレンダリングを実現する手法を提案する。
各ガウススプレートとメッシュ表面との距離を, 密接な束縛と緩い束縛の相違点として検討した。
提案手法は,2dB高いPSNRを達成し,メッシュベースのガウス分割法を1.3dBPSNRで上回った。
論文 参考訳（メタデータ） (2024-10-11T16:07:59Z) - Contrastive Gaussian Clustering: Weakly Supervised 3D Scene Segmentation [14.967600484476385]
本稿では,任意の視点からセグメンテーションマスクを提供する新しいアプローチであるContrastive Gaussian Clusteringを紹介する。
本手法は,不整合な2次元セグメンテーションマスクを用いてトレーニングが可能であり,また,すべてのビューに一貫性のあるセグメンテーションマスクの生成も学べる。
結果のモデルは非常に正確で、予測されたマスクのIoU精度を、最先端で+8%以上向上させる。
論文 参考訳（メタデータ） (2024-04-19T10:47:53Z) - Bridging 3D Gaussian and Mesh for Freeview Video Rendering [57.21847030980905]
GauMeshはダイナミックシーンのモデリングとレンダリングのために3D GaussianとMeshをブリッジする。
提案手法は, 動的シーンの異なる部分を表現するために, プリミティブの適切なタイプに適応することを示す。
論文 参考訳（メタデータ） (2024-03-18T04:01:26Z) - SAGD: Boundary-Enhanced Segment Anything in 3D Gaussian via Gaussian Decomposition [66.80822249039235]
3Dガウススプラッティングは、新しいビュー合成のための代替の3D表現として登場した。
SAGDは3D-GSのための概念的にシンプルで効果的な境界拡張パイプラインである。
提案手法は粗い境界問題なく高品質な3Dセグメンテーションを実現し,他のシーン編集作業にも容易に適用できる。
論文 参考訳（メタデータ） (2024-01-31T14:19:03Z) - Compact 3D Scene Representation via Self-Organizing Gaussian Grids [10.816451552362823]
3D Gaussian Splattingは、静的な3Dシーンをモデリングするための非常に有望なテクニックとして最近登場した。
本稿では3DGSのパラメータを局所的均一性を持つ2次元グリッドに整理したコンパクトなシーン表現を提案する。
本手法は,訓練時間の増加を伴わない複雑なシーンに対して,17倍から42倍の縮小係数を実現する。
論文 参考訳（メタデータ） (2023-12-19T20:18:29Z) - Gaussian Grouping: Segment and Edit Anything in 3D Scenes [65.49196142146292]
ガウシアン・グルーピング(ガウシアン・グルーピング)はガウシアン・スプラッティングを拡張して,オープンワールドの3Dシーンで何かを共同で再構築・分割する。
暗黙のNeRF表現と比較すると,グループ化された3次元ガウシアンは,高画質,微粒度,高効率で,あらゆるものを3次元で再構成,分割,編集することができる。
論文 参考訳（メタデータ） (2023-12-01T17:09:31Z) - HumanGaussian: Text-Driven 3D Human Generation with Gaussian Splatting [113.37908093915837]
既存の方法は、スコア蒸留サンプリング(SDS)を通じてメッシュやニューラルフィールドのような3D表現を最適化する。
本稿では,高精細な形状とリアルな外観を持つ高品質な3D人間を創出する,効率的かつ効果的な枠組みであるHumanGaussianを提案する。
論文 参考訳（メタデータ） (2023-11-28T18:59:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。