Fugu-MT 論文翻訳(概要): SA-GS: Semantic-Aware Gaussian Splatting for Large Scene Reconstruction with Geometry Constrain

論文の概要: SA-GS: Semantic-Aware Gaussian Splatting for Large Scene Reconstruction with Geometry Constrain

arxiv url: http://arxiv.org/abs/2405.16923v2
Date: Tue, 28 May 2024 09:57:56 GMT
ステータス: 処理完了
システム内更新日: 2024-05-29 10:46:21.882313
Title: SA-GS: Semantic-Aware Gaussian Splatting for Large Scene Reconstruction with Geometry Constrain
Title（参考訳）: SA-GS:幾何学的制約を伴う大規模シーン再構成のための意味認識型ガウス切削法
Authors: Butian Xiong, Xiaoyu Ye, Tze Ho Elden Tse, Kai Han, Shuguang Cui, Zhen Li,
Abstract要約: セマンティック・アウェアな3Dガウス・スプラットを用いた細粒度3次元幾何再構成のためのSA-GSという新しい手法を提案する。我々はSAMやDINOのような大きな視覚モデルに格納された事前情報を利用してセマンティックマスクを生成する。我々は,新しい確率密度に基づく抽出法を用いて点雲を抽出し,ガウススプラッツを下流タスクに不可欠な点雲に変換する。
参考スコア（独自算出の注目度）: 43.80789481557894
License: http://creativecommons.org/licenses/by-nc-sa/4.0/
Abstract: With the emergence of Gaussian Splats, recent efforts have focused on large-scale scene geometric reconstruction. However, most of these efforts either concentrate on memory reduction or spatial space division, neglecting information in the semantic space. In this paper, we propose a novel method, named SA-GS, for fine-grained 3D geometry reconstruction using semantic-aware 3D Gaussian Splats. Specifically, we leverage prior information stored in large vision models such as SAM and DINO to generate semantic masks. We then introduce a geometric complexity measurement function to serve as soft regularization, guiding the shape of each Gaussian Splat within specific semantic areas. Additionally, we present a method that estimates the expected number of Gaussian Splats in different semantic areas, effectively providing a lower bound for Gaussian Splats in these areas. Subsequently, we extract the point cloud using a novel probability density-based extraction method, transforming Gaussian Splats into a point cloud crucial for downstream tasks. Our method also offers the potential for detailed semantic inquiries while maintaining high image-based reconstruction results. We provide extensive experiments on publicly available large-scale scene reconstruction datasets with highly accurate point clouds as ground truth and our novel dataset. Our results demonstrate the superiority of our method over current state-of-the-art Gaussian Splats reconstruction methods by a significant margin in terms of geometric-based measurement metrics. Code and additional results will soon be available on our project page.
Abstract（参考訳）: ガウススプラッターの出現に伴い、近年の取り組みは大規模な景観幾何学的復元に焦点が当てられている。しかし、これらの取り組みのほとんどはメモリ削減や空間空間分割に集中しており、意味空間の情報を無視している。本稿では, セマンティック・アウェアな3Dガウス・スプラットを用いた精密な3次元形状再構成のためのSA-GSという新しい手法を提案する。具体的には、SAMやDINOのような大きな視覚モデルに格納された事前情報を利用してセマンティックマスクを生成する。次に、幾何複雑性測定関数を導入し、ソフト正規化として機能し、特定の意味領域における各ガウスプレートの形状を導出する。さらに,異なる意味領域におけるガウススプラッツの期待数を推定し,これらの領域におけるガウススプラッツの下位境界を効果的に提供する手法を提案する。その後,新しい確率密度に基づく抽出法を用いて点雲を抽出し,ガウススプラッツを下流タスクに不可欠な点雲に変換する。提案手法は,高精細なセマンティックな問合せの可能性を秘めつつ,高精細な画像に基づく再構築結果の維持にも有効である。我々は,地上の真実として高精度な点雲と新たなデータセットを用いた,公開可能な大規模シーン再構築データセットに関する広範な実験を行った。提案手法は,現在最先端のガウススプラッツ法よりも幾何的測定値において有意差で優れていることを示す。コードと追加の結果は近いうちにプロジェクトのページで公開されます。

関連論文リスト

Quadratic Gaussian Splatting for Efficient and Detailed Surface Reconstruction [7.500927135156425]
Quadratic Gaussian Splatting (QGS) は、円盤を二次曲面に置き換える新しい方法である。 QGSは、通常の一貫性項を導くために空間曲率を描画し、過剰な平滑化を効果的に低減する。私たちのコードはオープンソースとしてリリースされます。
論文参考訳（メタデータ） (2024-11-25T13:55:00Z)
ShapeSplat: A Large-scale Dataset of Gaussian Splats and Their Self-Supervised Pretraining [104.34751911174196]
ShapeNetとModelNetを用いた大規模3DGSデータセットを構築した。データセットのShapeSplatは、87のユニークなカテゴリから65Kのオブジェクトで構成されています。 textbftextitGaussian-MAEを導入し、ガウスパラメータからの表現学習の独特な利点を強調した。
論文参考訳（メタデータ） (2024-08-20T14:49:14Z)
RaDe-GS: Rasterizing Depth in Gaussian Splatting [32.38730602146176]
Gaussian Splatting (GS) は、高品質でリアルタイムなレンダリングを実現するために、新しいビュー合成に非常に効果的であることが証明されている。本研究は,DTUデータセット上のNeuraLangeloに匹敵するチャムファー距離誤差を導入し,元の3D GS法と同様の計算効率を維持する。
論文参考訳（メタデータ） (2024-06-03T15:56:58Z)
GaussianFormer: Scene as Gaussians for Vision-Based 3D Semantic Occupancy Prediction [70.65250036489128]
3Dのセマンティック占有予測は,周囲のシーンの3Dの微細な形状とセマンティックスを得ることを目的としている。本稿では,3Dシーンを3Dセマンティック・ガウシアンで表現するオブジェクト中心表現を提案する。 GaussianFormerは17.8%から24.8%のメモリ消費しか持たない最先端のメソッドで同等のパフォーマンスを実現している。
論文参考訳（メタデータ） (2024-05-27T17:59:51Z)
MGS-SLAM: Monocular Sparse Tracking and Gaussian Mapping with Depth Smooth Regularization [29.713650915551632]
本稿では,ガウススプラッティングに基づく濃密な視覚的局所化とマッピングのための新しいフレームワークを紹介する。疎視度追跡と3次元ガウススプラッティングのシーン表現を初めて共同で最適化する。ポーズ推定の精度は既存の手法や最先端の手法を超越している。
論文参考訳（メタデータ） (2024-05-10T04:42:21Z)
SAGS: Structure-Aware 3D Gaussian Splatting [53.6730827668389]
本研究では,シーンの形状を暗黙的に符号化する構造認識型ガウス散乱法(SAGS)を提案する。 SAGSは、最先端のレンダリング性能と、ベンチマークノベルビュー合成データセットのストレージ要件の削減を反映している。
論文参考訳（メタデータ） (2024-04-29T23:26:30Z)
AbsGS: Recovering Fine Details for 3D Gaussian Splatting [10.458776364195796]
3D Gaussian Splatting (3D-GS) 技術は3Dプリミティブを相違可能なガウス化と組み合わせて高品質な新規ビュー結果を得る。しかし、3D-GSは、高頻度の詳細を含む複雑なシーンで過度に再構成の問題に悩まされ、ぼやけた描画画像に繋がる。本稿では,前述の人工物,すなわち勾配衝突の原因を包括的に分析する。我々の戦略は過度に再構成された地域のガウス人を効果的に同定し、分割して細部を復元する。
論文参考訳（メタデータ） (2024-04-16T11:44:12Z)
GS2Mesh: Surface Reconstruction from Gaussian Splatting via Novel Stereo Views [9.175560202201819]
3Dガウススプラッティング(3DGS)はシーンを正確に表現するための効率的なアプローチとして登場した。本稿では,ノイズの多い3DGS表現とスムーズな3Dメッシュ表現とのギャップを埋めるための新しい手法を提案する。私たちは、オリジナルのトレーニングポーズに対応するステレオアライメントされたイメージのペアをレンダリングし、ペアをステレオモデルに入力して深度プロファイルを取得し、最後にすべてのプロファイルを融合して単一のメッシュを得る。
論文参考訳（メタデータ） (2024-04-02T10:13:18Z)
GaussianPro: 3D Gaussian Splatting with Progressive Propagation [49.918797726059545]
3DGSはStructure-from-Motion (SfM)技術によって生成されるポイントクラウドに大きく依存している。本稿では, 3次元ガウスの密度化を導くために, プログレッシブ・プログレッシブ・プログレッシブ・ストラテジーを適用した新しい手法を提案する。提案手法はデータセット上の3DGSを大幅に上回り,PSNRでは1.15dBの改善が見られた。
論文参考訳（メタデータ） (2024-02-22T16:00:20Z)
NeuSG: Neural Implicit Surface Reconstruction with 3D Gaussian Splatting Guidance [59.08521048003009]
本稿では,3次元ガウススプラッティングから高精細な表面を復元する神経暗黙的表面再構成パイプラインを提案する。 3Dガウススプラッティングの利点は、詳細な構造を持つ高密度の点雲を生成することができることである。我々は3次元ガウスを極端に薄くすることで、表面に近い中心を引っ張るスケール正則化器を導入する。
論文参考訳（メタデータ） (2023-12-01T07:04:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。