Fugu-MT 論文翻訳(概要): ShapeSplat: A Large-scale Dataset of Gaussian Splats and Their Self-Supervised Pretraining

論文の概要: ShapeSplat: A Large-scale Dataset of Gaussian Splats and Their Self-Supervised Pretraining

arxiv url: http://arxiv.org/abs/2408.10906v1
Date: Tue, 20 Aug 2024 14:49:14 GMT
ステータス: 処理完了
システム内更新日: 2024-08-21 13:15:27.891022
Title: ShapeSplat: A Large-scale Dataset of Gaussian Splats and Their Self-Supervised Pretraining
Title（参考訳）: ShapeSplat: ガウスプレートの大規模データセットと自己監督型事前トレーニング
Authors: Qi Ma, Yue Li, Bin Ren, Nicu Sebe, Ender Konukoglu, Theo Gevers, Luc Van Gool, Danda Pani Paudel,
Abstract要約: ShapeNetとModelNetを用いた大規模3DGSデータセットを構築した。データセットのShapeSplatは、87のユニークなカテゴリから65Kのオブジェクトで構成されています。 textbftextitGaussian-MAEを導入し、ガウスパラメータからの表現学習の独特な利点を強調した。
参考スコア（独自算出の注目度）: 104.34751911174196
License: http://creativecommons.org/licenses/by/4.0/
Abstract: 3D Gaussian Splatting (3DGS) has become the de facto method of 3D representation in many vision tasks. This calls for the 3D understanding directly in this representation space. To facilitate the research in this direction, we first build a large-scale dataset of 3DGS using the commonly used ShapeNet and ModelNet datasets. Our dataset ShapeSplat consists of 65K objects from 87 unique categories, whose labels are in accordance with the respective datasets. The creation of this dataset utilized the compute equivalent of 2 GPU years on a TITAN XP GPU. We utilize our dataset for unsupervised pretraining and supervised finetuning for classification and segmentation tasks. To this end, we introduce \textbf{\textit{Gaussian-MAE}}, which highlights the unique benefits of representation learning from Gaussian parameters. Through exhaustive experiments, we provide several valuable insights. In particular, we show that (1) the distribution of the optimized GS centroids significantly differs from the uniformly sampled point cloud (used for initialization) counterpart; (2) this change in distribution results in degradation in classification but improvement in segmentation tasks when using only the centroids; (3) to leverage additional Gaussian parameters, we propose Gaussian feature grouping in a normalized feature space, along with splats pooling layer, offering a tailored solution to effectively group and embed similar Gaussians, which leads to notable improvement in finetuning tasks.
Abstract（参考訳）: 3D Gaussian Splatting (3DGS)は多くの視覚タスクにおいて3D表現の事実上の方法となっている。これにより、この表現空間における3D理解を直接呼び出すことができる。この方向の研究を容易にするために、我々はまず、よく使われるShapeNetとModelNetのデータセットを用いて、3DGSの大規模データセットを構築します。データセットのShapeSplatは、87のユニークなカテゴリから65Kのオブジェクトで構成されており、ラベルはそれぞれのデータセットに従っている。このデータセットの作成は、TITAN XP GPU上での2GPUの計算値を利用した。我々はデータセットを教師なし事前学習と教師なし微調整に利用し、分類とセグメンテーションのタスクに役立てる。この目的のために,ガウスパラメータからの表現学習の独特な利点を強調した \textbf{\textit{Gaussian-MAE}} を導入する。徹底的な実験を通じて、我々はいくつかの貴重な洞察を提供する。特に,(1) 最適化された GS セントロイドの分布は, (初期化に使用される) 一様にサンプリングされた点群とは大きく異なり, (2) 分布の変化は分類の低下をもたらすが, セグメンテーションタスクの改善をもたらす。

関連論文リスト

TSGaussian: Semantic and Depth-Guided Target-Specific Gaussian Splatting from Sparse Views [18.050257821756148]
TSGaussianは、新しいビュー合成タスクにおける幾何学的劣化を避けるために、意味的制約と深さ事前の制約を組み合わせる新しいフレームワークである。提案手法は,バックグラウンドアロケーションを最小化しながら,指定された目標に対する計算資源の優先順位付けを行う。大規模な実験により、TSGaussianは3つの標準データセット上で最先端の手法より優れていることが示された。
論文参考訳（メタデータ） (2024-12-13T11:26:38Z)
GaussianFormer-2: Probabilistic Gaussian Superposition for Efficient 3D Occupancy Prediction [55.60972844777044]
3Dセマンティック占有予測は、堅牢な視覚中心の自律運転において重要な課題である。既存のほとんどの手法は、密度の高いグリッドベースのシーン表現を利用しており、運転シーンの空間的空間性を見渡している。本稿では,各ガウス分布をその周辺領域の確率分布として解釈する確率論的ガウス重ね合わせモデルを提案する。
論文参考訳（メタデータ） (2024-12-05T17:59:58Z)
Planar Gaussian Splatting [42.74999794635269]
Planar Gaussian Splatting (PGS)は、3D幾何学を学習し、シーンの3D平面を解析する新しいニューラルネットワーク手法である。 PGSは3次元平面ラベルや深度監視を必要とせず、3次元平面再構成における最先端の性能を達成する。
論文参考訳（メタデータ） (2024-12-02T19:46:43Z)
HiSplat: Hierarchical 3D Gaussian Splatting for Generalizable Sparse-View Reconstruction [46.269350101349715]
HiSplatは、一般化可能な3Dガウススプラッティングのための新しいフレームワークである。階層的な3Dガウスを粗大な戦略で生成する。これにより、再構築品質とデータセット間の一般化が大幅に向上する。
論文参考訳（メタデータ） (2024-10-08T17:59:32Z)
GaussianFormer: Scene as Gaussians for Vision-Based 3D Semantic Occupancy Prediction [70.65250036489128]
3Dのセマンティック占有予測は,周囲のシーンの3Dの微細な形状とセマンティックスを得ることを目的としている。本稿では,3Dシーンを3Dセマンティック・ガウシアンで表現するオブジェクト中心表現を提案する。 GaussianFormerは17.8%から24.8%のメモリ消費しか持たない最先端のメソッドで同等のパフォーマンスを実現している。
論文参考訳（メタデータ） (2024-05-27T17:59:51Z)
CompGS: Efficient 3D Scene Representation via Compressed Gaussian Splatting [68.94594215660473]
Compressed Gaussian Splatting (CompGS) という,効率的な3次元シーン表現を提案する。我々は少数のアンカープリミティブを予測に利用し、プリミティブの大多数を非常にコンパクトな残留形にカプセル化することができる。実験の結果,提案手法は既存の手法よりも優れており,モデル精度とレンダリング品質を損なうことなく,3次元シーン表現のコンパクト性に優れていた。
論文参考訳（メタデータ） (2024-04-15T04:50:39Z)
GES: Generalized Exponential Splatting for Efficient Radiance Field Rendering [112.16239342037714]
GES(Generalized Exponential Splatting)は、GEF(Generalized Exponential Function)を用いて3Dシーンをモデル化する斬新な表現である。周波数変調損失の助けを借りて、GESは新規なビュー合成ベンチマークにおいて競合性能を達成する。
論文参考訳（メタデータ） (2024-02-15T17:32:50Z)
Learning Segmented 3D Gaussians via Efficient Feature Unprojection for Zero-shot Neural Scene Segmentation [16.57158278095853]
ゼロショットニューラルシーンセグメンテーションはシーン理解に有効な方法である。既存のモデル、特に効率的な3Dガウス法は、コンパクトなセグメンテーションの結果を生み出すのに苦労している。セグメンテーションフィールドとしてFeature UnprojectionとFusionモジュールを提案する。本モデルでは,ゼロショットセマンティックセグメンテーションタスクのベースラインを超越し,最良ベースラインよりも10%mIoU向上を図っている。
論文参考訳（メタデータ） (2024-01-11T14:05:01Z)
GS-SLAM: Dense Visual SLAM with 3D Gaussian Splatting [51.96353586773191]
我々は,まず3次元ガウス表現を利用したtextbfGS-SLAM を提案する。提案手法は,地図の最適化とRGB-Dレンダリングの大幅な高速化を実現するリアルタイム微分可能なスプレイティングレンダリングパイプラインを利用する。提案手法は,Replica,TUM-RGBDデータセット上の既存の最先端リアルタイム手法と比較して,競争性能が向上する。
論文参考訳（メタデータ） (2023-11-20T12:08:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。