論文の概要: FAST-Splat: Fast, Ambiguity-Free Semantics Transfer in Gaussian Splatting
- arxiv url: http://arxiv.org/abs/2411.13753v1
- Date: Wed, 20 Nov 2024 23:36:46 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-11-22 15:19:18.449068
- Title: FAST-Splat: Fast, Ambiguity-Free Semantics Transfer in Gaussian Splatting
- Title（参考訳）: FAST-Splat:ガウス版における高速・曖昧な意味伝達
- Authors: Ola Shorinwa, Jiankai Sun, Mac Schwager,
- Abstract要約: FAST-Splat for fast, ambiguity-free semantic Gaussian Splatting。
オープン・ボキャブラリ・セマンティック・プレーティングをオープン・ボキャブラリ・セマンティック・蒸留をオープン・ボキャブラリ・セッティングに拡張する問題として定式化する。
FAST-Splatは、ガウススティングシーン表現の明示的な形式を活用することで、ガウススティングの顕著なトレーニングとレンダリング速度を維持している。
- 参考スコア（独自算出の注目度）: 18.23078042092405
- License:
- Abstract: We present FAST-Splat for fast, ambiguity-free semantic Gaussian Splatting, which seeks to address the main limitations of existing semantic Gaussian Splatting methods, namely: slow training and rendering speeds; high memory usage; and ambiguous semantic object localization. In deriving FAST-Splat , we formulate open-vocabulary semantic Gaussian Splatting as the problem of extending closed-set semantic distillation to the open-set (open-vocabulary) setting, enabling FAST-Splat to provide precise semantic object localization results, even when prompted with ambiguous user-provided natural-language queries. Further, by exploiting the explicit form of the Gaussian Splatting scene representation to the fullest extent, FAST-Splat retains the remarkable training and rendering speeds of Gaussian Splatting. Specifically, while existing semantic Gaussian Splatting methods distill semantics into a separate neural field or utilize neural models for dimensionality reduction, FAST-Splat directly augments each Gaussian with specific semantic codes, preserving the training, rendering, and memory-usage advantages of Gaussian Splatting over neural field methods. These Gaussian-specific semantic codes, together with a hash-table, enable semantic similarity to be measured with open-vocabulary user prompts and further enable FAST-Splat to respond with unambiguous semantic object labels and 3D masks, unlike prior methods. In experiments, we demonstrate that FAST-Splat is 4x to 6x faster to train with a 13x faster data pre-processing step, achieves between 18x to 75x faster rendering speeds, and requires about 3x smaller GPU memory, compared to the best-competing semantic Gaussian Splatting methods. Further, FAST-Splat achieves relatively similar or better semantic segmentation performance compared to existing methods. After the review period, we will provide links to the project website and the codebase.
- Abstract（参考訳）: FAST-Splat for fast, ambiguity-free semantic Gaussian Splatting, we seek to address the main limit of existing semantic Gaussian Splatting method, すなわち、遅いトレーニングとレンダリング速度、高いメモリ使用量、あいまいなセマンティックオブジェクトローカライゼーション。
FAST-Splatを導出する際、オープンセットのセマンティック蒸留をオープンセット(オープンボキャブラリ)設定に拡張する問題として、オープンボキャブラリセマンティック・ガウシアン・スプラッティングを定式化し、不明瞭なユーザが提供する自然言語クエリをインプットしても、FAST-Splatが正確なセマンティック・オブジェクトのローカライゼーション結果を提供できるようにした。
さらに、ガウススティングシーンの明示的な表現を最大限に活用することにより、FAST-Splatはガウススティングの顕著なトレーニングとレンダリング速度を維持している。
具体的には、既存のセマンティック・ガウシアン・スプレイティング法では、セマンティックスを別のニューラルネットワークに蒸留したり、次元の減少のためにニューラルモデルを利用するが、FAST-Splatでは、各ガウシアンに特定のセマンティック・コードを直接拡張し、トレーニング、レンダリング、そしてガウシアン・スプレイティングのニューラルネットワーク法に対するメモリ使用の利点を保っている。
これらのガウス固有のセマンティックコードとハッシュテーブルは、オープン語彙のユーザプロンプトでセマンティックな類似性を計測し、FAST-Splatが従来の方法とは異なり、あいまいなセマンティックオブジェクトラベルや3Dマスクで応答できるようにする。
実験では、FAST-Splatは、13倍高速なデータ前処理ステップでトレーニングが4倍から6倍速く、レンダリング速度が18倍から75倍速く、GPUメモリが3倍小さいことを実証した。
さらに、FAST-Splatは既存の手法と比較して、比較的類似またはより良いセマンティックセグメンテーション性能を実現している。
レビュー期間の後、プロジェクトのWebサイトとコードベースへのリンクを提供します。
関連論文リスト
- EasySplat: View-Adaptive Learning makes 3D Gaussian Splatting Easy [34.27245715540978]
高品質な3DGSモデリングを実現するための新しいフレームワークEasySplatを提案する。
本稿では、ビュー類似性に基づく効率的なグループ化戦略を提案し、高品質な点雲を得るためにロバストな点マップを前もって利用する。
信頼性の高いシーン構造を得た後、近隣のガウス楕円体の平均形状に基づいてガウス原始体を適応的に分割する新しいデンシフィケーション手法を提案する。
論文 参考訳（メタデータ） (2025-01-02T01:56:58Z) - Occam's LGS: A Simple Approach for Language Gaussian Splatting [57.00354758206751]
言語接地型3次元ガウススプラッティングの高度な技術は、単に不要であることを示す。
オッカムのカミソリを手作業に適用し、重み付けされた多視点特徴集計を行う。
我々の結果は2桁のスピードアップによる最先端の結果を提供する。
論文 参考訳（メタデータ） (2024-12-02T18:50:37Z) - GOI: Find 3D Gaussians of Interest with an Optimizable Open-vocabulary Semantic-space Hyperplane [53.388937705785025]
3Dオープンボキャブラリのシーン理解は、拡張現実とロボット応用の推進に不可欠である。
GOIは2次元視覚言語基礎モデルから3次元ガウススプラッティング(3DGS)に意味的特徴を統合するフレームワークである。
提案手法では,特徴空間内の超平面分割として特徴選択処理を扱い,クエリに関連性の高い特徴のみを保持する。
論文 参考訳（メタデータ） (2024-05-27T18:57:18Z) - CLIP-GS: CLIP-Informed Gaussian Splatting for Real-time and View-consistent 3D Semantic Understanding [32.76277160013881]
コントラスト言語画像事前学習(CLIP)のセマンティクスをガウススプラッティングに統合するCLIP-GSを提案する。
SACはオブジェクト内の固有の統一意味論を利用して、3Dガウスのコンパクトで効果的な意味表現を学ぶ。
また,3次元モデルから得られた多視点一貫性を利用して,3次元コヒーレント自己学習(3DCS)戦略を導入する。
論文 参考訳（メタデータ） (2024-04-22T15:01:32Z) - latentSplat: Autoencoding Variational Gaussians for Fast Generalizable 3D Reconstruction [48.86083272054711]
latentSplatは3D潜在空間における意味ガウスを予測し、軽量な生成型2Dアーキテクチャで切り落としてデコードする手法である。
latentSplatは、高速でスケーラブルで高解像度なデータでありながら、復元品質と一般化におけるこれまでの成果よりも優れていることを示す。
論文 参考訳（メタデータ） (2024-03-24T20:48:36Z) - MVSplat: Efficient 3D Gaussian Splatting from Sparse Multi-View Images [102.7646120414055]
入力としてスパースなマルチビュー画像を与えられたMVSplatは、クリーンなフィードフォワード3Dガウスを予測できる。
大規模RealEstate10KとACIDベンチマークでは、MVSplatは高速フィードフォワード推論速度(22fps)で最先端のパフォーマンスを達成する。
論文 参考訳（メタデータ） (2024-03-21T17:59:58Z) - GES: Generalized Exponential Splatting for Efficient Radiance Field Rendering [112.16239342037714]
GES(Generalized Exponential Splatting)は、GEF(Generalized Exponential Function)を用いて3Dシーンをモデル化する斬新な表現である。
周波数変調損失の助けを借りて、GESは新規なビュー合成ベンチマークにおいて競合性能を達成する。
論文 参考訳（メタデータ） (2024-02-15T17:32:50Z) - GS-SLAM: Dense Visual SLAM with 3D Gaussian Splatting [51.96353586773191]
我々は,まず3次元ガウス表現を利用したtextbfGS-SLAM を提案する。
提案手法は,地図の最適化とRGB-Dレンダリングの大幅な高速化を実現するリアルタイム微分可能なスプレイティングレンダリングパイプラインを利用する。
提案手法は,Replica,TUM-RGBDデータセット上の既存の最先端リアルタイム手法と比較して,競争性能が向上する。
論文 参考訳（メタデータ） (2023-11-20T12:08:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。