論文の概要: FAST-Splat: Fast, Ambiguity-Free Semantics Transfer in Gaussian Splatting
- arxiv url: http://arxiv.org/abs/2411.13753v1
- Date: Wed, 20 Nov 2024 23:36:46 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-11-28 17:07:49.672877
- Title: FAST-Splat: Fast, Ambiguity-Free Semantics Transfer in Gaussian Splatting
- Title（参考訳）: FAST-Splat:ガウス版における高速・曖昧な意味伝達
- Authors: Ola Shorinwa, Jiankai Sun, Mac Schwager,
- Abstract要約: FAST-Splat for fast, ambiguity-free semantic Gaussian Splatting。
オープン・ボキャブラリ・セマンティック・プレーティングをオープン・ボキャブラリ・セマンティック・蒸留をオープン・ボキャブラリ・セッティングに拡張する問題として定式化する。
FAST-Splatは、ガウススティングシーン表現の明示的な形式を活用することで、ガウススティングの顕著なトレーニングとレンダリング速度を維持している。
- 参考スコア（独自算出の注目度）: 18.23078042092405
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We present FAST-Splat for fast, ambiguity-free semantic Gaussian Splatting, which seeks to address the main limitations of existing semantic Gaussian Splatting methods, namely: slow training and rendering speeds; high memory usage; and ambiguous semantic object localization. In deriving FAST-Splat , we formulate open-vocabulary semantic Gaussian Splatting as the problem of extending closed-set semantic distillation to the open-set (open-vocabulary) setting, enabling FAST-Splat to provide precise semantic object localization results, even when prompted with ambiguous user-provided natural-language queries. Further, by exploiting the explicit form of the Gaussian Splatting scene representation to the fullest extent, FAST-Splat retains the remarkable training and rendering speeds of Gaussian Splatting. Specifically, while existing semantic Gaussian Splatting methods distill semantics into a separate neural field or utilize neural models for dimensionality reduction, FAST-Splat directly augments each Gaussian with specific semantic codes, preserving the training, rendering, and memory-usage advantages of Gaussian Splatting over neural field methods. These Gaussian-specific semantic codes, together with a hash-table, enable semantic similarity to be measured with open-vocabulary user prompts and further enable FAST-Splat to respond with unambiguous semantic object labels and 3D masks, unlike prior methods. In experiments, we demonstrate that FAST-Splat is 4x to 6x faster to train with a 13x faster data pre-processing step, achieves between 18x to 75x faster rendering speeds, and requires about 3x smaller GPU memory, compared to the best-competing semantic Gaussian Splatting methods. Further, FAST-Splat achieves relatively similar or better semantic segmentation performance compared to existing methods. After the review period, we will provide links to the project website and the codebase.
- Abstract（参考訳）: FAST-Splat for fast, ambiguity-free semantic Gaussian Splatting, we seek to address the main limit of existing semantic Gaussian Splatting method, すなわち、遅いトレーニングとレンダリング速度、高いメモリ使用量、あいまいなセマンティックオブジェクトローカライゼーション。
FAST-Splatを導出する際、オープンセットのセマンティック蒸留をオープンセット(オープンボキャブラリ)設定に拡張する問題として、オープンボキャブラリセマンティック・ガウシアン・スプラッティングを定式化し、不明瞭なユーザが提供する自然言語クエリをインプットしても、FAST-Splatが正確なセマンティック・オブジェクトのローカライゼーション結果を提供できるようにした。
さらに、ガウススティングシーンの明示的な表現を最大限に活用することにより、FAST-Splatはガウススティングの顕著なトレーニングとレンダリング速度を維持している。
具体的には、既存のセマンティック・ガウシアン・スプレイティング法では、セマンティックスを別のニューラルネットワークに蒸留したり、次元の減少のためにニューラルモデルを利用するが、FAST-Splatでは、各ガウシアンに特定のセマンティック・コードを直接拡張し、トレーニング、レンダリング、そしてガウシアン・スプレイティングのニューラルネットワーク法に対するメモリ使用の利点を保っている。
これらのガウス固有のセマンティックコードとハッシュテーブルは、オープン語彙のユーザプロンプトでセマンティックな類似性を計測し、FAST-Splatが従来の方法とは異なり、あいまいなセマンティックオブジェクトラベルや3Dマスクで応答できるようにする。
実験では、FAST-Splatは、13倍高速なデータ前処理ステップでトレーニングが4倍から6倍速く、レンダリング速度が18倍から75倍速く、GPUメモリが3倍小さいことを実証した。
さらに、FAST-Splatは既存の手法と比較して、比較的類似またはより良いセマンティックセグメンテーション性能を実現している。
レビュー期間の後、プロジェクトのWebサイトとコードベースへのリンクを提供します。
関連論文リスト
- Training-Free Hierarchical Scene Understanding for Gaussian Splatting with Superpoint Graphs [16.153129392697885]
ガウス原始体から直接スーパーポイントグラフを構築する訓練自由フレームワークを導入する。
スーパーポイントグラフはシーンを空間的にコンパクトでセマンティックなコヒーレントな領域に分割し、ビュー一貫性の3Dエンティティを形成する。
提案手法は,30時間以上のセグメンテーションを高速化し,最先端のオープン語彙セグメンテーション性能を実現する。
論文 参考訳（メタデータ） (2025-04-17T17:56:07Z) - Semantic Consistent Language Gaussian Splatting for Point-Level Open-vocabulary Querying [20.478039009510464]
本稿では,LangSplatのフレームワーク上に構築されたポイントレベルのクエリ手法を提案する。
提案手法は,3D-OVSデータセット上でのmIoUによる+20.42の改善を実現する。
論文 参考訳（メタデータ） (2025-03-27T17:59:05Z) - OpenGS-SLAM: Open-Set Dense Semantic SLAM with 3D Gaussian Splatting for Object-Level Scene Understanding [20.578106363482018]
OpenGS-SLAMは3次元ガウス表現を利用して、オープンセット環境で密接なセマンティックSLAMを実行する革新的なフレームワークである。
本システムは,2次元モデルから派生した明示的なセマンティックラベルを3次元ガウスフレームワークに統合し,ロバストな3次元オブジェクトレベルの理解を容易にする。
本手法は従来の手法に比べて10倍高速なセマンティックレンダリングと2倍のストレージコストを実現する。
論文 参考訳（メタデータ） (2025-03-03T15:23:21Z) - Efficient Gaussian Splatting for Monocular Dynamic Scene Rendering via Sparse Time-Variant Attribute Modeling [64.84686527988809]
Deformable Gaussian Splattingは、現実世界のダイナミックなシーンを表現する堅牢なソリューションとして登場した。
提案手法は,古典的カーネル表現を用いて計算された密度ガウスの運動流を用いて,スパースアンカーグリッド表現を用いて動的シーンを定式化する。
2つの実世界のデータセットの実験により、EDGSはレンダリング速度を大幅に改善し、より優れたレンダリング品質を実現しています。
論文 参考訳（メタデータ） (2025-02-27T18:53:06Z) - Occam's LGS: An Efficient Approach for Language Gaussian Splatting [57.00354758206751]
言語3Dガウススプラッティングのための複雑なパイプラインは、単純に不要であることを示す。
我々は,オッカムのカミソリを手作業に適用し,高効率な重み付き多視点特徴集約技術を実現する。
論文 参考訳（メタデータ） (2024-12-02T18:50:37Z) - SLAck: Semantic, Location, and Appearance Aware Open-Vocabulary Tracking [89.43370214059955]
Open-vocabulary Multiple Object Tracking (MOT)は、トレーニングセットにはない新しいカテゴリにトラッカーを一般化することを目的としている。
我々は,連合の初期段階において,意味論,位置,出現の先行を共同で検討する統一的な枠組みを提案する。
提案手法は,異なるキューを融合するための複雑な後処理を排除し,大規模オープン語彙追跡のための関連性能を大幅に向上させる。
論文 参考訳（メタデータ） (2024-09-17T14:36:58Z) - FastLGS: Speeding up Language Embedded Gaussians with Feature Grid Mapping [29.5427444688567]
我々は高解像度で3Dガウススプラッティング(3DGS)内でリアルタイムなオープン語彙クエリをサポートするアプローチであるFastLGSを提案する。
FastLGSはLERFより98倍、LangSplatより4倍速い。
実験により、FastLGSは3Dセグメンテーションや3Dオブジェクトのインペイントなど、多くの下流タスクに適応し、互換性があることが示されている。
論文 参考訳（メタデータ） (2024-06-04T02:57:09Z) - GOI: Find 3D Gaussians of Interest with an Optimizable Open-vocabulary Semantic-space Hyperplane [53.388937705785025]
3Dオープンボキャブラリのシーン理解は、拡張現実とロボット応用の推進に不可欠である。
GOIは2次元視覚言語基礎モデルから3次元ガウススプラッティング(3DGS)に意味的特徴を統合するフレームワークである。
提案手法では,特徴空間内の超平面分割として特徴選択処理を扱い,クエリに関連性の高い特徴のみを保持する。
論文 参考訳（メタデータ） (2024-05-27T18:57:18Z) - CLIP-GS: CLIP-Informed Gaussian Splatting for Real-time and View-consistent 3D Semantic Understanding [32.76277160013881]
コントラスト言語画像事前学習(CLIP)のセマンティクスをガウススプラッティングに統合するCLIP-GSを提案する。
SACはオブジェクト内の固有の統一意味論を利用して、3Dガウスのコンパクトで効果的な意味表現を学ぶ。
また,3次元モデルから得られた多視点一貫性を利用して,3次元コヒーレント自己学習(3DCS)戦略を導入する。
論文 参考訳（メタデータ） (2024-04-22T15:01:32Z) - InstantSplat: Sparse-view SfM-free Gaussian Splatting in Seconds [91.77050739918037]
スパース画像からの新しいビュー合成(NVS)は3次元コンピュータビジョンにおいて大きく進歩している。
これはStructure-from-Motion (SfM) を用いたカメラパラメータの正確な初期推定に依存する
本研究では,スパースビュー画像から堅牢なNVSを向上するための,新規で効率的なフレームワークを提案する。
論文 参考訳（メタデータ） (2024-03-29T17:29:58Z) - latentSplat: Autoencoding Variational Gaussians for Fast Generalizable 3D Reconstruction [48.86083272054711]
latentSplatは3D潜在空間における意味ガウスを予測し、軽量な生成型2Dアーキテクチャで切り落としてデコードする手法である。
latentSplatは、高速でスケーラブルで高解像度なデータでありながら、復元品質と一般化におけるこれまでの成果よりも優れていることを示す。
論文 参考訳（メタデータ） (2024-03-24T20:48:36Z) - MVSplat: Efficient 3D Gaussian Splatting from Sparse Multi-View Images [102.7646120414055]
入力としてスパースなマルチビュー画像を与えられたMVSplatは、クリーンなフィードフォワード3Dガウスを予測できる。
大規模RealEstate10KとACIDベンチマークでは、MVSplatは高速フィードフォワード推論速度(22fps)で最先端のパフォーマンスを達成する。
論文 参考訳（メタデータ） (2024-03-21T17:59:58Z) - GES: Generalized Exponential Splatting for Efficient Radiance Field Rendering [112.16239342037714]
GES(Generalized Exponential Splatting)は、GEF(Generalized Exponential Function)を用いて3Dシーンをモデル化する斬新な表現である。
周波数変調損失の助けを借りて、GESは新規なビュー合成ベンチマークにおいて競合性能を達成する。
論文 参考訳（メタデータ） (2024-02-15T17:32:50Z) - GS-SLAM: Dense Visual SLAM with 3D Gaussian Splatting [51.96353586773191]
我々は,まず3次元ガウス表現を利用したtextbfGS-SLAM を提案する。
提案手法は,地図の最適化とRGB-Dレンダリングの大幅な高速化を実現するリアルタイム微分可能なスプレイティングレンダリングパイプラインを利用する。
提案手法は,Replica,TUM-RGBDデータセット上の既存の最先端リアルタイム手法と比較して,競争性能が向上する。
論文 参考訳（メタデータ） (2023-11-20T12:08:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。