論文の概要: CoSSegGaussians: Compact and Swift Scene Segmenting 3D Gaussians with
Dual Feature Fusion
- arxiv url: http://arxiv.org/abs/2401.05925v2
- Date: Thu, 25 Jan 2024 11:51:22 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-26 17:14:09.082198
- Title: CoSSegGaussians: Compact and Swift Scene Segmenting 3D Gaussians with
Dual Feature Fusion
- Title(参考訳): cosseggaussians: コンパクトでスウィフトなシーンセグメンテーション 3d gaussians with dual feature fusion
- Authors: Bin Dou, Tianyu Zhang, Yongjia Ma, Zhaohui Wang, Zejian Yuan
- Abstract要約: RGB画像のみを入力した高速レンダリング速度で3次元連続シーンセグメンテーションを実現する手法を提案する。
本モデルでは, セグメンテーションタスクのセグメンテーションにおいて, セグメンテーション・セグメンテーション・タスクのベースラインに優れる。
- 参考スコア(独自算出の注目度): 17.778755539808547
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We propose Compact and Swift Segmenting 3D Gaussians(CoSSegGaussians), a
method for compact 3D-consistent scene segmentation at fast rendering speed
with only RGB images input. Previous NeRF-based segmentation methods have
relied on time-consuming neural scene optimization. While recent 3D Gaussian
Splatting has notably improved speed, existing Gaussian-based segmentation
methods struggle to produce compact masks, especially in zero-shot
segmentation. This issue probably stems from their straightforward assignment
of learnable parameters to each Gaussian, resulting in a lack of robustness
against cross-view inconsistent 2D machine-generated labels. Our method aims to
address this problem by employing Dual Feature Fusion Network as Gaussians'
segmentation field. Specifically, we first optimize 3D Gaussians under RGB
supervision. After Gaussian Locating, DINO features extracted from images are
applied through explicit unprojection, which are further incorporated with
spatial features from the efficient point cloud processing network. Feature
aggregation is utilized to fuse them in a global-to-local strategy for compact
segmentation features. Experimental results show that our model outperforms
baselines on both semantic and panoptic zero-shot segmentation task, meanwhile
consumes less than 10\% inference time compared to NeRF-based methods. Code and
more results will be available at https://David-Dou.github.io/CoSSegGaussians.
- Abstract(参考訳): 我々は,RGB画像のみを入力した高速レンダリング速度で,コンパクトな3D一貫性シーンセグメンテーションを実現する手法であるCoSSegGaussiansとSwift Segmenting 3D Gaussiansを提案する。
これまでのNeRFベースのセグメンテーション手法は、時間を要するニューラルシーン最適化に依存していた。
最近の3次元ガウスのスプラッティングの速度は著しく向上したが、既存のガウスベースのセグメンテーション法はコンパクトマスク、特にゼロショットセグメンテーションの生成に苦労している。
この問題の原因は、学習可能なパラメータを各ガウスに簡単に割り当てることであり、クロスビューの不整合な2dマシン生成ラベルに対する堅牢性が欠如することにある。
本手法は,ガウスのセグメンテーション分野としてデュアル・フィーチャー・フュージョン・ネットワークを用いてこの問題に対処することを目的とする。
具体的には、まずRGB監督下で3Dガウスを最適化する。
Gaussian Locatingの後、画像から抽出したDINO特徴を明示的非投影により適用し、より効率的なポイントクラウド処理ネットワークから空間的特徴を付加する。
特徴集約は、コンパクトなセグメンテーション機能のためのグローバル-ローカル戦略でそれらを融合するために利用される。
実験結果から,提案手法は,NeRF法に比べて10倍未満の推論時間を消費する一方で,セマンティックおよび単眼ゼロショットセグメンテーションタスクのベースラインよりも優れていることがわかった。
コードやその他の結果はhttps://David-Dou.github.io/CoSSegGaussians.orgで公開される。
関連論文リスト
- RTG-SLAM: Real-time 3D Reconstruction at Scale using Gaussian Splatting [51.51310922527121]
ガウススプラッティングを用いた大規模環境のためのRGBDカメラを用いたリアルタイム3D再構成システムを提案する。
それぞれのガウス語は不透明かほぼ透明で、不透明なものは表面色と支配的な色に、透明なものは残留色に適合する。
様々な大きなシーンをリアルタイムに再現し、新しいビュー合成とカメラトラッキングの精度のリアリズムにおいて優れた性能を示す。
論文 参考訳(メタデータ) (2024-04-30T16:54:59Z) - Contrastive Gaussian Clustering: Weakly Supervised 3D Scene Segmentation [14.967600484476385]
本稿では,任意の視点からセグメンテーションマスクを提供する新しいアプローチであるContrastive Gaussian Clusteringを紹介する。
本手法は,不整合な2次元セグメンテーションマスクを用いてトレーニングが可能であり,また,すべてのビューに一貫性のあるセグメンテーションマスクの生成も学べる。
結果のモデルは非常に正確で、予測されたマスクのIoU精度を、最先端で+8%以上向上させる。
論文 参考訳(メタデータ) (2024-04-19T10:47:53Z) - HAC: Hash-grid Assisted Context for 3D Gaussian Splatting Compression [55.6351304553003]
3D Gaussian Splatting (3DGS) は、新しいビュー合成のための有望なフレームワークとして登場した。
高速な3DGS表現のためのHash-grid Assisted Context (HAC) フレームワークを提案する。
私たちの研究は、コンテキストベースの3DGS表現の圧縮を探求するパイオニアです。
論文 参考訳(メタデータ) (2024-03-21T16:28:58Z) - GES: Generalized Exponential Splatting for Efficient Radiance Field
Rendering [116.99325082775387]
GES(Generalized Exponential Splatting)は、GEF(Generalized Exponential Function)を用いて3Dシーンをモデル化する斬新な表現である。
周波数変調損失の助けを借りて、GESは新規なビュー合成ベンチマークにおいて競合性能を達成する。
論文 参考訳(メタデータ) (2024-02-15T17:32:50Z) - Segment Anything in 3D Gaussians [69.68566640585671]
ニューラルレイディアンス場(NeRF)の代替3次元表現として3次元ガウス散乱が出現した
3Dガウス表現は未解析であるため、まずこの領域内でオブジェクトセグメンテーションを実行する必要がある。
本研究では,3次元ガウス空間における物体分割を,学習過程や学習パラメータを使わずに,対話的な手順で実現するための新しい手法を提案する。
論文 参考訳(メタデータ) (2024-01-31T14:19:03Z) - 2D-Guided 3D Gaussian Segmentation [15.139488857163064]
本稿では2次元分節を監督として実装した3次元ガウス分節法を提案する。
このアプローチでは、入力2次元セグメンテーションマップを使用して、付加された3次元ガウス意味情報の学習を誘導する。
実験により,マルチオブジェクトセグメンテーションにおいて,mIOUとmAccに匹敵する性能が得られた。
論文 参考訳(メタデータ) (2023-12-26T13:28:21Z) - Compact 3D Scene Representation via Self-Organizing Gaussian Grids [10.816451552362823]
3D Gaussian Splattingは、静的な3Dシーンをモデリングするための非常に有望なテクニックとして最近登場した。
本稿では3DGSのパラメータを局所的均一性を持つ2次元グリッドに整理したコンパクトなシーン表現を提案する。
本手法は,訓練時間の増加を伴わない複雑なシーンに対して,17倍から42倍の縮小係数を実現する。
論文 参考訳(メタデータ) (2023-12-19T20:18:29Z) - Gaussian Grouping: Segment and Edit Anything in 3D Scenes [71.54526294251887]
ガウシアン・グルーピング(ガウシアン・グルーピング)はガウシアン・スプラッティングを拡張して,オープンワールドの3Dシーンで何かを共同で再構築・分割する。
離散的でグループ化された3Dガウスアンは、視覚的品質、きめ細かい粒度、効率で、あらゆるものを3Dで再構成、分割、編集できることを示す。
論文 参考訳(メタデータ) (2023-12-01T17:09:31Z) - Compact 3D Gaussian Representation for Radiance Field [14.729871192785696]
本研究では,3次元ガウス点数を削減するための学習可能なマスク戦略を提案する。
また、格子型ニューラルネットワークを用いて、ビュー依存色をコンパクトかつ効果的に表現することを提案する。
我々の研究は、3Dシーン表現のための包括的なフレームワークを提供し、ハイパフォーマンス、高速トレーニング、コンパクト性、リアルタイムレンダリングを実現しています。
論文 参考訳(メタデータ) (2023-11-22T20:31:16Z) - SuGaR: Surface-Aligned Gaussian Splatting for Efficient 3D Mesh
Reconstruction and High-Quality Mesh Rendering [24.91019554830571]
本稿では,3次元ガウス格子から高精度かつ極めて高速なメッシュ抽出を可能にする手法を提案する。
しかし、これらのガウス人は最適化後に非組織化される傾向があるため、何百万もの小さな3Dガウスからメッシュを抽出することは困難である。
論文 参考訳(メタデータ) (2023-11-21T18:38:03Z) - GS-SLAM: Dense Visual SLAM with 3D Gaussian Splatting [51.96353586773191]
我々は,まず3次元ガウス表現を利用したtextbfGS-SLAM を提案する。
提案手法は,地図の最適化とRGB-Dレンダリングの大幅な高速化を実現するリアルタイム微分可能なスプレイティングレンダリングパイプラインを利用する。
提案手法は,Replica,TUM-RGBDデータセット上の既存の最先端リアルタイム手法と比較して,競争性能が向上する。
論文 参考訳(メタデータ) (2023-11-20T12:08:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。