論文の概要: Click-Gaussian: Interactive Segmentation to Any 3D Gaussians
- arxiv url: http://arxiv.org/abs/2407.11793v1
- Date: Tue, 16 Jul 2024 14:49:27 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-17 14:23:08.655520
- Title: Click-Gaussian: Interactive Segmentation to Any 3D Gaussians
- Title（参考訳）: Click-Gaussian: あらゆる3Dガウスと対話的なセグメンテーション
- Authors: Seokhun Choi, Hyeonseop Song, Jaechul Kim, Taehyeong Kim, Hoseok Do,
- Abstract要約: Click-Gaussian は2段階の粒度の区別可能な特徴場を学習する。
私たちのメソッドは、従来のメソッドの15～130倍の速さで、1クリックあたり10ミリ秒で動作します。
- 参考スコア（独自算出の注目度）: 2.8461293457421957
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Interactive segmentation of 3D Gaussians opens a great opportunity for real-time manipulation of 3D scenes thanks to the real-time rendering capability of 3D Gaussian Splatting. However, the current methods suffer from time-consuming post-processing to deal with noisy segmentation output. Also, they struggle to provide detailed segmentation, which is important for fine-grained manipulation of 3D scenes. In this study, we propose Click-Gaussian, which learns distinguishable feature fields of two-level granularity, facilitating segmentation without time-consuming post-processing. We delve into challenges stemming from inconsistently learned feature fields resulting from 2D segmentation obtained independently from a 3D scene. 3D segmentation accuracy deteriorates when 2D segmentation results across the views, primary cues for 3D segmentation, are in conflict. To overcome these issues, we propose Global Feature-guided Learning (GFL). GFL constructs the clusters of global feature candidates from noisy 2D segments across the views, which smooths out noises when training the features of 3D Gaussians. Our method runs in 10 ms per click, 15 to 130 times as fast as the previous methods, while also significantly improving segmentation accuracy. Our project page is available at https://seokhunchoi.github.io/Click-Gaussian
- Abstract（参考訳）: 3D Gaussianのインタラクティブセグメンテーションは、3D Gaussian Splattingのリアルタイムレンダリング機能のおかげで、3Dシーンをリアルタイムに操作する大きな機会を開く。
しかし、現在の手法は、ノイズのあるセグメンテーション出力を扱うために時間を要する後処理に悩まされている。
また、3Dシーンのきめ細かい操作に重要な細かなセグメンテーションを提供するのにも苦労している。
本研究では,Click-Gaussianを提案する。Click-Gaussianは2段階の粒度の区別可能な特徴場を学習し,時間を要する後処理を伴わずにセグメンテーションを容易にする。
3次元シーンから独立して得られる2次元セグメンテーションから生じる不整合学習の特徴場から生じる課題を探索する。
3次元セグメンテーションの精度は、ビュー全体にわたる2次元セグメンテーションの結果が矛盾する場合に低下する。
これらの課題を克服するために,GFL(Global Feature-Guided Learning)を提案する。
GFLは、ビューの向こう側にあるノイズの多い2Dセグメントから、グローバルな特徴候補のクラスタを構築する。
提案手法は,従来の手法の15～130倍の速度で1クリック10ミリ秒で動作し,セグメンテーション精度も大幅に向上した。
私たちのプロジェクトページはhttps://seokhunchoi.github.io/Click-Gaussianで公開されています。
関連論文リスト
- Gradient-Driven 3D Segmentation and Affordance Transfer in Gaussian Splatting Using 2D Masks [6.647959476396794]
3Dガウススプラッティングは強力な3Dシーン表現技術として登場し、高効率で細部を捉えている。
本稿では,2次元分割モデルを3次元ガウススプラットに拡張する投票方式を提案する。
このアプローチの根底にある頑健だが単純な数学的定式化は、多くの下流アプリケーションにとって非常に効果的なツールである。
論文 参考訳（メタデータ） (2024-09-18T03:45:44Z) - FlashSplat: 2D to 3D Gaussian Splatting Segmentation Solved Optimally [66.28517576128381]
本研究は,2次元マスクから3次元ガウススプラッティングを正確に分割することの課題に対処する。
3D-GSセグメンテーションのための単純かつグローバルな最適解法を提案する。
私たちのメソッドは30秒以内で完了します。
論文 参考訳（メタデータ） (2024-09-12T17:58:13Z) - SAGD: Boundary-Enhanced Segment Anything in 3D Gaussian via Gaussian Decomposition [66.80822249039235]
3Dガウススプラッティングは、新しいビュー合成のための代替の3D表現として登場した。
SAGDは3D-GSのための概念的にシンプルで効果的な境界拡張パイプラインである。
提案手法は粗い境界問題なく高品質な3Dセグメンテーションを実現し,他のシーン編集作業にも容易に適用できる。
論文 参考訳（メタデータ） (2024-01-31T14:19:03Z) - Segment3D: Learning Fine-Grained Class-Agnostic 3D Segmentation without
Manual Labels [141.23836433191624]
現在の3Dシーンセグメンテーション手法は、手動で注釈付けされた3Dトレーニングデータセットに大きく依存している。
高品質な3Dセグメンテーションマスクを生成するクラス非依存の3Dシーンセグメンテーション法であるSegment3Dを提案する。
論文 参考訳（メタデータ） (2023-12-28T18:57:11Z) - 2D-Guided 3D Gaussian Segmentation [15.139488857163064]
本稿では2次元分節を監督として実装した3次元ガウス分節法を提案する。
このアプローチでは、入力2次元セグメンテーションマップを使用して、付加された3次元ガウス意味情報の学習を誘導する。
実験により,マルチオブジェクトセグメンテーションにおいて,mIOUとmAccに匹敵する性能が得られた。
論文 参考訳（メタデータ） (2023-12-26T13:28:21Z) - SAM-guided Graph Cut for 3D Instance Segmentation [60.75119991853605]
本稿では,3次元画像情報と多視点画像情報の同時利用による3次元インスタンス分割の課題に対処する。
本稿では,3次元インスタンスセグメンテーションのための2次元セグメンテーションモデルを効果的に活用する新しい3D-to-2Dクエリフレームワークを提案する。
本手法は,ロバストなセグメンテーション性能を実現し,異なるタイプのシーンにまたがる一般化を実現する。
論文 参考訳（メタデータ） (2023-12-13T18:59:58Z) - Segment Any 3D Gaussians [85.93694310363325]
本稿では, 3次元ガウススプレイティング(3D-GS)に基づく高効率3Dプロンプト可能なセグメンテーション法であるSAGAについて述べる。
入力として2D視覚的プロンプトが与えられたとき、SAGAは対応する3Dターゲットを4ミリ秒以内に3Dガウスで表現できる。
我々は,SAGAが最先端の手法に匹敵する品質で,リアルタイムな多粒度セグメンテーションを実現することを示す。
論文 参考訳（メタデータ） (2023-12-01T17:15:24Z) - Gaussian Grouping: Segment and Edit Anything in 3D Scenes [65.49196142146292]
ガウシアン・グルーピング(ガウシアン・グルーピング)はガウシアン・スプラッティングを拡張して,オープンワールドの3Dシーンで何かを共同で再構築・分割する。
暗黙のNeRF表現と比較すると,グループ化された3次元ガウシアンは,高画質,微粒度,高効率で,あらゆるものを3次元で再構成,分割,編集することができる。
論文 参考訳（メタデータ） (2023-12-01T17:09:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。