論文の概要: Seg-Wild: Interactive Segmentation based on 3D Gaussian Splatting for Unconstrained Image Collections
- arxiv url: http://arxiv.org/abs/2507.07395v1
- Date: Thu, 10 Jul 2025 03:26:17 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-07-11 16:40:15.259662
- Title: Seg-Wild: Interactive Segmentation based on 3D Gaussian Splatting for Unconstrained Image Collections
- Title（参考訳）: Seg-Wild: 制約のない画像収集のための3次元ガウス分割に基づく対話型セグメンテーション
- Authors: Yongtang Bao, Chengjie Tang, Yuze Wang, Haojie Li,
- Abstract要約: 制約のない画像収集のための3次元ガウス分割に基づく対話的セグメンテーション手法であるSeg-Wildを提案する。
我々は,各3次元ガウスの多次元特徴埋め込みを統合し,特徴埋め込みとセグメンテーション対象との間の特徴類似性を計算する。
2次元平面上に3次元ガウス面を投影し,SAMマスクを用いて切断する必要がある3次元ガウス面の比を計算する。
- 参考スコア（独自算出の注目度）: 16.91513979037418
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Reconstructing and segmenting scenes from unconstrained photo collections obtained from the Internet is a novel but challenging task. Unconstrained photo collections are easier to get than well-captured photo collections. These unconstrained images suffer from inconsistent lighting and transient occlusions, which makes segmentation challenging. Previous segmentation methods cannot address transient occlusions or accurately restore the scene's lighting conditions. Therefore, we propose Seg-Wild, an interactive segmentation method based on 3D Gaussian Splatting for unconstrained image collections, suitable for in-the-wild scenes. We integrate multi-dimensional feature embeddings for each 3D Gaussian and calculate the feature similarity between the feature embeddings and the segmentation target to achieve interactive segmentation in the 3D scene. Additionally, we introduce the Spiky 3D Gaussian Cutter (SGC) to smooth abnormal 3D Gaussians. We project the 3D Gaussians onto a 2D plane and calculate the ratio of 3D Gaussians that need to be cut using the SAM mask. We also designed a benchmark to evaluate segmentation quality in in-the-wild scenes. Experimental results demonstrate that compared to previous methods, Seg-Wild achieves better segmentation results and reconstruction quality. Our code will be available at https://github.com/Sugar0725/Seg-Wild.
- Abstract（参考訳）: インターネットから得られた制約のない写真コレクションからのシーンの再構成と分割は、新しいが難しい課題である。
制約のない写真コレクションは、よくキャプチャされた写真コレクションよりも入手しやすい。
これらの制約のない画像は、一貫性のない照明と過渡的な閉塞に悩まされ、セグメンテーションが困難になる。
従来のセグメンテーション手法では、過渡的な閉塞に対処したり、シーンの照明条件を正確に復元することはできない。
そこで本研究では,非拘束画像収集のための3次元ガウス分割に基づく対話的セグメンテーション手法であるSeg-Wildを提案する。
我々は,各3次元ガウスの多次元特徴埋め込みを統合し,特徴埋め込みとセグメンテーション対象との類似性を計算し,インタラクティブなセグメンテーションを実現する。
また,スムーズな異常な3Dガウシアンに対してSGC(Spky 3D Gaussian Cutter)を導入する。
2次元平面上に3次元ガウス面を投影し,SAMマスクを用いて切断する必要がある3次元ガウス面の比を計算する。
また,フィールド内シーンのセグメンテーション品質を評価するためのベンチマークも設計した。
実験結果から,Seg-Wildは従来の手法と比較して,セグメンテーション結果と再構築品質が向上することが示された。
私たちのコードはhttps://github.com/Sugar0725/Seg-Wild.comで公開されます。
関連論文リスト
- Trace3D: Consistent Segmentation Lifting via Gaussian Instance Tracing [27.24794829116753]
ガウススプラッティングにおける2次元視覚分割を3次元に引き上げることの課題に対処する。
既存の方法は、視界を横断する不整合な2Dマスクに悩まされ、うるさいセグメンテーション境界を生成する。
本稿では,標準ガウス表現を入力ビュー全体にわたってインスタンス重み行列で拡張するガウスインスタンス追跡(GIT)を紹介する。
論文 参考訳（メタデータ） (2025-08-05T08:54:17Z) - OVGaussian: Generalizable 3D Gaussian Segmentation with Open Vocabularies [112.80292725951921]
textbfOVGaussianは3D textbfGaussian表現に基づいた、一般化可能なtextbfOpen-textbfVocabulary 3Dセマンティックセマンティックセグメンテーションフレームワークである。
まず,3DGSをベースとした大規模3Dシーンデータセット(textbfSegGaussian)を構築し,ガウス点とマルチビュー画像の両方に対して詳細なセマンティックおよびインスタンスアノテーションを提供する。
シーン間のセマンティック・一般化を促進するために,ジェネリック・セマンティック・ラスタライゼーション(GSR)を導入する。
論文 参考訳（メタデータ） (2024-12-31T07:55:35Z) - GaussianCut: Interactive segmentation via graph cut for 3D Gaussian Splatting [7.392798832833857]
我々は3Dガウスアンとして表現されるシーンのインタラクティブなマルチビューセグメンテーション手法であるGaussianCutを紹介する。
このアプローチでは、単一のビューと対話することで、セグメンテーション対象を選択することができます。
ポイントクリック、粗いスクリブル、テキストなどの直感的なユーザー入力を受け入れる。
論文 参考訳（メタデータ） (2024-11-12T05:09:42Z) - Click-Gaussian: Interactive Segmentation to Any 3D Gaussians [2.8461293457421957]
Click-Gaussian は2段階の粒度の区別可能な特徴場を学習する。
私たちのメソッドは、従来のメソッドの15～130倍の速さで、1クリックあたり10ミリ秒で動作します。
論文 参考訳（メタデータ） (2024-07-16T14:49:27Z) - SAGD: Boundary-Enhanced Segment Anything in 3D Gaussian via Gaussian Decomposition [66.56357905500512]
3Dガウススプラッティングは、新しいビュー合成のための代替の3D表現として登場した。
SAGDは3D-GSのための概念的にシンプルで効果的な境界拡張パイプラインである。
提案手法は粗い境界問題なく高品質な3Dセグメンテーションを実現し,他のシーン編集作業にも容易に適用できる。
論文 参考訳（メタデータ） (2024-01-31T14:19:03Z) - Learning Segmented 3D Gaussians via Efficient Feature Unprojection for Zero-shot Neural Scene Segmentation [16.57158278095853]
ゼロショットニューラルシーンセグメンテーションはシーン理解に有効な方法である。
既存のモデル、特に効率的な3Dガウス法は、コンパクトなセグメンテーションの結果を生み出すのに苦労している。
セグメンテーションフィールドとしてFeature UnprojectionとFusionモジュールを提案する。
本モデルでは,ゼロショットセマンティックセグメンテーションタスクのベースラインを超越し,最良ベースラインよりも10%mIoU向上を図っている。
論文 参考訳（メタデータ） (2024-01-11T14:05:01Z) - SplatMesh: Interactive 3D Segmentation and Editing Using Mesh-Based Gaussian Splatting [86.50200613220674]
3Dベースのインタラクティブ編集における重要な課題は、与えられたメモリ制約の下で様々な修正と高品質なビュー合成のバランスをとる効率的な表現がないことである。
SplatMeshは,3次元ガウススプラッティングと事前計算メッシュを統合した,対話型3Dセグメンテーション・編集アルゴリズムである。
単純化されたメッシュのセグメンテーションと編集により、ガウススプレートの編集も効果的に行えます。
論文 参考訳（メタデータ） (2023-12-26T02:50:42Z) - SAM-guided Graph Cut for 3D Instance Segmentation [60.75119991853605]
本稿では,3次元画像情報と多視点画像情報の同時利用による3次元インスタンス分割の課題に対処する。
本稿では,3次元インスタンスセグメンテーションのための2次元セグメンテーションモデルを効果的に活用する新しい3D-to-2Dクエリフレームワークを提案する。
本手法は,ロバストなセグメンテーション性能を実現し,異なるタイプのシーンにまたがる一般化を実現する。
論文 参考訳（メタデータ） (2023-12-13T18:59:58Z) - Segment Any 3D Gaussians [85.93694310363325]
本稿では, 3次元ガウススプレイティング(3D-GS)に基づく高効率3Dプロンプト可能なセグメンテーション法であるSAGAについて述べる。
入力として2D視覚的プロンプトが与えられたとき、SAGAは対応する3Dターゲットを4ミリ秒以内に3Dガウスで表現できる。
我々は,SAGAが最先端の手法に匹敵する品質で,リアルタイムな多粒度セグメンテーションを実現することを示す。
論文 参考訳（メタデータ） (2023-12-01T17:15:24Z) - Gaussian Grouping: Segment and Edit Anything in 3D Scenes [65.49196142146292]
ガウシアン・グルーピング(ガウシアン・グルーピング)はガウシアン・スプラッティングを拡張して,オープンワールドの3Dシーンで何かを共同で再構築・分割する。
暗黙のNeRF表現と比較すると,グループ化された3次元ガウシアンは,高画質,微粒度,高効率で,あらゆるものを3次元で再構成,分割,編集することができる。
論文 参考訳（メタデータ） (2023-12-01T17:09:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。