論文の概要: Seg-Wild: Interactive Segmentation based on 3D Gaussian Splatting for Unconstrained Image Collections

• arxiv url: http://arxiv.org/abs/2507.07395v1
• Date: Thu, 10 Jul 2025 03:26:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-11 16:40:15.259662
• Title: Seg-Wild: Interactive Segmentation based on 3D Gaussian Splatting for Unconstrained Image Collections
• Title（参考訳）: Seg-Wild: 制約のない画像収集のための3次元ガウス分割に基づく対話型セグメンテーション
• Authors: Yongtang Bao, Chengjie Tang, Yuze Wang, Haojie Li,
• Abstract要約: 制約のない画像収集のための3次元ガウス分割に基づく対話的セグメンテーション手法であるSeg-Wildを提案する。 我々は,各3次元ガウスの多次元特徴埋め込みを統合し,特徴埋め込みとセグメンテーション対象との間の特徴類似性を計算する。 2次元平面上に3次元ガウス面を投影し,SAMマスクを用いて切断する必要がある3次元ガウス面の比を計算する。
• 参考スコア（独自算出の注目度）: 16.91513979037418
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reconstructing and segmenting scenes from unconstrained photo collections obtained from the Internet is a novel but challenging task. Unconstrained photo collections are easier to get than well-captured photo collections. These unconstrained images suffer from inconsistent lighting and transient occlusions, which makes segmentation challenging. Previous segmentation methods cannot address transient occlusions or accurately restore the scene's lighting conditions. Therefore, we propose Seg-Wild, an interactive segmentation method based on 3D Gaussian Splatting for unconstrained image collections, suitable for in-the-wild scenes. We integrate multi-dimensional feature embeddings for each 3D Gaussian and calculate the feature similarity between the feature embeddings and the segmentation target to achieve interactive segmentation in the 3D scene. Additionally, we introduce the Spiky 3D Gaussian Cutter (SGC) to smooth abnormal 3D Gaussians. We project the 3D Gaussians onto a 2D plane and calculate the ratio of 3D Gaussians that need to be cut using the SAM mask. We also designed a benchmark to evaluate segmentation quality in in-the-wild scenes. Experimental results demonstrate that compared to previous methods, Seg-Wild achieves better segmentation results and reconstruction quality. Our code will be available at https://github.com/Sugar0725/Seg-Wild.
• Abstract（参考訳）: インターネットから得られた制約のない写真コレクションからのシーンの再構成と分割は、新しいが難しい課題である。 制約のない写真コレクションは、よくキャプチャされた写真コレクションよりも入手しやすい。 これらの制約のない画像は、一貫性のない照明と過渡的な閉塞に悩まされ、セグメンテーションが困難になる。 従来のセグメンテーション手法では、過渡的な閉塞に対処したり、シーンの照明条件を正確に復元することはできない。 そこで本研究では,非拘束画像収集のための3次元ガウス分割に基づく対話的セグメンテーション手法であるSeg-Wildを提案する。 我々は,各3次元ガウスの多次元特徴埋め込みを統合し,特徴埋め込みとセグメンテーション対象との類似性を計算し,インタラクティブなセグメンテーションを実現する。 また,スムーズな異常な3Dガウシアンに対してSGC(Spky 3D Gaussian Cutter)を導入する。 2次元平面上に3次元ガウス面を投影し,SAMマスクを用いて切断する必要がある3次元ガウス面の比を計算する。 また,フィールド内シーンのセグメンテーション品質を評価するためのベンチマークも設計した。 実験結果から,Seg-Wildは従来の手法と比較して,セグメンテーション結果と再構築品質が向上することが示された。 私たちのコードはhttps://github.com/Sugar0725/Seg-Wild.comで公開されます。

関連論文リスト

• SAGD: Boundary-Enhanced Segment Anything in 3D Gaussian via Gaussian Decomposition [66.56357905500512]
  3Dガウススプラッティングは、新しいビュー合成のための代替の3D表現として登場した。 SAGDは3D-GSのための概念的にシンプルで効果的な境界拡張パイプラインである。 提案手法は粗い境界問題なく高品質な3Dセグメンテーションを実現し,他のシーン編集作業にも容易に適用できる。
  論文  参考訳（メタデータ） (2024-01-31T14:19:03Z)
• Learning Segmented 3D Gaussians via Efficient Feature Unprojection for Zero-shot Neural Scene Segmentation [16.57158278095853]
  ゼロショットニューラルシーンセグメンテーションはシーン理解に有効な方法である。 既存のモデル、特に効率的な3Dガウス法は、コンパクトなセグメンテーションの結果を生み出すのに苦労している。 セグメンテーションフィールドとしてFeature UnprojectionとFusionモジュールを提案する。 本モデルでは,ゼロショットセマンティックセグメンテーションタスクのベースラインを超越し,最良ベースラインよりも10%mIoU向上を図っている。
  論文  参考訳（メタデータ） (2024-01-11T14:05:01Z)
• Gaussian Grouping: Segment and Edit Anything in 3D Scenes [65.49196142146292]
  ガウシアン・グルーピング(ガウシアン・グルーピング)はガウシアン・スプラッティングを拡張して,オープンワールドの3Dシーンで何かを共同で再構築・分割する。 暗黙のNeRF表現と比較すると,グループ化された3次元ガウシアンは,高画質,微粒度,高効率で,あらゆるものを3次元で再構成,分割,編集することができる。
  論文  参考訳（メタデータ） (2023-12-01T17:09:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。