論文の概要: Open-Vocabulary and Referring Segmentation for 3D Gaussians Using 2D Detectors

• arxiv url: http://arxiv.org/abs/2606.30638v1
• Date: Mon, 29 Jun 2026 17:58:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-30 18:07:16.375062
• Title: Open-Vocabulary and Referring Segmentation for 3D Gaussians Using 2D Detectors
• Title（参考訳）: 2次元検出器を用いた3次元ガウスの開語彙と参照セグメンテーション
• Abstract要約: GaussDetは、個別のオープンな2Dオブジェクト検出器と参照表現機能を活用することで、密度の高いCLIP機能の必要性を回避する方法である。 我々のアプローチは、単純な言語クエリから複雑な参照グラウンドまで、単純でゼロショットの拡張を可能にします。
• 参考スコア（独自算出の注目度）: 4.720025219010595
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: 3D Gaussian Splatting (3DGS) has emerged at the forefront of 3D scene reconstruction. Extending 3DGS with language-driven, open-vocabulary understanding has gained significant attention for real-world applications such as embodied AI. Recent methods achieve this by learning an instance feature attribute and assigning semantics by distilling high-dimensional Contrastive Language-Image Pretraining (CLIP) features directly into the scene representation. However, the instance grouping mechanisms of these methods either require a predefined number of instances or suffer from noise in their bottom-up grouping strategies. Furthermore, the reliance on CLIP restricts semantic understanding to simple noun phrases, preventing complex spatial reasoning and referential expression grounding. We present GaussDet, a method that circumvents the need for dense CLIP features by leveraging discrete, open-vocabulary 2D object detectors with referring expression capabilities. We learn instance features for individual Gaussians to decompose the scene into 3D instance groups. By rendering these groups and aggregating semantic votes from multi-view 2D detections, we generate a robust View-Aggregated Semantic Label Distribution (VASD) for each 3D instance. This view-aggregation strategy acts as a strong regularizer, attenuating spurious labels caused by low-quality instance grouping. Our approach enables a straightforward, zero-shot extension from simple language queries to complex referential grounding. Extensive evaluations across two key tasks -- open-vocabulary segmentation (LeRF-OVS, ScanNet) and referring expression grounding (Ref-LeRF) -- demonstrate that GaussDet achieves consistent improvements over existing methods. Most notably, we achieve a substantial 16.7% mIoU improvement in referential grounding within a strict zero-shot setting.
• Abstract（参考訳）: 3次元ガウス散乱(3DGS)は3次元シーン再構築の最前線に現れた。 言語駆動のオープンボキャブラリ理解による3DGSの拡張は、組み込みAIのような現実世界のアプリケーションに大きな注目を集めている。 近年の手法では,高次元のContrastive Language-Image Pretraining (CLIP) 機能をシーン表現に直接蒸留することで,インスタンスの特徴属性を学習し,セマンティクスを割り当てている。 しかし、これらのメソッドのインスタンスグループ化メカニズムは、事前に定義された数のインスタンスを必要とするか、ボトムアップグループ化戦略のノイズに悩まされるかのいずれかである。 さらに、CLIPへの依存は、意味理解を単純な名詞句に制限し、複雑な空間的推論や参照表現の接地を防ぐ。 本稿では,個別のオープンな2Dオブジェクト検出器と参照表現機能を活用することで,密度の高いCLIP機能の必要性を回避する手法であるGaussDetを提案する。 個々のガウスがシーンを3次元のインスタンス群に分解するインスタンス機能を学ぶ。 これらのグループをレンダリングし、マルチビュー2D検出からセマンティック投票を集約することにより、各3Dインスタンスに対してロバストなビューアグリゲートセマンティックラベル分布(VASD)を生成する。 このビューアグリゲーション戦略は強力な正則化器として機能し、低品質のインスタンスグループ化によって引き起こされる急激なラベルを弱める。 我々のアプローチは、単純な言語クエリから複雑な参照グラウンドまで、単純でゼロショットの拡張を可能にします。 オープンボキャブラリセグメンテーション(LeRF-OVS, ScanNet)と参照式グラウンドディング(Ref-LeRF)という2つの主要なタスクにわたる広範囲な評価は、GaussDetが既存のメソッドよりも一貫した改善を実現していることを示している。 最も注目すべきは、厳密なゼロショット設定で参照グラウンド化において、相当な16.7% mIoUの改善を達成することである。

関連論文リスト

• GroupForward: Building Referable 3D Scenes via Instance-Grouped Feed-Forward Gaussian Splatting [46.95070188813926]
  GroupForwardは、スパース、アンポーズ、アンキャリブレーションされた画像から幾何学、外観、インスタンス構造、セマンティクスを再構築する。 RSRFは、インスタンスグループ化された3Dシーングラフを構築し、与えられた参照表現の候補インスタンスを検索する。 意味的再構成と参照推論の実験は、事例群再構築と推論の枠組みの有効性を実証する。
  論文  参考訳（メタデータ） (2026-08-18T08:55:52Z)
• Ilov3Splat: Instance-Level Open-Vocabulary 3D Scene Understanding in Gaussian Splatting [32.46353940664006]
  Ilov3Splatは3Dガウススプラッティング(3D-GS)上に構築されたインスタンスレベルのオープンな3Dシーン理解のためのフレームワーク 言語対応のCLIP機能を効率的にエンコードするために,マルチレゾリューションハッシュ埋め込みを活用している。 推論時に、CLIPエンコードされたクエリは学習した機能と一致し、続いて関連するガウスグループを取得するための2段階の3Dクラスタリングが続く。
  論文  参考訳（メタデータ） (2026-05-06T05:23:41Z)
• LESV: Language Embedded Sparse Voxel Fusion for Open-Vocabulary 3D Scene Understanding [9.377694035678948]
  本稿では,Sparse Voxel Rasterization (SVRaster) を構造的,不随伴な幾何学表現として活用する新しいフレームワークを提案する。 これにより、決定論的で信頼性に配慮した特徴登録プロセスが可能となり、3DGSに共通する意味的出血アーティファクトが抑制される。 提案手法は,Open Vocabulary 3D Object Retrieval と Point Cloud Understanding ベンチマークの最先端性能を実現する。
  論文  参考訳（メタデータ） (2026-04-01T20:48:06Z)
• OpenInsGaussian: Open-vocabulary Instance Gaussian Segmentation with Context-aware Cross-view Fusion [89.98812408058336]
  textbfOpenInsGaussian, textbfOpen-vocabulary textbfInstance textbfGaussian segmentation framework with Context-aware Cross-view Fusion。 OpenInsGaussianは、オープン語彙の3Dガウスのセグメンテーションにおける最先端の結果を達成し、既存のベースラインを大きなマージンで上回る。
  論文  参考訳（メタデータ） (2025-10-21T03:24:12Z)
• OpenSplat3D: Open-Vocabulary 3D Instance Segmentation using Gaussian Splatting [52.40697058096931]
  3D Gaussian Splatting (3DGS)は神経シーン再構築の強力な表現として登場した。 我々は,OpenSplat3Dと呼ばれる手動ラベリングを必要としないオープン語彙3Dインスタンスセグメンテーションのアプローチを提案する。 LERF-mask と LERF-OVS と ScanNet++ の完全な検証セットについて,本手法の有効性を実証した。
  論文  参考訳（メタデータ） (2025-06-09T12:37:15Z)
• CAGS: Open-Vocabulary 3D Scene Understanding with Context-Aware Gaussian Splatting [18.581169318975046]
  3D Gaussian Splatting (3DGS) はシーン再構築のための強力な表現を提供するが、相互視の粒度の不整合は問題である。 空間コンテキストを3DGSに組み込んだ新しいフレームワークCAGSを提案する。 CAGSは3Dインスタンスのセグメンテーションを大幅に改善し、LERF-OVSやScanNetといったデータセットのフラグメンテーションエラーを低減する。
  論文  参考訳（メタデータ） (2025-04-16T09:20:03Z)
• Rethinking End-to-End 2D to 3D Scene Segmentation in Gaussian Splatting [86.15347226865826]
  We design an new end-to-end object-aware lifting approach, called Unified-Lift。 コントラスト損失を用いて学習したガウスレベルの機能を各ガウス点に拡張し、インスタンス情報をエンコードする。 LERF-Masked、Replica、Messy Roomsの3つのベンチマークで実験を行った。
  論文  参考訳（メタデータ） (2025-03-18T08:42:23Z)
• Occam's LGS: An Efficient Approach for Language Gaussian Splatting [57.00354758206751]
  言語3Dガウススプラッティングのための複雑なパイプラインは、単純に不要であることを示す。 我々は,オッカムのカミソリを手作業に適用し,高効率な重み付き多視点特徴集約技術を実現する。
  論文  参考訳（メタデータ） (2024-12-02T18:50:37Z)
• Bootstraping Clustering of Gaussians for View-consistent 3D Scene Understanding [59.51535163599723]
  FreeGSは、教師なしセマンティック組み込み3DGSフレームワークで、2Dラベルを必要とせずに、ビュー一貫性のある3Dシーン理解を実現する。 FreeGSは複雑なデータ前処理のワークロードを避けながら、最先端のメソッドと互換性がある。
  論文  参考訳（メタデータ） (2024-11-29T08:52:32Z)
• GOI: Find 3D Gaussians of Interest with an Optimizable Open-vocabulary Semantic-space Hyperplane [53.388937705785025]
  3Dオープンボキャブラリのシーン理解は、拡張現実とロボット応用の推進に不可欠である。 GOIは2次元視覚言語基礎モデルから3次元ガウススプラッティング(3DGS)に意味的特徴を統合するフレームワークである。 提案手法では,特徴空間内の超平面分割として特徴選択処理を扱い,クエリに関連性の高い特徴のみを保持する。
  論文  参考訳（メタデータ） (2024-05-27T18:57:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。