論文の概要: Segment and Select: Vision-Language Segmentation in 3D Scenarios

• arxiv url: http://arxiv.org/abs/2606.10594v1
• Date: Tue, 09 Jun 2026 08:58:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-10 15:40:58.403515
• Title: Segment and Select: Vision-Language Segmentation in 3D Scenarios
• Title（参考訳）: セグメンテーションと選択:3次元シナリオにおけるビジョンランゲージセグメンテーション
• Authors: Yulin Chen, Zhihang Zhong, Yuenan Hou,
• Abstract要約: 3次元視覚言語セグメンテーションは、言語的指示と視覚的観察に基づいて、対象物を3次元シナリオに分割することを目的としている。 先行技術は複雑さを減らすために粗いスーパーポイント表現に大きく依存している。 視覚情報を直接操作する3次元視覚言語セグメンテーションのためのSEGment-And-select(SEGA3D)パラダイムを提案する。
• 参考スコア（独自算出の注目度）: 33.55322801240067
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: 3D vision-language segmentation aims to segment target objects in 3D scenarios according to the linguistic instructions and visual observations. Prior art heavily relies on the coarse superpoint representation to reduce the computation complexity, which suffers from poor segmentation quality and messy object boundaries. In this paper, we propose the SEGment-And-select (SEGA3D) paradigm for 3D visionlanguage segmentation that directly operates on the fine-grained visual information and is free from the superpoint dependency. Specifically, we first leverage a mask candidate generator to provide fine-grained categorical mask candidates, substantially improving the quality of candidate masks over the superpoint counterparts. Then, a Large Language Model (LLM) is utilized to generate the semantic and spatial information based on the linguistic description and visual features. The LLM output and visual features are fed to the Semantic-Spatial Selector (SSS) to produce the top-ranking mask candidates. Eventually, the Loopback Verification Module (LVM) is designed to yield the segmentation mask from the selected candidate masks. Our SEGA3D attains competitive performance on ScanRefer, ScanNet and Matterport3D benchmarks. Notably, our SEGA3D surpasses the top-performing counterpart by 8.3 mIoU and 5.3 mIoU on ScanNet and Matterport3D, respectively. Codes will be available upon publication.
• Abstract（参考訳）: 3次元視覚言語セグメンテーションは、言語的指示と視覚的観察に基づいて、対象物を3次元シナリオに分割することを目的としている。 先行技術は計算の複雑さを減らすために粗いスーパーポイント表現に大きく依存しており、セグメンテーションの品質の低下と乱雑なオブジェクト境界に悩まされている。 本稿では,3次元視覚言語セグメンテーションのためのSEGment-And-select(SEGA3D)パラダイムを提案する。 具体的には、まずマスク候補生成装置を利用して、細粒度の分類マスク候補を提供することにより、スーパーポイント候補よりもマスク候補の品質を大幅に向上させる。 次に,Large Language Model (LLM)を用いて,言語記述と視覚的特徴に基づいて意味情報と空間情報を生成する。 LLM出力と視覚的特徴はSSS(Semantic-Spatial Selector)に供給され、上位のマスク候補を生成する。 最終的に、ループバック検証モジュール(LVM)は、選択された候補マスクからセグメンテーションマスクを取得するように設計されている。 当社のSEGA3Dは、ScanRefer、ScanNet、Matterport3Dベンチマーク上での競合性能を実現しています。 特に、私たちのSEGA3Dは、ScanNetとMatterport3Dでそれぞれ8.3mIoUと5.3mIoUを上回ります。 コードは出版時に入手できる。

関連論文リスト

• OpenMaskDINO3D : Reasoning 3D Segmentation via Large Language Model [0.0]
  本稿では,包括的3次元理解とセグメンテーションのためのフレームワークであるOpenMaskDINO3Dを紹介する。 OpenMaskDINO3Dは、ポイントクラウドデータとテキストプロンプトを処理し、多くの3Dタスクで優れたインスタンスセグメンテーションマスクを生成する。
  論文  参考訳（メタデータ） (2025-06-05T09:57:43Z)
• Any3DIS: Class-Agnostic 3D Instance Segmentation by 2D Mask Tracking [6.599971425078935]
  既存の3Dインスタンスセグメンテーションメソッドは、オーバーセグメンテーションの問題に頻繁に遭遇し、下流タスクを複雑にする冗長で不正確な3D提案につながります。 この課題は、フレーム全体に密集した2Dマスクを点雲に上げ、直接の監督なしに3D候補の提案を形成する、教師なしのマージンアプローチから生じる。 本研究では,2次元マスクセグメンテーション・トラッキング基盤モデル(SAM-2)を用いて,映像フレーム間の一貫したオブジェクトマスクを確保する3次元マスク追跡モジュールを提案する。
  論文  参考訳（メタデータ） (2024-11-25T08:26:31Z)
• LESS: Label-Efficient and Single-Stage Referring 3D Segmentation [55.06002976797879]
  参照3Dは、クエリの文で記述された3Dポイントクラウドから、指定されたオブジェクトのすべてのポイントをセグメントする視覚言語タスクである。 本稿では,LESSと呼ばれるレファレンス3次元パイプラインを提案する。 ScanReferデータセット上での最先端のパフォーマンスは、バイナリラベルのみを使用して、以前の3.7% mIoUの手法を上回ります。
  論文  参考訳（メタデータ） (2024-10-17T07:47:41Z)
• 3D-GRES: Generalized 3D Referring Expression Segmentation [77.10044505645064]
  3D参照式(3D-RES)は、自然言語の記述に基づいて、特定のインスタンスを3D空間内にセグメント化することを目的としている。 一般化された3D参照式(3D-GRES)は、自然言語命令に基づいて任意の数のインスタンスをセグメントする機能を拡張する。
  論文  参考訳（メタデータ） (2024-07-30T08:59:05Z)
• RefMask3D: Language-Guided Transformer for 3D Referring Segmentation [32.11635464720755]
  RefMask3Dは、総合的なマルチモーダル機能インタラクションと理解を探求することを目的としている。 RefMask3Dは、挑戦的なScanReferデータセットにおいて、3.16% mIoUの大きなマージンで、従来の最先端手法よりも優れている。
  論文  参考訳（メタデータ） (2024-07-25T17:58:03Z)
• Reason3D: Searching and Reasoning 3D Segmentation via Large Language Model [108.35777542298224]
  Reason3Dは、ポイントクラウドデータとテキストプロンプトを処理し、テキスト応答とセグメンテーションマスクを生成する。 被写体を広範に分割する粗大なアプローチを用いた階層型マスクデコーダを提案する。
  論文  参考訳（メタデータ） (2024-05-27T17:59:41Z)
• Segment Any 3D Object with Language [58.471327490684295]
  本稿では,Segment any 3D Object with LanguagE (SOLE)を紹介した。 具体的には、バックボーンとデコーダの両方にマルチモーダル意味を組み込むマルチモーダル融合ネットワークを提案する。 我々のSOLEは、ScanNetv2、ScanNet200、Replicaベンチマークにおいて、従来の方法よりも大きなマージンで優れている。
  論文  参考訳（メタデータ） (2024-04-02T17:59:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。