論文の概要: Details Matter for Indoor Open-vocabulary 3D Instance Segmentation
- arxiv url: http://arxiv.org/abs/2507.23134v1
- Date: Wed, 30 Jul 2025 22:26:56 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-08-01 17:19:08.824298
- Title: Details Matter for Indoor Open-vocabulary 3D Instance Segmentation
- Title（参考訳）: 屋内オープン語彙3次元インスタンスセグメンテーションにおける詳細事項
- Authors: Sanghun Jung, Jingjing Zheng, Ke Zhang, Nan Qiao, Albert Y. C. Chen, Lu Xia, Chi Liu, Yuyin Sun, Xiao Zeng, Hsiang-Wei Huang, Byron Boots, Min Sun, Cheng-Hao Kuo,
- Abstract要約: 我々は,OV-3DISのコンセプトを組み合わすレシピを慎重に設計し,最先端のOV-3DISソリューションを提案する。
頑健な3Dトラッキングに基づく提案アグリゲーションを用いて、3Dプロポーザルを生成し、重複または部分的なプロポーザルを除去する。
ScanNet200とS3DISのすべてのAPおよびARメトリクスにおける最先端のパフォーマンスを実現し、エンドツーエンドのクローズドボキャブラリー手法を超越した。
- 参考スコア（独自算出の注目度）: 29.535042727523372
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Unlike closed-vocabulary 3D instance segmentation that is often trained end-to-end, open-vocabulary 3D instance segmentation (OV-3DIS) often leverages vision-language models (VLMs) to generate 3D instance proposals and classify them. While various concepts have been proposed from existing research, we observe that these individual concepts are not mutually exclusive but complementary. In this paper, we propose a new state-of-the-art solution for OV-3DIS by carefully designing a recipe to combine the concepts together and refining them to address key challenges. Our solution follows the two-stage scheme: 3D proposal generation and instance classification. We employ robust 3D tracking-based proposal aggregation to generate 3D proposals and remove overlapped or partial proposals by iterative merging/removal. For the classification stage, we replace the standard CLIP model with Alpha-CLIP, which incorporates object masks as an alpha channel to reduce background noise and obtain object-centric representation. Additionally, we introduce the standardized maximum similarity (SMS) score to normalize text-to-proposal similarity, effectively filtering out false positives and boosting precision. Our framework achieves state-of-the-art performance on ScanNet200 and S3DIS across all AP and AR metrics, even surpassing an end-to-end closed-vocabulary method.
- Abstract（参考訳）: エンドツーエンドでしばしば訓練されるクローズドボキャブラリ3Dインスタンスセグメンテーションとは異なり、オープンボキャブラリ3Dインスタンスセグメンテーション(OV-3DIS)は視覚言語モデル(VLM)を利用して3Dインスタンスの提案を生成し、それらを分類する。
既存の研究から様々な概念が提案されているが、これらの概念は相互排他的ではなく相補的である。
本稿では,OV-3DISのコンセプトを組み合わさったレシピを慎重に設計し,重要な課題に対処する手法を提案する。
我々の解決策は、2段階のスキームである3Dプロポーザル生成とインスタンス分類に従う。
我々は、3次元追跡に基づく頑健なプロポーザルアグリゲーションを用いて、3次元プロポーザルを生成し、反復的なマージ/削除によって重複または部分的なプロポーザルを除去する。
分類段階では、標準のCLIPモデルをAlpha-CLIPに置き換え、物体マスクをアルファチャネルとして組み込んで背景雑音を低減し、対象中心表現を得る。
さらに,テキスト間類似度を正規化し,偽陽性を効果的に除去し,精度を高めるために,標準化された最大類似度(SMS)スコアを導入する。
ScanNet200とS3DISのすべてのAPおよびARメトリクスにおける最先端のパフォーマンスを実現し、エンドツーエンドのクローズドボキャブラリー手法を超越した。
関連論文リスト
- Hierarchical Cross-Modal Alignment for Open-Vocabulary 3D Object Detection [45.68105299990119]
Open-vocabulary 3D object Detection (OV-3DOD) は、閉じた集合を超えて新しいオブジェクトをローカライズし分類することを目的としている。
我々は,OV-3DODの局所オブジェクトとグローバルシーン情報を同時に学習するための階層型フレームワークHCMAを提案する。
論文 参考訳（メタデータ） (2025-03-10T17:55:22Z) - Zero-Shot Dual-Path Integration Framework for Open-Vocabulary 3D Instance Segmentation [19.2297264550686]
Open-vocabulary 3Dのインスタンスセグメンテーションは、従来のクローズドボキャブラリーメソッドを超越する。
我々は、Zero-Shot Dual-Path Integration Frameworkを導入し、3Dと2Dの両方のモダリティの貢献を等しく評価する。
筆者らのフレームワークは,ゼロショット方式で事前学習したモデルを利用しており,モデル非依存であり,目に見えるデータと目に見えないデータの両方において優れた性能を示す。
論文 参考訳（メタデータ） (2024-08-16T07:52:00Z) - Open3DIS: Open-Vocabulary 3D Instance Segmentation with 2D Mask Guidance [49.14140194332482]
Open3DISは3Dシーン内でのOpen-Vocabulary Instanceの問題に対処するために設計された新しいソリューションである。
3D環境内のオブジェクトは、さまざまな形状、スケール、色を示し、正確なインスタンスレベルの識別が困難なタスクとなる。
論文 参考訳（メタデータ） (2023-12-17T10:07:03Z) - SAI3D: Segment Any Instance in 3D Scenes [68.57002591841034]
新規なゼロショット3Dインスタンスセグメンテーション手法であるSAI3Dを紹介する。
我々の手法は3Dシーンを幾何学的プリミティブに分割し、段階的に3Dインスタンスセグメンテーションにマージする。
ScanNet、Matterport3D、さらに難しいScanNet++データセットに関する実証的な評価は、我々のアプローチの優位性を示している。
論文 参考訳（メタデータ） (2023-12-17T09:05:47Z) - Distilling Coarse-to-Fine Semantic Matching Knowledge for Weakly
Supervised 3D Visual Grounding [58.924180772480504]
3Dビジュアルグラウンドリングは、所定の文クエリに対応する3Dシーンでターゲットオブジェクトを見つけることを含む。
弱教師付きアノテーションを利用して3次元視覚的接地モデルを学ぶことを提案する。
オブジェクトの提案と文のセマンティックな類似性を粗大な方法で解析する新しいセマンティックマッチングモデルを設計する。
論文 参考訳（メタデータ） (2023-07-18T13:49:49Z) - 3D-QueryIS: A Query-based Framework for 3D Instance Segmentation [74.6998931386331]
従来の3Dインスタンスセグメンテーションの方法は、しばしばタスク間の依存関係と堅牢性の欠如の傾向を維持する。
本稿では,3D-QueryISと呼ばれる新しい問合せ方式を提案する。
私たちの3D-QueryISは、タスク間の依存関係による累積エラーから解放されています。
論文 参考訳（メタデータ） (2022-11-17T07:04:53Z) - CAGroup3D: Class-Aware Grouping for 3D Object Detection on Point Clouds [55.44204039410225]
本稿では,CAGroup3Dという新しい2段階完全スパース3Dオブジェクト検出フレームワークを提案する。
提案手法は,まず,オブジェクト表面のボクセル上でのクラス認識型局所群戦略を活用することによって,高品質な3D提案を生成する。
不正なボクセルワイドセグメンテーションにより欠落したボクセルの特徴を回復するために,完全にスパースな畳み込み型RoIプールモジュールを構築した。
論文 参考訳（メタデータ） (2022-10-09T13:38:48Z) - ProposalContrast: Unsupervised Pre-training for LiDAR-based 3D Object
Detection [114.54835359657707]
ProposalContrastは、教師なしのポイントクラウド事前トレーニングフレームワークである。
地域提案と対比することで、堅牢な3D表現を学習する。
ProposalContrastは様々な3D検出器で検証される。
論文 参考訳（メタデータ） (2022-07-26T04:45:49Z) - 3D-MPA: Multi Proposal Aggregation for 3D Semantic Instance Segmentation [26.169985423367393]
3D-MPAは、3Dポイントクラウド上のインスタンスセグメンテーションの方法である。
同じオブジェクトセンターに投票したグループ化されたポイント機能から提案機能を学びます。
グラフ畳み込みネットワークは、プロトゾス間関係を導入する。
論文 参考訳（メタデータ） (2020-03-30T23:28:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。