論文の概要: OVIP-SG: Open-Vocabulary Instance-Preserving Scene Graphs for Mapping and Retrieval of Small, Fine-Grained Objects
- arxiv url: http://arxiv.org/abs/2608.17633v4
- Date: Fri, 21 Aug 2026 07:17:24 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-24 14:49:31.747565
- Title: OVIP-SG: Open-Vocabulary Instance-Preserving Scene Graphs for Mapping and Retrieval of Small, Fine-Grained Objects
- Title(参考訳): OVIP-SG:小さな細粒度オブジェクトのマッピングと検索のためのオープンボキャブラリインスタンス保存シーングラフ
- Authors: Tianjing Hao, Haiyu Lan, Angsong Li, Cheng Chen, Enyu Li, Jiarui Yang, Yuning Su, Peiwen Lin, Wang Chuang,
- Abstract要約: セマンティックマッピング,機能的シーン分割,言語誘導オブジェクト検索のためのフレームワークであるOVIP-SGを提案する。
OVIP-SGは視覚言語モデル(VLM)を使用して、堅牢なオープンワールド検出のためにシーン固有のカテゴリを列挙する。
クラス平均精度(mAcc)が6.31ポイント、周波数重み付きmIoU(F-mIoU)が5.15ポイント、クラス非依存のネイティブ・インスタンス・パノプティクス(PQ)が0.398である。
- 参考スコア(独自算出の注目度): 8.318711003254643
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Integrating open-vocabulary perception into object-level 3D scene graphs is a double-edged sword. While vision-language detectors recover long-tail categories and small, fine-grained objects overlooked by closed-set models, they also tend to fragment large surfaces and merge small objects into larger neighboring objects, compromising instance-level consistency and undermining mapping fidelity. Moreover, existing methods struggle to retrieve previously unmapped targets or determine whether a queried object is absent, hindering robust embodied open-world navigation and exploration. We present OVIP-SG, a unified framework for instance-preserving semantic mapping, functional scene partitioning, and language-guided small, fine-grained object retrieval. OVIP-SG uses a vision-language model (VLM) to enumerate scene-specific categories for robust open-world detection. Symmetric 3D Intersection over Union (IoU) association and area-weighted feature fusion preserve small independent instances, while VLM-inferred object functions partition scenes into compact functional search regions. A four-stage cascaded retrieval pipeline further incorporates voxel voting and determines target absence from exploration coverage. Under a unified evaluation protocol on Replica, OVIP-SG outperforms ConceptGraphs by 6.31 points in class-mean accuracy (mAcc) and 5.15 points in frequency-weighted mIoU (F-mIoU) while achieving a class-agnostic native-instance Panoptic Quality (PQ) of 0.398. It reduces the search area to 21.8% of the indoor floor space and reaches 0.773 balanced accuracy for object-presence classification. Real-world robotic experiments further demonstrate its practical effectiveness. Code is available at https://github.com/Agibot-Spatial-Intelligence/OVIP-SG.
- Abstract(参考訳): オープン語彙認識をオブジェクトレベルの3Dシーングラフに統合することは、二重刃の剣である。
視覚言語検出器は、長い尾のカテゴリと、閉じたモデルで見下ろされる小さなきめ細かい物体を回収する一方で、大きな表面を分解し、小さな物体を大きな隣の物体にマージし、インスタンスレベルの一貫性を損なうとともに、マッピングの忠実さを損なう傾向にある。
さらに、既存の手法では、未マップのターゲットを検索したり、クエリ対象が存在しないかどうかを判断するのに苦労し、堅牢なオープンワールドナビゲーションと探索を妨げる。
OVIP-SGは,インスタンス保存セマンティックマッピング,機能的シーンパーティショニング,言語指導による細粒度オブジェクト検索のための統合フレームワークである。
OVIP-SGは視覚言語モデル(VLM)を使用して、堅牢なオープンワールド検出のためにシーン固有のカテゴリを列挙する。
対称的3次元連合(IoU)結合と領域重み付き特徴融合は、小さな独立なインスタンスを保存し、VLMで推論されたオブジェクト関数は、シーンをコンパクトな機能的検索領域に分割する。
4段階のカスケード検索パイプラインは、さらにボクセル投票を組み込んで、探索カバレッジからターゲット不在を判定する。
Replicaの統一評価プロトコルでは、OVIP-SGは、クラス平均精度(mAcc)が6.31ポイント、周波数重み付きmIoU(F-mIoU)が5.15ポイント、クラス非依存のネイティブインスタンス・パノプティクス(PQ)が0.398である。
探索面積を屋内の床面積の21.8%に減らし、オブジェクトプレゼンス分類の精度は0.773に達する。
実世界のロボット実験は、その実用性をさらに実証する。
コードはhttps://github.com/Agibot-Spatial-Intelligence/OVIP-SGで入手できる。
関連論文リスト
- The Detector Teaches Itself: Lightweight Self-Supervised Adaptation for Open-Vocabulary Object Detection [8.847667302225156]
Open-vocabulary Object Detectionは、大規模画像テキストデータに基づいて事前訓練された視覚言語モデル(VLM)を活用するオープンセットカテゴリからオブジェクトを認識することを目的としている。
本稿では、協調モデルに基づく物体検出のためのVLMを改善するための自己教師型微調整手法であるDecoupled Adaptivity Trainingを提案する。
COCOとLVISデータセットの実験は、DATが新しいカテゴリと既知のカテゴリの両方における検出性能を一貫して改善していることを示している。
論文 参考訳(メタデータ) (2026-05-05T11:14:30Z) - Generalized Small Object Detection:A Point-Prompted Paradigm and Benchmark [54.91847070147244]
小さい物体検出(SOD)は、非常に限られたピクセルとあいまいな物体の境界のために難しいままである。
これらの特徴は、挑戦的なアノテーション、大規模な高品質データセットの可用性の制限、そして本質的に小さなオブジェクトに対する弱いセマンティック表現をもたらす。
本研究では,小型オブジェクト検出のための大規模マルチドメインデータセットTinySet-9Mを導入することで,データ制限に対処する。
論文 参考訳(メタデータ) (2026-04-03T06:32:18Z) - COVTrack++: Learning Open-Vocabulary Multi-Object Tracking from Continuous Videos via a Synergistic Paradigm [59.26203051651017]
C-TAOはOpen-Vocabulary Multi-Object Tracking (OVMOT)のための最初の連続アノテーション付きトレーニングセットである
フレームワークボトルネックに対するCOVTrack++は,3つのモジュールによる検出とアソシエーションの双方向相互機構を実現するための相乗的フレームワークである。
TAOの実験では、新しいTAAは検証とテストセットで35.4%、30.5%に達し、新しいAssocAは4.8%、新しいLocAは5.8%向上した。
論文 参考訳(メタデータ) (2026-03-25T07:20:27Z) - Towards 3D Object-Centric Feature Learning for Semantic Scene Completion [18.41627244498394]
視覚に基づく3Dセマンティックシーンコンプリート(SSC)は、自動運転の可能性から注目を集めている。
シーンを個々のオブジェクトインスタンスに分解するオブジェクト中心の予測フレームワークであるOceanを提案する。
その結果,Oceanは17.40点,mIoUスコアは20.28点であった。
論文 参考訳(メタデータ) (2025-11-17T06:28:26Z) - Learning to Borrow Features for Improved Detection of Small Objects in Single-Shot Detectors [0.0]
そこで本研究では,クラス内のより大規模で意味的にリッチなインスタンスから,小さなオブジェクト表現を識別的特徴の「バラバラ化」を可能にする新しいフレームワークを提案する。
本手法は, 複雑な視覚環境下でのロバストな物体検出に有望な方向を提供するため, ベースライン法よりも小さな物体検出精度を著しく向上させる。
論文 参考訳(メタデータ) (2025-04-30T01:18:33Z) - DetCLIPv3: Towards Versatile Generative Open-vocabulary Object Detection [111.68263493302499]
DetCLIPv3は、オープンボキャブラリオブジェクト検出と階層ラベルの両方で優れた高性能検出器である。
DetCLIPv3は,1)Versatileモデルアーキテクチャ,2)高情報密度データ,3)効率的なトレーニング戦略の3つのコア設計によって特徴付けられる。
DetCLIPv3は、GLIPv2, GroundingDINO, DetCLIPv2をそれぞれ18.0/19.6/6 APで上回り、優れたオープン語彙検出性能を示す。
論文 参考訳(メタデータ) (2024-04-14T11:01:44Z) - Object-Centric Multiple Object Tracking [124.30650395969126]
本稿では,多目的追跡パイプラインのためのビデオオブジェクト中心モデルを提案する。
オブジェクト中心のスロットを検出出力に適応するインデックスマージモジュールと、オブジェクトメモリモジュールで構成される。
オブジェクト中心学習に特化して、オブジェクトのローカライゼーションと機能バインディングのためのスパース検出ラベルしか必要としない。
論文 参考訳(メタデータ) (2023-09-01T03:34:12Z) - ImpDet: Exploring Implicit Fields for 3D Object Detection [74.63774221984725]
我々は、境界ボックス回帰を暗黙の関数として見る新しい視点を導入する。
これは、Implicit DetectionまたはImpDetと呼ばれる提案されたフレームワークにつながります。
我々のImpDetは、異なる局所的な3次元空間の点に特定の値を割り当て、高品質な境界を生成することができる。
論文 参考訳(メタデータ) (2022-03-31T17:52:12Z) - VIN: Voxel-based Implicit Network for Joint 3D Object Detection and
Segmentation for Lidars [12.343333815270402]
統合ニューラルネットワーク構造は、ジョイント3Dオブジェクト検出とポイントクラウドセグメンテーションのために提示される。
私たちは、検出ラベルとセグメンテーションラベルの両方からの豊富な監視を活用しています。
論文 参考訳(メタデータ) (2021-07-07T02:16:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。