論文の概要: Completely Occluded and Dense Object Instance Segmentation Using Box
Prompt-Based Segmentation Foundation Models
- arxiv url: http://arxiv.org/abs/2401.08174v1
- Date: Tue, 16 Jan 2024 07:33:22 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-17 14:49:42.582381
- Title: Completely Occluded and Dense Object Instance Segmentation Using Box
Prompt-Based Segmentation Foundation Models
- Title(参考訳): Box Prompt-based Segmentation Foundation Model を用いたオブジェクトインスタンスの完全付加・拡張
- Authors: Zhen Zhou, Junfeng Fan, Yunkai Ma, Sihan Zhao, Fengshui Jing, Min Tan
- Abstract要約: CFNetは、完全に隠蔽された高密度オブジェクトのための粗いISフレームワークである。
ボックスプロンプトベースのセグメンテーション基礎モデル(BSM)に基づいている。
- 参考スコア(独自算出の注目度): 6.974903220611366
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Completely occluded and dense object instance segmentation (IS) is an
important and challenging task. Although current amodal IS methods can predict
invisible regions of occluded objects, they are difficult to directly predict
completely occluded objects. For dense object IS, existing box-based methods
are overly dependent on the performance of bounding box detection. In this
paper, we propose CFNet, a coarse-to-fine IS framework for completely occluded
and dense objects, which is based on box prompt-based segmentation foundation
models (BSMs). Specifically, CFNet first detects oriented bounding boxes (OBBs)
to distinguish instances and provide coarse localization information. Then, it
predicts OBB prompt-related masks for fine segmentation. To predict completely
occluded object instances, CFNet performs IS on occluders and utilizes prior
geometric properties, which overcomes the difficulty of directly predicting
completely occluded object instances. Furthermore, based on BSMs, CFNet reduces
the dependence on bounding box detection performance, improving dense object IS
performance. Moreover, we propose a novel OBB prompt encoder for BSMs. To make
CFNet more lightweight, we perform knowledge distillation on it and introduce a
Gaussian smoothing method for teacher targets. Experimental results demonstrate
that CFNet achieves the best performance on both industrial and publicly
available datasets.
- Abstract(参考訳): 完全に隠蔽され、密集したオブジェクトインスタンスセグメンテーション(IS)は重要かつ困難なタスクである。
現在のアモーダルIS法は、隠蔽対象の見えない領域を予測できるが、完全に隠蔽対象を直接予測することは困難である。
密度の高いオブジェクトの場合、既存のboxベースのメソッドは、バウンディングボックス検出の性能に過度に依存する。
本稿では,箱型プロンプトベースセグメンテーション基盤モデル(bsms)に基づく,完全にオクルードで密接なオブジェクトのための粗いisフレームワークであるcfnetを提案する。
具体的には、cfnetは最初に向き付けられた境界ボックス(obbs)を検出してインスタンスを識別し、粗いローカライゼーション情報を提供する。
次に,OBBプロンプト関連マスクの微細セグメンテーションを予測する。
完全に隠蔽されたオブジェクトインスタンスを予測するため、CFNetはOccluder上でISを実行し、それ以前の幾何学的特性を利用する。
さらに、BSMに基づいて、CFNetはバウンディングボックス検出性能への依存を低減し、高密度オブジェクトIS性能を向上させる。
さらに,BSMのための新しいOBBプロンプトエンコーダを提案する。
CFNetをより軽量にするために,知識蒸留を行い,教師対象に対するガウス的平滑化手法を導入する。
実験の結果,CFNetは産業用および公用両方のデータセット上で最高の性能を発揮することがわかった。
関連論文リスト
- PWISeg: Point-based Weakly-supervised Instance Segmentation for Surgical
Instruments [27.89003436883652]
我々はPWISeg (Point-based Weakly-supervised Instance) という,弱制御型手術器具セグメンテーション手法を提案する。
PWISegは、特徴点とバウンディングボックスの関係をモデル化するために、ポイント・ツー・ボックスとポイント・ツー・マスクのブランチを備えたFCNベースのアーキテクチャを採用している。
そこで本研究では,キー・ツー・マスク・ブランチを駆動し,より正確なセグメンテーション予測を生成するキー・ピクセル・アソシエーション・ロスとキー・ピクセル・アソシエーション・ロスを提案する。
論文 参考訳(メタデータ) (2023-11-16T11:48:29Z) - Look Before You Match: Instance Understanding Matters in Video Object
Segmentation [114.57723592870097]
本稿では,ビデオオブジェクトセグメンテーション(VOS)におけるインスタンスの重要性について論じる。
本稿では,クエリベースのインスタンスセグメンテーション(IS)ブランチを現在のフレームのインスタンス詳細に分割し,VOSブランチをメモリバンクと時空間マッチングする,VOS用の2分岐ネットワークを提案する。
我々は、ISブランチから十分に学習されたオブジェクトクエリを使用して、インスタンス固有の情報をクエリキーに注入し、インスタンス拡張マッチングをさらに実行します。
論文 参考訳(メタデータ) (2022-12-13T18:59:59Z) - Multi-Object Tracking and Segmentation via Neural Message Passing [0.0]
グラフは、Multiple Object Tracking (MOT) とMultiple Object Tracking (MOTS) を定式化する自然な方法を提供する。
我々は、メッセージパッシングネットワーク(MPN)に基づく、完全に差別化可能なフレームワークを定義するために、MOTの古典的なネットワークフロー定式化を利用する。
いくつかの公開データセットにおけるトラッキングとセグメンテーションの両面での最先端の結果が得られます。
論文 参考訳(メタデータ) (2022-07-15T13:03:47Z) - Sparse Instance Activation for Real-Time Instance Segmentation [72.23597664935684]
本稿では,リアルタイムインスタンスセグメンテーションのための概念的・効率的・完全畳み込み型フレームワークを提案する。
SparseInstは非常に高速な推論速度を持ち、COCOベンチマークで40 FPSと37.9 APを達成した。
論文 参考訳(メタデータ) (2022-03-24T03:15:39Z) - Boundary Knowledge Translation based Reference Semantic Segmentation [62.60078935335371]
視覚境界知識翻訳を行うための参照参照セグメンテーションネットワーク(Ref-Net)を導入する。
人間の認識機構にインスパイアされたRTMTMは、参照オブジェクトの特徴に基づいて、同じカテゴリオブジェクトをセグメント化するだけに考案されている。
Ref-Netは、数十の細かい注釈付きサンプルをガイダンスとして、完全に教師された6つのデータセットのメソッドと同等の結果を得る。
論文 参考訳(メタデータ) (2021-08-01T07:40:09Z) - SOLO: A Simple Framework for Instance Segmentation [84.00519148562606]
インスタンスカテゴリ"は、インスタンスの場所に応じて、インスタンス内の各ピクセルにカテゴリを割り当てる。
SOLO"は、強力なパフォーマンスを備えたインスタンスセグメンテーションのための、シンプルで、直接的で、高速なフレームワークです。
提案手法は, 高速化と精度の両面から, 実例分割の最先端結果を実現する。
論文 参考訳(メタデータ) (2021-06-30T09:56:54Z) - Object-Guided Instance Segmentation With Auxiliary Feature Refinement
for Biological Images [58.914034295184685]
サンプルセグメンテーションは、神経細胞相互作用の研究、植物の表現型化、細胞が薬物治療にどう反応するかを定量的に測定するなど、多くの生物学的応用において非常に重要である。
Boxベースのインスタンスセグメンテーションメソッドは、バウンディングボックスを介してオブジェクトをキャプチャし、各バウンディングボックス領域内で個々のセグメンテーションを実行する。
提案手法は,まずオブジェクトの中心点を検出し,そこから境界ボックスパラメータが予測される。
セグメンテーションブランチは、オブジェクト特徴をガイダンスとして再利用し、同じバウンディングボックス領域内の隣のオブジェクトからターゲットオブジェクトを分離する。
論文 参考訳(メタデータ) (2021-06-14T04:35:36Z) - Target-Aware Object Discovery and Association for Unsupervised Video
Multi-Object Segmentation [79.6596425920849]
本稿では,教師なしビデオマルチオブジェクトセグメンテーションの課題について述べる。
より正確で効率的な時間区分のための新しいアプローチを紹介します。
DAVIS$_17$とYouTube-VISに対する提案手法を評価した結果,セグメント化精度と推論速度の両方において最先端の手法より優れていることが示された。
論文 参考訳(メタデータ) (2021-04-10T14:39:44Z) - Robust Instance Segmentation through Reasoning about Multi-Object
Occlusion [9.536947328412198]
本稿では,隠蔽に頑健な多目的インスタンスセグメンテーションのためのディープネットワークを提案する。
私たちの研究は、神経機能アクティベーションの生成モデルを学習し、オクローダの発見に役立てています。
特に、オブジェクトクラスとそのインスタンスおよびオクルーダーセグメンテーションのフィードフォワード予測を得る。
論文 参考訳(メタデータ) (2020-12-03T17:41:55Z) - Towards Bounding-Box Free Panoptic Segmentation [16.4548904544277]
パン光学セグメンテーションのための新しいBunding-Box Free Network (BBFNet) を提案する。
BBFNetは、粗い流域レベルを予測し、境界が適切に定義された大きなインスタンス候補を検出するためにそれらを使用する。
境界が信頼性の低い小さなインスタンスでは、BBFNetはHoughの投票によってインスタンス中心を予測し、続いて平均シフトによって小さなオブジェクトを確実に検出する。
論文 参考訳(メタデータ) (2020-02-18T16:34:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。