論文の概要: PerSense: Personalized Instance Segmentation in Dense Images
- arxiv url: http://arxiv.org/abs/2405.13518v2
- Date: Wed, 02 Oct 2024 11:45:38 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-03 15:17:08.675825
- Title: PerSense: Personalized Instance Segmentation in Dense Images
- Title(参考訳): PerSense:Dense Imagesにおけるパーソナライズされたインスタンスセグメンテーション
- Authors: Muhammad Ibraheem Siddiqui, Muhammad Umer Sheikh, Hassan Abid, Muhammad Haris Khan,
- Abstract要約: 我々は、高密度画像のサンプルセグメント化のための、エンドツーエンドで、トレーニング不要で、モデルに依存しないフレームワークPerSenseを提案する。
インスタンスレベルのポイントプロンプトを自動的に生成できる新しいベースラインを開発する。
また、PerSenseが密度マップの精度を向上させるためのフィードバック機構も導入する。
- 参考スコア(独自算出の注目度): 7.002657345547741
- License:
- Abstract: Leveraging large-scale pre-training, vision foundational models showcase notable performance benefits. Recent segmentation algorithms for natural scenes have advanced significantly. However, existing models still struggle to automatically segment personalized instances in dense and crowded scenarios, where severe occlusions, scale variations, and background clutter pose a challenge to accurately delineate densely packed instances of the target object. To address this, we propose PerSense, an end-to-end, training-free, and model-agnostic one-shot framework for Personalized instance Segmentation in dense images. We develop a new baseline capable of automatically generating instance-level point prompts via proposing a novel Instance Detection Module (IDM) that leverages density maps, encapsulating spatial distribution of objects in an image. To mitigate false positives within generated point prompts, we design Point Prompt Selection Module (PPSM). Both IDM and PPSM transform density maps into personalized precise point prompts for instance-level segmentation and offer a seamless integration in our model-agnostic framework. We also introduce a feedback mechanism which enables PerSense to improve the accuracy of density maps by automating the exemplar selection process for density map generation. To promote algorithmic advances and effective tools for this relatively underexplored task, we introduce PerSense-D, a diverse dataset exclusive to personalized instance segmentation in dense images. Our extensive experiments establish PerSense superiority in dense scenarios by achieving an mIoU of 71.61% on PerSense-D, outperforming recent SOTA models by significant margins of +47.16%, +42.27%, +8.83%, and +5.69%. Additionally, our qualitative findings demonstrate the adaptability of our framework to images captured in-the-wild.
- Abstract(参考訳): 大規模な事前トレーニングを活用することで、ビジョン基盤モデルは、顕著なパフォーマンス上のメリットを示します。
近年の自然シーンのセグメンテーションアルゴリズムは著しく進歩している。
しかし、既存のモデルは、厳密で混雑したシナリオでパーソナライズされたインスタンスを自動的に分割することに苦慮している。
これを解決するために、高密度画像におけるパーソナライズされたインスタンスセグメンテーションのためのエンドツーエンド、トレーニング不要、モデルに依存しないワンショットフレームワークPerSenseを提案する。
我々は,画像内の物体の空間分布をカプセル化して密度マップを利用する新しいインスタンス検出モジュール(IDM)を提案することで,インスタンスレベルのポイントプロンプトを自動的に生成できる新しいベースラインを開発した。
生成した点プロンプト内の偽陽性を緩和するため、我々はPoint Prompt Selection Module (PPSM) を設計する。
IDMとPPSMはどちらも、インスタンスレベルのセグメンテーションのためのパーソナライズされた正確なポイントプロンプトに変換し、モデルに依存しないフレームワークにシームレスに統合します。
また,高密度マップ生成のための模範選択プロセスを自動化することにより,PerSenseが高密度マップの精度を向上させるためのフィードバック機構も導入する。
比較的未探索なタスクのためのアルゴリズムの進歩と効果的なツールを促進するために、高密度画像のパーソナライズされたインスタンスセグメンテーション専用の多様なデータセットPerSense-Dを紹介した。
PerSense-D の mIoU を 71.61% で達成し,最近の SOTA モデルでは +47.16%, +42.27%, +8.83%, +5.69% の差で,PerSense-D を上回り,高密度シナリオにおける PerSense の優位性を確立した。
さらに,本研究の質的発見は,撮影対象の画像へのフレームワークの適応性を示すものである。
関連論文リスト
- Lidar Panoptic Segmentation and Tracking without Bells and Whistles [48.078270195629415]
ライダーセグメンテーションと追跡のための検出中心ネットワークを提案する。
私たちのネットワークのコアコンポーネントの1つは、オブジェクトインスタンス検出ブランチです。
提案手法を複数の3D/4D LPSベンチマークで評価し,我々のモデルがオープンソースモデル間で新たな最先端性を確立することを確認した。
論文 参考訳(メタデータ) (2023-10-19T04:44:43Z) - De-coupling and De-positioning Dense Self-supervised Learning [65.56679416475943]
Dense Self-Supervised Learning (SSL)メソッドは、複数のオブジェクトでイメージを処理する際に、画像レベルの特徴表現を使用する際の制限に対処する。
本研究は, 層深度やゼロパディングに伴う受容野の増大によって生じる, 結合と位置バイアスに悩まされていることを示す。
我々はCOCOにおける本手法の利点と、オブジェクト分類、セマンティックセグメンテーション、オブジェクト検出のための新しい挑戦的ベンチマークであるOpenImage-MINIについて示す。
論文 参考訳(メタデータ) (2023-03-29T18:07:25Z) - Self-supervised Pre-training for Semantic Segmentation in an Indoor
Scene [8.357801312689622]
本稿ではセグメンテーションモデルの自己教師型事前学習手法であるRegConsistを提案する。
我々は,対象環境におけるRGBビューからのセマンティックセグメンテーションを予測するために,コントラスト学習の変種を用いてDCNNモデルを訓練する。
提案手法は、ImageNetで事前訓練されたモデルよりも優れており、全く同じタスクでトレーニングされたモデルと異なるデータセットでトレーニングされたモデルを使用する場合の競合性能を実現する。
論文 参考訳(メタデータ) (2022-10-04T20:10:14Z) - LEAD: Self-Supervised Landmark Estimation by Aligning Distributions of
Feature Similarity [49.84167231111667]
自己監督型ランドマーク検出における既存の研究は、画像から高密度(ピクセルレベルの)特徴表現を学習することに基づいている。
自己教師付き方式で高密度同変表現の学習を強化するアプローチを提案する。
機能抽出器にそのような先行性があることは,アノテーションの数が大幅に制限されている場合でも,ランドマーク検出に役立ちます。
論文 参考訳(メタデータ) (2022-04-06T17:48:18Z) - Semantic Attention and Scale Complementary Network for Instance
Segmentation in Remote Sensing Images [54.08240004593062]
本稿では,セマンティックアテンション(SEA)モジュールとスケール補完マスクブランチ(SCMB)で構成される,エンドツーエンドのマルチカテゴリインスタンスセグメンテーションモデルを提案する。
SEAモジュールは、機能マップ上の興味あるインスタンスのアクティベーションを強化するために、追加の監督を備えた、単純な完全な畳み込みセマンティックセマンティックセマンティクスブランチを含んでいる。
SCMBは、元のシングルマスクブランチをトリデントマスクブランチに拡張し、異なるスケールで補完マスクの監視を導入する。
論文 参考訳(メタデータ) (2021-07-25T08:53:59Z) - Salient Objects in Clutter [130.63976772770368]
本稿では,既存の正当性オブジェクト検出(SOD)データセットの重大な設計バイアスを特定し,対処する。
この設計バイアスは、既存のデータセットで評価した場合、最先端のSODモデルのパフォーマンスの飽和につながった。
我々は,新しい高品質データセットを提案し,前回のsaliencyベンチマークを更新する。
論文 参考訳(メタデータ) (2021-05-07T03:49:26Z) - SCNet: Enhancing Few-Shot Semantic Segmentation by Self-Contrastive
Background Prototypes [56.387647750094466]
Few-shot セマンティックセマンティックセマンティクスは,クエリイメージ内の新規クラスオブジェクトを,アノテーション付きの例で分割することを目的としている。
先進的なソリューションのほとんどは、各ピクセルを学習した前景のプロトタイプに合わせることでセグメンテーションを行うメトリクス学習フレームワークを利用している。
このフレームワークは、前景プロトタイプのみとのサンプルペアの不完全な構築のために偏った分類に苦しんでいます。
論文 参考訳(メタデータ) (2021-04-19T11:21:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。