論文の概要: PerSense: Personalized Instance Segmentation in Dense Images

• arxiv url: http://arxiv.org/abs/2405.13518v2
• Date: Wed, 02 Oct 2024 11:45:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-03 15:17:08.675825
• Title: PerSense: Personalized Instance Segmentation in Dense Images
• Title（参考訳）: PerSense:Dense Imagesにおけるパーソナライズされたインスタンスセグメンテーション
• Authors: Muhammad Ibraheem Siddiqui, Muhammad Umer Sheikh, Hassan Abid, Muhammad Haris Khan,
• Abstract要約: 我々は、高密度画像のサンプルセグメント化のための、エンドツーエンドで、トレーニング不要で、モデルに依存しないフレームワークPerSenseを提案する。 インスタンスレベルのポイントプロンプトを自動的に生成できる新しいベースラインを開発する。 また、PerSenseが密度マップの精度を向上させるためのフィードバック機構も導入する。
• 参考スコア（独自算出の注目度）: 7.002657345547741
• License:
• Abstract: Leveraging large-scale pre-training, vision foundational models showcase notable performance benefits. Recent segmentation algorithms for natural scenes have advanced significantly. However, existing models still struggle to automatically segment personalized instances in dense and crowded scenarios, where severe occlusions, scale variations, and background clutter pose a challenge to accurately delineate densely packed instances of the target object. To address this, we propose PerSense, an end-to-end, training-free, and model-agnostic one-shot framework for Personalized instance Segmentation in dense images. We develop a new baseline capable of automatically generating instance-level point prompts via proposing a novel Instance Detection Module (IDM) that leverages density maps, encapsulating spatial distribution of objects in an image. To mitigate false positives within generated point prompts, we design Point Prompt Selection Module (PPSM). Both IDM and PPSM transform density maps into personalized precise point prompts for instance-level segmentation and offer a seamless integration in our model-agnostic framework. We also introduce a feedback mechanism which enables PerSense to improve the accuracy of density maps by automating the exemplar selection process for density map generation. To promote algorithmic advances and effective tools for this relatively underexplored task, we introduce PerSense-D, a diverse dataset exclusive to personalized instance segmentation in dense images. Our extensive experiments establish PerSense superiority in dense scenarios by achieving an mIoU of 71.61% on PerSense-D, outperforming recent SOTA models by significant margins of +47.16%, +42.27%, +8.83%, and +5.69%. Additionally, our qualitative findings demonstrate the adaptability of our framework to images captured in-the-wild.
• Abstract（参考訳）: 大規模な事前トレーニングを活用することで、ビジョン基盤モデルは、顕著なパフォーマンス上のメリットを示します。 近年の自然シーンのセグメンテーションアルゴリズムは著しく進歩している。 しかし、既存のモデルは、厳密で混雑したシナリオでパーソナライズされたインスタンスを自動的に分割することに苦慮している。 これを解決するために、高密度画像におけるパーソナライズされたインスタンスセグメンテーションのためのエンドツーエンド、トレーニング不要、モデルに依存しないワンショットフレームワークPerSenseを提案する。 我々は,画像内の物体の空間分布をカプセル化して密度マップを利用する新しいインスタンス検出モジュール(IDM)を提案することで,インスタンスレベルのポイントプロンプトを自動的に生成できる新しいベースラインを開発した。 生成した点プロンプト内の偽陽性を緩和するため、我々はPoint Prompt Selection Module (PPSM) を設計する。 IDMとPPSMはどちらも、インスタンスレベルのセグメンテーションのためのパーソナライズされた正確なポイントプロンプトに変換し、モデルに依存しないフレームワークにシームレスに統合します。 また,高密度マップ生成のための模範選択プロセスを自動化することにより,PerSenseが高密度マップの精度を向上させるためのフィードバック機構も導入する。 比較的未探索なタスクのためのアルゴリズムの進歩と効果的なツールを促進するために、高密度画像のパーソナライズされたインスタンスセグメンテーション専用の多様なデータセットPerSense-Dを紹介した。 PerSense-D の mIoU を 71.61% で達成し,最近の SOTA モデルでは +47.16%, +42.27%, +8.83%, +5.69% の差で,PerSense-D を上回り,高密度シナリオにおける PerSense の優位性を確立した。 さらに,本研究の質的発見は,撮影対象の画像へのフレームワークの適応性を示すものである。

関連論文リスト

• Adapting Segment Anything Model for Unseen Object Instance Segmentation [70.60171342436092]
  Unseen Object Instance(UOIS)は、非構造環境で動作する自律ロボットにとって不可欠である。 UOISタスクのためのデータ効率のよいソリューションであるUOIS-SAMを提案する。 UOIS-SAMは、(i)HeatmapベースのPrompt Generator(HPG)と(ii)SAMのマスクデコーダに適応する階層識別ネットワーク(HDNet)の2つの重要なコンポーネントを統合する。
  論文  参考訳（メタデータ） (2024-09-23T19:05:50Z)
• Leveraging image captions for selective whole slide image annotation [0.37334049820361814]
  本稿では,モデルトレーニングを最適化する特定の画像領域の同定とアノテーションについて述べる。 プロトタイプサンプリングは、価値あるトレーニング情報を持つアノテーション領域を特定する際に、ランダムサンプリングや多様性サンプリングよりも効果的である。 本結果より, アノテーション領域の同定において, プロトタイプサンプリングの方が, ランダムサンプリングや多様性サンプリングよりも有効であることが示唆された。
  論文  参考訳（メタデータ） (2024-07-08T20:05:21Z)
• SSMG: Spatial-Semantic Map Guided Diffusion Model for Free-form Layout-to-Image Generation [68.42476385214785]
  本稿では,レイアウトから派生した特徴写像を用いた空間意味マップガイド(SSMG)拡散モデルを提案する。 SSMGは,従来の研究に比べて空間的,意味的な制御性に優れた生成品質を実現する。 また,RSA(Relation-Sensitive Attention)機構とLSA(Location-Sensitive Attention)機構を提案する。
  論文  参考訳（メタデータ） (2023-08-20T04:09:12Z)
• Topological Data Analysis Guided Segment Anything Model Prompt Optimization for Zero-Shot Segmentation in Biological Imaging [5.795215830149858]
  我々は,Segment Anything Model (SAM) のプロンプト最適化を導くトポロジカルデータ解析を提案する。 以上の結果から,TDA最適化点雲は小型物体の発見に非常に適しており,計算複雑性を大幅に低減することがわかった。
  論文  参考訳（メタデータ） (2023-06-30T05:00:38Z)
• Sparse Instance Activation for Real-Time Instance Segmentation [72.23597664935684]
  本稿では,リアルタイムインスタンスセグメンテーションのための概念的・効率的・完全畳み込み型フレームワークを提案する。 SparseInstは非常に高速な推論速度を持ち、COCOベンチマークで40 FPSと37.9 APを達成した。
  論文  参考訳（メタデータ） (2022-03-24T03:15:39Z)
• Learning to Aggregate Multi-Scale Context for Instance Segmentation in Remote Sensing Images [28.560068780733342]
  特徴抽出のプロセスを改善するために,新しいコンテキスト集約ネットワーク(CATNet)を提案する。 提案モデルは,高密度特徴ピラミッドネットワーク(DenseFPN),空間コンテキストピラミッド(SCP),階層的関心抽出器(HRoIE)の3つの軽量プラグアンドプレイモジュールを利用する。
  論文  参考訳（メタデータ） (2021-11-22T08:55:25Z)
• Improving Semi-Supervised and Domain-Adaptive Semantic Segmentation with Self-Supervised Depth Estimation [94.16816278191477]
  本稿では,セミアダプティブなセマンティックセマンティックセマンティックセグメンテーションのためのフレームワークを提案する。 ラベルのない画像シーケンスでのみ訓練された自己教師付き単眼深度推定によって強化される。 提案したモデルをCityscapesデータセット上で検証する。
  論文  参考訳（メタデータ） (2021-08-28T01:33:38Z)
• Semantic Attention and Scale Complementary Network for Instance Segmentation in Remote Sensing Images [54.08240004593062]
  本稿では,セマンティックアテンション(SEA)モジュールとスケール補完マスクブランチ(SCMB)で構成される,エンドツーエンドのマルチカテゴリインスタンスセグメンテーションモデルを提案する。 SEAモジュールは、機能マップ上の興味あるインスタンスのアクティベーションを強化するために、追加の監督を備えた、単純な完全な畳み込みセマンティックセマンティックセマンティクスブランチを含んでいる。 SCMBは、元のシングルマスクブランチをトリデントマスクブランチに拡張し、異なるスケールで補完マスクの監視を導入する。
  論文  参考訳（メタデータ） (2021-07-25T08:53:59Z)
• Salient Objects in Clutter [130.63976772770368]
  本稿では,既存の正当性オブジェクト検出(SOD)データセットの重大な設計バイアスを特定し,対処する。 この設計バイアスは、既存のデータセットで評価した場合、最先端のSODモデルのパフォーマンスの飽和につながった。 我々は,新しい高品質データセットを提案し,前回のsaliencyベンチマークを更新する。
  論文  参考訳（メタデータ） (2021-05-07T03:49:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。