論文の概要: Visual Prompt Selection for In-Context Learning Segmentation

• arxiv url: http://arxiv.org/abs/2407.10233v1
• Date: Sun, 14 Jul 2024 15:02:54 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-16 18:59:20.311055
• Title: Visual Prompt Selection for In-Context Learning Segmentation
• Title（参考訳）: 文脈内学習セグメンテーションのためのビジュアルプロンプト選択
• Authors: Wei Suo, Lanqing Lai, Mengyang Sun, Hanwang Zhang, Peng Wang, Yanning Zhang,
• Abstract要約: 本稿では,サンプル選択戦略の再考と改善に焦点をあてる。 まず、ICLに基づくセグメンテーションモデルが異なる文脈に敏感であることを示す。 さらに、経験的証拠は、文脈的プロンプトの多様性がセグメンテーションを導く上で重要な役割を担っていることを示している。
• 参考スコア（独自算出の注目度）: 77.15684360470152
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: As a fundamental and extensively studied task in computer vision, image segmentation aims to locate and identify different semantic concepts at the pixel level. Recently, inspired by In-Context Learning (ICL), several generalist segmentation frameworks have been proposed, providing a promising paradigm for segmenting specific objects. However, existing works mostly ignore the value of visual prompts or simply apply similarity sorting to select contextual examples. In this paper, we focus on rethinking and improving the example selection strategy. By comprehensive comparisons, we first demonstrate that ICL-based segmentation models are sensitive to different contexts. Furthermore, empirical evidence indicates that the diversity of contextual prompts plays a crucial role in guiding segmentation. Based on the above insights, we propose a new stepwise context search method. Different from previous works, we construct a small yet rich candidate pool and adaptively search the well-matched contexts. More importantly, this method effectively reduces the annotation cost by compacting the search space. Extensive experiments show that our method is an effective strategy for selecting examples and enhancing segmentation performance.
• Abstract（参考訳）: コンピュータビジョンにおける基本的な研究課題として、画像セグメンテーションは、ピクセルレベルで異なる意味概念を特定し識別することを目的としている。 最近、In-Context Learning (ICL) に触発され、いくつかの汎用セグメンテーションフレームワークが提案され、特定のオブジェクトをセグメンテーションするための有望なパラダイムを提供している。 しかし、既存の作品は視覚的なプロンプトの価値を無視するか、文脈的な例を選択するために単純に類似性ソートを適用している。 本稿では,サンプル選択戦略の再考と改善に焦点をあてる。 総合的な比較により、まずICLに基づくセグメンテーションモデルが異なる文脈に敏感であることを示す。 さらに、経験的証拠は、文脈的プロンプトの多様性がセグメンテーションを導く上で重要な役割を担っていることを示している。 以上の知見に基づいて,ステップワイズなコンテキスト検索手法を提案する。 従来の研究と異なり、我々は小さいがリッチな候補プールを構築し、適合したコンテキストを適応的に探索する。 さらに、この手法は、検索空間をコンパクト化することにより、アノテーションのコストを効果的に削減する。 実験の結果,本手法は実例の選択とセグメンテーション性能の向上に有効な方法であることがわかった。

関連論文リスト

• A Simple Image Segmentation Framework via In-Context Examples [59.319920526160466]
  本稿では,テキスト内例を利用したシンプルな画像フレームワークであるSINEを提案する。 In-context Interactionモジュールを導入し、インコンテキスト情報を補完し、ターゲット画像とインコンテキストの例との相関関係を生成する。 様々なセグメンテーションタスクの実験により,提案手法の有効性が示された。
  論文  参考訳（メタデータ） (2024-10-07T08:59:05Z)
• A Bottom-Up Approach to Class-Agnostic Image Segmentation [4.086366531569003]
  本稿では,クラスに依存しないセグメンテーション問題に対処するためのボトムアップの新たな定式化を提案する。 我々は、その特徴空間の射影球に直接ネットワークを監督する。 ボトムアップの定式化は、クラスベースのセグメンテーション用に設計されたデータセットで訓練された場合でも、例外的な一般化能力を示す。
  論文  参考訳（メタデータ） (2024-09-20T17:56:02Z)
• Leveraging Open-Vocabulary Diffusion to Camouflaged Instance Segmentation [59.78520153338878]
  テキスト・ツー・イメージ拡散技術は、テキスト記述から高品質な画像を生成する素晴らしい能力を示している。 そこで本研究では,オープン語彙を応用した最先端拡散モデルを用いて,多スケールのテキスト・視覚的特徴を学習する手法を提案する。
  論文  参考訳（メタデータ） (2023-12-29T07:59:07Z)
• SEGIC: Unleashing the Emergent Correspondence for In-Context Segmentation [87.18373801829314]
  In-context segmentationは、"in-context example"と呼ばれるいくつかのラベル付きサンプルイメージを使用して、新しいイメージをセグメント化することを目的としている。 単一ビジョン基盤モデル(VFM)に基づくエンドツーエンドのセグメンテーション・イン・コンテクストフレームワークSEGICを提案する。 SEGICは、ワンショットセグメンテーションベンチマークで最先端のパフォーマンスをもたらす、単純だが効果的なアプローチである。
  論文  参考訳（メタデータ） (2023-11-24T18:59:42Z)
• PartSeg: Few-shot Part Segmentation via Part-aware Prompt Learning [44.48704588318053]
  マルチモーダル学習に基づくパートセグメンテーションのためのパートセグと呼ばれる新しい手法を開発した。 PartImageNetとPascal$_$Partデータセットについて広範な実験を行った。
  論文  参考訳（メタデータ） (2023-08-24T13:03:42Z)
• FreeSeg: Unified, Universal and Open-Vocabulary Image Segmentation [42.89720785573885]
  FreeSegはUnified、Universal、Open-Vocabulary Imageを実現するための汎用フレームワークである。 我々は,FreeSegが3つのセグメンテーションタスクの性能と一般化に新たな成果をもたらすことを示す。
  論文  参考訳（メタデータ） (2023-03-30T08:42:49Z)
• CAT-Seg: Cost Aggregation for Open-Vocabulary Semantic Segmentation [56.58365347854647]
  私たちは、視覚言語基盤モデル、特にCLIPを適応するためのコストベースの新しいアプローチを導入します。 エンコーダの微調整により,CLIPをセグメント化,未確認のクラスに適応させる手法を提案する。
  論文  参考訳（メタデータ） (2023-03-21T12:28:21Z)
• Open-world Semantic Segmentation via Contrasting and Clustering Vision-Language Embedding [95.78002228538841]
  本研究では,様々なオープンワールドカテゴリのセマンティックオブジェクトを高密度アノテーションを使わずにセマンティックオブジェクトのセマンティックオブジェクトのセマンティック化を学習するための,新しいオープンワールドセマンティックセマンティックセマンティックセマンティクスパイプラインを提案する。 提案手法は任意のカテゴリのオブジェクトを直接分割し、3つのベンチマークデータセット上でデータラベリングを必要とするゼロショットセグメンテーション法より優れている。
  論文  参考訳（メタデータ） (2022-07-18T09:20:04Z)
• Beyond the Deep Metric Learning: Enhance the Cross-Modal Matching with Adversarial Discriminative Domain Regularization [21.904563910555368]
  本稿では,画像とテキストのペア内における識別データドメインの集合を構築するための新しい学習フレームワークを提案する。 我々のアプローチは一般的に既存のメトリクス学習フレームワークの学習効率と性能を改善することができる。
  論文  参考訳（メタデータ） (2020-10-23T01:48:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。