論文の概要: Prompt-Guided Mask Proposal for Two-Stage Open-Vocabulary Segmentation

• arxiv url: http://arxiv.org/abs/2412.10292v1
• Date: Fri, 13 Dec 2024 17:22:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-16 15:02:34.057749
• Title: Prompt-Guided Mask Proposal for Two-Stage Open-Vocabulary Segmentation
• Title（参考訳）: Prompt-Guided Mask Proposal for Two-Stage Open-Vocabulary Segmentation
• Authors: Yu-Jhe Li, Xinyang Zhang, Kun Wan, Lantao Yu, Ajinkya Kale, Xin Lu,
• Abstract要約: オープン語彙セグメンテーション(open-vocabulary segmentation)の課題に取り組み、異なる環境における幅広いカテゴリのオブジェクトを識別する必要がある。 既存の方法はCLIPのようなマルチモーダルモデルを使うことが多い。 本稿では,PMP(Prompt-Guided Mask Proposal)を提案する。
• 参考スコア（独自算出の注目度）: 21.30568336073013
• License:
• Abstract: We tackle the challenge of open-vocabulary segmentation, where we need to identify objects from a wide range of categories in different environments, using text prompts as our input. To overcome this challenge, existing methods often use multi-modal models like CLIP, which combine image and text features in a shared embedding space to bridge the gap between limited and extensive vocabulary recognition, resulting in a two-stage approach: In the first stage, a mask generator takes an input image to generate mask proposals, and the in the second stage the target mask is picked based on the query. However, the expected target mask may not exist in the generated mask proposals, which leads to an unexpected output mask. In our work, we propose a novel approach named Prompt-guided Mask Proposal (PMP) where the mask generator takes the input text prompts and generates masks guided by these prompts. Compared with mask proposals generated without input prompts, masks generated by PMP are better aligned with the input prompts. To realize PMP, we designed a cross-attention mechanism between text tokens and query tokens which is capable of generating prompt-guided mask proposals after each decoding. We combined our PMP with several existing works employing a query-based segmentation backbone and the experiments on five benchmark datasets demonstrate the effectiveness of this approach, showcasing significant improvements over the current two-stage models (1% ~ 3% absolute performance gain in terms of mIOU). The steady improvement in performance across these benchmarks indicates the effective generalization of our proposed lightweight prompt-aware method.
• Abstract（参考訳）: 我々はオープン語彙セグメンテーションの課題に取り組み、入力としてテキストプロンプトを用いて、異なる環境における幅広いカテゴリのオブジェクトを識別する必要がある。 この課題を克服するために、既存のメソッドでは、共有埋め込み空間における画像とテキストの特徴を組み合わせたCLIPのようなマルチモーダルモデルを使用して、制限された語彙認識と広範囲な語彙認識のギャップを埋める。 しかし、予測されたターゲットマスクは生成されたマスクの提案には存在せず、予期しない出力マスクにつながる可能性がある。 本研究では,PMP (Prompt-Guided Mask Proposal) という新しい手法を提案する。 入力プロンプトなしで生成されるマスク提案と比較して、PMPが生成するマスクは入力プロンプトと整合性がよい。 PMPを実現するために,テキストトークンとクエリトークン間のクロスアテンション機構を設計した。 私たちはPMPと、クエリベースのセグメンテーションバックボーンを使用した既存のいくつかの作業を組み合わせることで、このアプローチの有効性を示す5つのベンチマークデータセットの実験を行い、現在の2段階モデル(mIOUでは1%～3%の絶対的なパフォーマンス向上)よりも大幅に改善されていることを示した。 これらのベンチマークによる性能の着実に向上は,提案手法を効果的に一般化したことを示す。

関連論文リスト

• Pluralistic Salient Object Detection [108.74650817891984]
  本稿では,与えられた入力画像に対して,複数の有意な有意な有意な有意な有意な有意な分割結果を生成することを目的とした新しい課題であるPSOD(multiistic Salient Object Detection)を紹介する。 新たに設計された評価指標とともに,2つのSODデータセット "DUTS-MM" と "DUS-MQ" を提案する。
  論文  参考訳（メタデータ） (2024-09-04T01:38:37Z)
• ColorMAE: Exploring data-independent masking strategies in Masked AutoEncoders [53.3185750528969]
  Masked AutoEncoders (MAE)は、堅牢な自己管理フレームワークとして登場した。 データに依存しないColorMAEという手法を導入し、ランダムノイズをフィルタすることで異なる二元マスクパターンを生成する。 ランダムマスキングと比較して,下流タスクにおける戦略の優位性を示す。
  論文  参考訳（メタデータ） (2024-07-17T22:04:00Z)
• Cross-Task Multi-Branch Vision Transformer for Facial Expression and Mask Wearing Classification [13.995453649985732]
  顔の表情認識とマスキングのための統合型マルチブランチ・ビジョン・トランスフォーマを提案する。 本手法では,両タスクの共有機能を二重ブランチアーキテクチャを用いて抽出する。 提案するフレームワークは,両タスクで別々のネットワークを使用する場合と比較して,全体的な複雑性を低減する。
  論文  参考訳（メタデータ） (2024-04-22T22:02:19Z)
• Class-Aware Mask-Guided Feature Refinement for Scene Text Recognition [56.968108142307976]
  CAM(Class-Aware Mask-Guided Feature refinement)と呼ばれる新しい手法を提案する。 本手法では,背景およびテキストスタイルのノイズを抑制するために,標準クラス対応グリフマスクを導入している。 標準マスク特徴とテキスト特徴とのアライメントを強化することにより、モジュールはより効果的な融合を保証する。
  論文  参考訳（メタデータ） (2024-02-21T09:22:45Z)
• Open-Vocabulary Segmentation with Unpaired Mask-Text Supervision [87.15580604023555]
  Unpair-Segは、弱制御されたオープン語彙セグメンテーションフレームワークである。 未ペア画像マスクと画像テキストペアから学習し、独立して効率的に収集することができる。 ADE-847とPASCAL Context-459データセットで14.6%と19.5%のmIoUを達成した。
  論文  参考訳（メタデータ） (2024-02-14T06:01:44Z)
• Variance-insensitive and Target-preserving Mask Refinement for Interactive Image Segmentation [68.16510297109872]
  ポイントベースのインタラクティブなイメージセグメンテーションは、セマンティックセグメンテーションや画像編集といったアプリケーションにおけるマスクアノテーションの負担を軽減することができる。 本稿では,ユーザ入力の少ないセグメンテーション品質を向上する新しい手法である可変無感・ターゲット保存マスクリファインメントを提案する。 GrabCut、バークレー、SBD、DAVISデータセットの実験は、インタラクティブな画像セグメンテーションにおける我々の手法の最先端性能を実証している。
  論文  参考訳（メタデータ） (2023-12-22T02:31:31Z)
• Segment (Almost) Nothing: Prompt-Agnostic Adversarial Attacks on Segmentation Models [61.46999584579775]
  汎用セグメンテーションモデルは、様々なプロンプトから(意味)セグメンテーションマスクを生成することができる。 特に、入力画像は、イメージエンコーダによって前処理され、後にマスク予測に使用される埋め込みベクトルを得る。 我々は、半径$エプシロン=1/255$の知覚不能な摂動でさえ、ポイント、ボックス、テキストプロンプトで予測されるマスクを劇的に修正するのに十分であることを示す。
  論文  参考訳（メタデータ） (2023-11-24T12:57:34Z)
• DynaMask: Dynamic Mask Selection for Instance Segmentation [21.50329070835023]
  我々は,各インスタンスに最適なマスク解像度を選択するために,計算コストを無視できるマスクスイッチモジュール(MSM)を開発した。 提案手法,すなわちDynaMaskは,高い計算オーバーヘッドで,他の最先端技術よりも一貫した,顕著なパフォーマンス向上を実現する。
  論文  参考訳（メタデータ） (2023-03-14T13:01:25Z)
• Masked Contrastive Pre-Training for Efficient Video-Text Retrieval [37.05164804180039]
  我々は、シンプルだが効果的なビデオ言語事前学習(VidLP)フレームワーク、Masked Contrastive Video-Language Pretraining(MAC)を提案する。 我々のMACは、VidLPモデルにおける映像表現の空間的および時間的冗長性を低減することを目的としている。 これらの設計を結合することで、FLOP(60%オフ)の削減、事前トレーニング(3倍)の高速化、性能向上など、効率的なエンドツーエンドの事前トレーニングが可能になる。
  論文  参考訳（メタデータ） (2022-12-02T05:44:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。