論文の概要: Query-guided Prototype Evolution Network for Few-Shot Segmentation
- arxiv url: http://arxiv.org/abs/2403.06488v2
- Date: Sat, 07 Dec 2024 08:40:04 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-12-10 14:49:20.254928
- Title: Query-guided Prototype Evolution Network for Few-Shot Segmentation
- Title（参考訳）: Few-Shotセグメンテーションのためのクエリ誘導型プロトタイプ進化ネットワーク
- Authors: Runmin Cong, Hang Xiong, Jinpeng Chen, Wei Zhang, Qingming Huang, Yao Zhao,
- Abstract要約: 本稿では,前景と背景のプロトタイプの生成プロセスにクエリ機能を統合する新しい手法を提案する。
PASCAL-$5i$とミラーリング-$20i$データセットの実験結果は、QPENetが達成した実質的な拡張を示している。
- 参考スコア（独自算出の注目度）: 85.75516116674771
- License:
- Abstract: Previous Few-Shot Segmentation (FSS) approaches exclusively utilize support features for prototype generation, neglecting the specific requirements of the query. To address this, we present the Query-guided Prototype Evolution Network (QPENet), a new method that integrates query features into the generation process of foreground and background prototypes, thereby yielding customized prototypes attuned to specific queries. The evolution of the foreground prototype is accomplished through a \textit{support-query-support} iterative process involving two new modules: Pseudo-prototype Generation (PPG) and Dual Prototype Evolution (DPE). The PPG module employs support features to create an initial prototype for the preliminary segmentation of the query image, resulting in a pseudo-prototype reflecting the unique needs of the current query. Subsequently, the DPE module performs reverse segmentation on support images using this pseudo-prototype, leading to the generation of evolved prototypes, which can be considered as custom solutions. As for the background prototype, the evolution begins with a global background prototype that represents the generalized features of all training images. We also design a Global Background Cleansing (GBC) module to eliminate potential adverse components mirroring the characteristics of the current foreground class. Experimental results on the PASCAL-$5^i$ and COCO-$20^i$ datasets attest to the substantial enhancements achieved by QPENet over prevailing state-of-the-art techniques, underscoring the validity of our ideas.
- Abstract（参考訳）: 以前のFew-Shot Segmentation (FSS)アプローチでは、クエリの特定の要求を無視して、プロトタイプ生成のサポート機能のみを利用している。
そこで本稿では,前景および背景プロトタイプの生成プロセスにクエリ機能を統合する新しい手法であるQPENet(Query-guided Prototype Evolution Network)を提案する。
前景のプロトタイプの進化は、Pseudo-prototype Generation (PPG) と Dual Prototype Evolution (DPE) の2つの新しいモジュールを含む \textit{ Support-query- supported} 反復プロセスによって達成される。
PPGモジュールは、クエリイメージの初期セグメンテーションのプロトタイプを作成するためにサポート機能を使用し、結果として、現在のクエリのユニークなニーズを反映した擬似プロトタイプが生成される。
その後、DPEモジュールは、この擬似プロトタイプを使用してサポートイメージのリバースセグメンテーションを実行し、カスタムソリューションとみなすことができる進化したプロトタイプを生成する。
背景のプロトタイプは、すべてのトレーニングイメージの一般化された特徴を表すグローバルな背景のプロトタイプから始まります。
我々はまた、現在の前景クラスの特徴を反映した潜在的な有害なコンポーネントを排除するために、Global background Cleansing (GBC)モジュールを設計する。
PASCAL-$5^i$およびCOCO-$20^i$データセットの実験結果は、最先端技術に対するQPENetの達成した実質的な拡張を証明し、私たちのアイデアの有効性を裏付けるものである。
関連論文リスト
- Symmetrical Joint Learning Support-query Prototypes for Few-shot Segmentation [33.33249452130038]
クラス内変動の重要な問題に対処するFew-Shot(FSS)のための新しいフレームワークであるSym-Netを提案する。
我々は、クエリとプロトタイプの両方を対称的に学習し、学習プロセスが他方よりも1つのセット(サポートまたはクエリ)を好まないようにします。
実験の結果,提案したSym-Netは最先端モデルよりも優れていた。
論文 参考訳（メタデータ） (2024-07-27T17:37:56Z) - Intermediate Prototype Mining Transformer for Few-Shot Semantic
Segmentation [119.51445225693382]
Few-shotのセマンティックセマンティックセマンティクスは、いくつかのアノテーション付きサポートイメージの条件下で、ターゲットオブジェクトをクエリにセグメントすることを目的としている。
そこで本研究では,提案クエリから決定論的カテゴリ情報と適応的カテゴリ知識の両方をマイニングする中間プロトタイプを提案する。
各IPMT層では,サポート機能とクエリ機能の両方のオブジェクト情報をプロトタイプに伝達し,それを使ってクエリ機能マップを活性化する。
論文 参考訳（メタデータ） (2022-10-13T06:45:07Z) - Few-Shot Segmentation via Rich Prototype Generation and Recurrent
Prediction Enhancement [12.614578133091168]
本稿では,プロトタイプ学習パラダイムを強化するために,リッチプロトタイプ生成モジュール (RPGM) と繰り返し予測拡張モジュール (RPEM) を提案する。
RPGMはスーパーピクセルとK平均クラスタリングを組み合わせて、補完的なスケール関係を持つリッチなプロトタイプ機能を生成する。
RPEMは、リカレントメカニズムを使用して、ラウンドウェイ伝搬デコーダを設計する。
論文 参考訳（メタデータ） (2022-10-03T08:46:52Z) - ProtoPFormer: Concentrating on Prototypical Parts in Vision Transformers
for Interpretable Image Recognition [32.34322644235324]
プロトタイプ部分ネットワーク(ProtoPNet)は、説明可能な人工知能(XAI)のための自己探索的特性のため、広く注目され、多くのフォローアップ研究が進められている。
視覚変換器(ViT)のバックボーンに直接ProtoPNetを適用する場合、学習されたプロトタイプは背景によって起動される確率が比較的高く、前景にはあまり注意を払わない。
本稿では,プロトタイプ部分変換器(ProtoPFormer)を提案する。
論文 参考訳（メタデータ） (2022-08-22T16:36:32Z) - Rethinking Semantic Segmentation: A Prototype View [126.59244185849838]
学習不可能なプロトタイプをベースとした非パラメトリックセマンティックセマンティックセマンティクスモデルを提案する。
我々のフレームワークは、いくつかのデータセットに対して魅力的な結果をもたらす。
この作業が、現在のデファクトセマンティックセグメンテーションモデル設計を再考することを期待しています。
論文 参考訳（メタデータ） (2022-03-28T21:15:32Z) - Dual Prototypical Contrastive Learning for Few-shot Semantic
Segmentation [55.339405417090084]
本稿では,FSSタスクに適合する2つの特徴的コントラスト学習手法を提案する。
第一の考え方は、プロトタイプの特徴空間におけるクラス内距離を減少させながら、クラス間距離を増やすことで、プロトタイプをより差別的にすることである。
提案手法は,PASCAL-5iおよびCOCO-20iデータセット上で,最先端のFSS手法よりも優れていることを示す。
論文 参考訳（メタデータ） (2021-11-09T08:14:50Z) - Prototype Completion for Few-Shot Learning [13.63424509914303]
少数ショット学習は、いくつかの例で新しいクラスを認識することを目的としている。
事前学習に基づく手法は,特徴抽出器を事前学習し,最寄りのセントロイド型メタラーニングを通して微調整することで,この問題に効果的に対処する。
本稿では,完成度に基づくメタラーニングフレームワークを提案する。
論文 参考訳（メタデータ） (2021-08-11T03:44:00Z) - SCNet: Enhancing Few-Shot Semantic Segmentation by Self-Contrastive
Background Prototypes [56.387647750094466]
Few-shot セマンティックセマンティックセマンティクスは,クエリイメージ内の新規クラスオブジェクトを,アノテーション付きの例で分割することを目的としている。
先進的なソリューションのほとんどは、各ピクセルを学習した前景のプロトタイプに合わせることでセグメンテーションを行うメトリクス学習フレームワークを利用している。
このフレームワークは、前景プロトタイプのみとのサンプルペアの不完全な構築のために偏った分類に苦しんでいます。
論文 参考訳（メタデータ） (2021-04-19T11:21:47Z) - Learning Sparse Prototypes for Text Generation [120.38555855991562]
プロトタイプ駆動のテキスト生成は、トレーニングコーパス全体の保存とインデックスを必要とするため、テスト時に非効率である。
本稿では,言語モデリング性能を向上するスパースなプロトタイプサポートセットを自動的に学習する新しい生成モデルを提案する。
実験では,1000倍のメモリ削減を実現しつつ,従来のプロトタイプ駆動型言語モデルよりも優れていた。
論文 参考訳（メタデータ） (2020-06-29T19:41:26Z) - Prototype Refinement Network for Few-Shot Segmentation [6.777019450570474]
本稿では,プロトタイプ・リファインメント・ネットワーク(PRNet)を提案する。
まず、既知のクラスのサポートとクエリの両方からプロトタイプを双方向に抽出することを学ぶ。
PRNetは1ショット設定で13.1%という大きなマージンで既存の手法を大幅に上回っている。
論文 参考訳（メタデータ） (2020-02-10T07:06:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。