論文の概要: Intermediate Prototype Mining Transformer for Few-Shot Semantic Segmentation

• arxiv url: http://arxiv.org/abs/2210.06780v1
• Date: Thu, 13 Oct 2022 06:45:07 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-14 16:17:31.935972
• Title: Intermediate Prototype Mining Transformer for Few-Shot Semantic Segmentation
• Title（参考訳）: 少数ショットセマンティクスセグメンテーションのための中間プロトタイプマイニングトランス
• Authors: Yuanwei Liu, Nian Liu, Xiwen Yao, Junwei Han
• Abstract要約: Few-shotのセマンティックセマンティックセマンティクスは、いくつかのアノテーション付きサポートイメージの条件下で、ターゲットオブジェクトをクエリにセグメントすることを目的としている。 そこで本研究では,提案クエリから決定論的カテゴリ情報と適応的カテゴリ知識の両方をマイニングする中間プロトタイプを提案する。 各IPMT層では,サポート機能とクエリ機能の両方のオブジェクト情報をプロトタイプに伝達し,それを使ってクエリ機能マップを活性化する。
• 参考スコア（独自算出の注目度）: 119.51445225693382
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Few-shot semantic segmentation aims to segment the target objects in query under the condition of a few annotated support images. Most previous works strive to mine more effective category information from the support to match with the corresponding objects in query. However, they all ignored the category information gap between query and support images. If the objects in them show large intra-class diversity, forcibly migrating the category information from the support to the query is ineffective. To solve this problem, we are the first to introduce an intermediate prototype for mining both deterministic category information from the support and adaptive category knowledge from the query. Specifically, we design an Intermediate Prototype Mining Transformer (IPMT) to learn the prototype in an iterative way. In each IPMT layer, we propagate the object information in both support and query features to the prototype and then use it to activate the query feature map. By conducting this process iteratively, both the intermediate prototype and the query feature can be progressively improved. At last, the final query feature is used to yield precise segmentation prediction. Extensive experiments on both PASCAL-5i and COCO-20i datasets clearly verify the effectiveness of our IPMT and show that it outperforms previous state-of-the-art methods by a large margin. Code is available at https://github.com/LIUYUANWEI98/IPMT
• Abstract（参考訳）: 少数ショットのセマンティクスセグメンテーションは、いくつかの注釈付きサポートイメージの条件下でクエリ内のターゲットオブジェクトをセグメンテーションすることを目的としている。 以前のほとんどの作業は、クエリ内の対応するオブジェクトにマッチするサポートから、より効果的なカテゴリ情報を発掘することに取り組んでいる。 しかし、いずれもクエリとサポートイメージの間のカテゴリ情報ギャップを無視した。 それらに含まれるオブジェクトがクラス内で大きな多様性を示す場合、サポートからクエリへカテゴリ情報を強制的に移行することは効果がない。 この問題を解決するために,我々はまず,決定論的カテゴリ情報と適応的カテゴリ情報の両方を検索から抽出する中間プロトタイプを導入する。 具体的には,IPMT(Intermediate Prototype Mining Transformer)を設計し,プロトタイプを反復的に学習する。 各IPMT層では,サポート機能とクエリ機能の両方のオブジェクト情報をプロトタイプに伝達し,それを使ってクエリ機能マップを活性化する。 このプロセスを反復的に実施することにより、中間プロトタイプとクエリ機能の両方を段階的に改善することができる。 最後に、最終的なクエリ機能は正確なセグメンテーション予測に使用される。 PASCAL-5iとCOCO-20iのデータセットによる大規模な実験は、IPMTの有効性を明確に検証し、従来の最先端手法よりも大きなマージンで優れていることを示す。 コードはhttps://github.com/LIUYUANWEI98/IPMTで入手できる。

関連論文リスト

• Multi-grained Temporal Prototype Learning for Few-shot Video Object Segmentation [156.4142424784322]
  FSVOS(Few-Shot Video Object)は、いくつかのアノテーション付きサポートイメージで定義されるのと同じカテゴリで、クエリビデオ内のオブジェクトをセグメントすることを目的としている。 本稿では,ビデオデータの時間的相関性を扱うために,多粒度時間的ガイダンス情報を活用することを提案する。 提案するビデオIPMTモデルは,2つのベンチマークデータセットにおいて,従来のモデルよりも大幅に優れていた。
  論文  参考訳（メタデータ） (2023-09-20T09:16:34Z)
• Temporal-aware Hierarchical Mask Classification for Video Semantic Segmentation [62.275143240798236]
  ビデオセマンティックセグメンテーションデータセットは、ビデオ毎のカテゴリが限られている。 VSSトレーニング中に意味のある勾配更新を受けるために、クエリの10%未満がマッチする可能性がある。 提案手法は,最新のVSSベンチマークVSPWにおいてベルやホイッスルを使わずに,最先端の性能を実現する。
  論文  参考訳（メタデータ） (2023-09-14T20:31:06Z)
• MIANet: Aggregating Unbiased Instance and General Information for Few-Shot Semantic Segmentation [6.053853367809978]
  既存の少数ショットセグメンテーション手法はメタラーニング戦略に基づいて,サポートセットからインスタンス知識を抽出する。 本稿では,多情報集約ネットワーク(MIANet)を提案する。 PASCAL-5iとCOCO-20iの実験により、MIANetは優れた性能を示し、新しい最先端技術を確立した。
  論文  参考訳（メタデータ） (2023-05-23T09:36:27Z)
• Few-shot Medical Image Segmentation via Cross-Reference Transformer [3.2634122554914]
  Few-shot segmentation(FSS)は、少数のラベル付きサンプルから新しいカテゴリを学習することで、これらの課題に対処する可能性がある。 そこで本研究では,クロス参照変換器を用いた画像分割ネットワークを提案する。 実験の結果,CTデータセットとMRIデータセットの両方で良好な結果が得られた。
  論文  参考訳（メタデータ） (2023-04-19T13:05:18Z)
• Prototype as Query for Few Shot Semantic Segmentation [7.380266341356485]
  Few-shot Semantic (FSS) はクエリイメージに未表示のクラスを分割するために提案された。 本稿では,ProtoFormerと呼ばれるTransformerを基盤として,クエリ機能の空間的詳細をフルにキャプチャするフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-11-27T08:41:50Z)
• APANet: Adaptive Prototypes Alignment Network for Few-Shot Semantic Segmentation [56.387647750094466]
  Few-shotのセマンティックセマンティックセマンティクスは、指定されたクエリイメージに、ラベル付きサポートイメージのみで、新規クラスのオブジェクトをセグメントすることを目的としている。 ほとんどの高度なソリューションは、各クエリ機能を学習したクラス固有のプロトタイプにマッチさせることでセグメンテーションを実行するメトリクス学習フレームワークを利用している。 本稿では,クラス固有およびクラス非依存のプロトタイプを導入することで,適応型プロトタイプ表現を提案する。
  論文  参考訳（メタデータ） (2021-11-24T04:38:37Z)
• Dual Prototypical Contrastive Learning for Few-shot Semantic Segmentation [55.339405417090084]
  本稿では,FSSタスクに適合する2つの特徴的コントラスト学習手法を提案する。 第一の考え方は、プロトタイプの特徴空間におけるクラス内距離を減少させながら、クラス間距離を増やすことで、プロトタイプをより差別的にすることである。 提案手法は,PASCAL-5iおよびCOCO-20iデータセット上で,最先端のFSS手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2021-11-09T08:14:50Z)
• Boosting Few-shot Semantic Segmentation with Transformers [81.43459055197435]
  TRansformer-based Few-shot Semantic segmentation Method (TRFS) 我々のモデルは,グローバル・エンハンスメント・モジュール(GEM)とローカル・エンハンスメント・モジュール(LEM)の2つのモジュールから構成される。
  論文  参考訳（メタデータ） (2021-08-04T20:09:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。