論文の概要: Prototype as Query for Few Shot Semantic Segmentation

• arxiv url: http://arxiv.org/abs/2211.14764v1
• Date: Sun, 27 Nov 2022 08:41:50 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-29 20:10:44.734898
• Title: Prototype as Query for Few Shot Semantic Segmentation
• Title（参考訳）: ショット意味セグメンテーションのクエリとしてのプロトタイプ
• Authors: Leilei Cao, Yibo Guo, Ye Yuan and Qiangguo Jin
• Abstract要約: Few-shot Semantic (FSS) はクエリイメージに未表示のクラスを分割するために提案された。 本稿では,ProtoFormerと呼ばれるTransformerを基盤として,クエリ機能の空間的詳細をフルにキャプチャするフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 7.380266341356485
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Few-shot Semantic Segmentation (FSS) was proposed to segment unseen classes in a query image, referring to only a few annotated examples named support images. One of the characteristics of FSS is spatial inconsistency between query and support targets, e.g., texture or appearance. This greatly challenges the generalization ability of methods for FSS, which requires to effectively exploit the dependency of the query image and the support examples. Most existing methods abstracted support features into prototype vectors and implemented the interaction with query features using cosine similarity or feature concatenation. However, this simple interaction may not capture spatial details in query features. To alleviate this limitation, a few methods utilized all pixel-wise support information via computing the pixel-wise correlations between paired query and support features implemented with the attention mechanism of Transformer. These approaches suffer from heavy computation on the dot-product attention between all pixels of support and query features. In this paper, we propose a simple yet effective framework built upon Transformer termed as ProtoFormer to fully capture spatial details in query features. It views the abstracted prototype of the target class in support features as Query and the query features as Key and Value embeddings, which are input to the Transformer decoder. In this way, the spatial details can be better captured and the semantic features of target class in the query image can be focused. The output of the Transformer-based module can be viewed as semantic-aware dynamic kernels to filter out the segmentation mask from the enriched query features. Extensive experiments on PASCAL-$5^{i}$ and COCO-$20^{i}$ show that our ProtoFormer significantly advances the state-of-the-art methods.
• Abstract（参考訳）: Few-shot Semantic Segmentation (FSS) は、クエリイメージに未確認のクラスをセグメントするために提案され、サポートイメージという名前の注釈付き例をいくつか挙げた。 FSSの特徴の1つは、例えばテクスチャや外観など、クエリとサポートターゲットの間の空間的不整合である。 これは、クエリイメージとサポート例の依存性を効果的に活用する必要があるFSSのメソッドの一般化能力に大きく挑戦する。 既存の手法の多くは、サポート機能をプロトタイプベクターに抽象化し、コサイン類似性や特徴連結を用いたクエリ機能とのインタラクションを実装した。 しかし、この単純なインタラクションはクエリ特徴の空間的詳細を捉えないかもしれない。 この制限を軽減するために,Transformer のアテンション機構により実装された,ペアクエリとサポート機能との画素単位の相関を計算して,すべての画素単位のサポート情報を利用する方法がいくつかある。 これらのアプローチは、サポートとクエリ機能の全ピクセル間のドット製品注意の重い計算に苦しむ。 本稿では,protoformer と呼ばれるtransformer を基盤として,クエリ機能の空間的詳細を完全に把握する簡易かつ効果的なフレームワークを提案する。 対象クラスの抽象化されたプロトタイプをクエリとしてサポートし、クエリ機能はtransformerデコーダに入力されるキーと値の埋め込みとして見る。 このようにして、空間的詳細をよりよく捉え、クエリ画像中のターゲットクラスのセマンティックな特徴に焦点を合わせることができる。 トランスベースモジュールの出力は、拡張されたクエリ機能からセグメンテーションマスクをフィルタするセマンティックアウェアな動的カーネルと見なすことができる。 PASCAL-$5^{i}$とCOCO-$20^{i}$の大規模な実験は、我々のProtoFormerが最先端の手法を大幅に進歩させることを示している。

関連論文リスト

• Holistic Prototype Attention Network for Few-Shot VOS [74.25124421163542]
  FSVOS(Few-shot Video Object segmentation)は、少数のサポートイメージに頼って、目に見えないクラスの動的オブジェクトをセグメントすることを目的としている。 本稿では,FSVOS を前進させるための総合プロトタイプアテンションネットワーク (HPAN) を提案する。
  論文  参考訳（メタデータ） (2023-07-16T03:48:57Z)
• Few-shot Medical Image Segmentation via Cross-Reference Transformer [3.2634122554914]
  Few-shot segmentation(FSS)は、少数のラベル付きサンプルから新しいカテゴリを学習することで、これらの課題に対処する可能性がある。 そこで本研究では,クロス参照変換器を用いた画像分割ネットワークを提案する。 実験の結果,CTデータセットとMRIデータセットの両方で良好な結果が得られた。
  論文  参考訳（メタデータ） (2023-04-19T13:05:18Z)
• Breaking Immutable: Information-Coupled Prototype Elaboration for Few-Shot Object Detection [15.079980293820137]
  本稿では,情報結合型プロトタイプ開発(ICPE)手法を提案する。 提案手法は,ほぼすべての設定で最先端の性能を実現する。
  論文  参考訳（メタデータ） (2022-11-27T10:33:11Z)
• Intermediate Prototype Mining Transformer for Few-Shot Semantic Segmentation [119.51445225693382]
  Few-shotのセマンティックセマンティックセマンティクスは、いくつかのアノテーション付きサポートイメージの条件下で、ターゲットオブジェクトをクエリにセグメントすることを目的としている。 そこで本研究では,提案クエリから決定論的カテゴリ情報と適応的カテゴリ知識の両方をマイニングする中間プロトタイプを提案する。 各IPMT層では,サポート機能とクエリ機能の両方のオブジェクト情報をプロトタイプに伝達し,それを使ってクエリ機能マップを活性化する。
  論文  参考訳（メタデータ） (2022-10-13T06:45:07Z)
• Self-Support Few-Shot Semantic Segmentation [72.43667576285445]
  本稿では,クエリ機能にマッチするクエリのプロトタイプを利用する,新しいセルフサポートマッチング戦略を提案する。 また,適応型自己サポート型バックグラウンドプロトタイプ生成モジュールと自己サポート型プロトタイプ生成モジュールを提案し,自己サポート型マッチング手順をより容易にする。 我々の自己サポートネットワークは、プロトタイプの品質を大幅に向上させ、より強力なバックボーンとサポートの改善を享受し、複数のデータセット上でSOTAを達成する。
  論文  参考訳（メタデータ） (2022-07-23T16:28:07Z)
• APANet: Adaptive Prototypes Alignment Network for Few-Shot Semantic Segmentation [56.387647750094466]
  Few-shotのセマンティックセマンティックセマンティクスは、指定されたクエリイメージに、ラベル付きサポートイメージのみで、新規クラスのオブジェクトをセグメントすることを目的としている。 ほとんどの高度なソリューションは、各クエリ機能を学習したクラス固有のプロトタイプにマッチさせることでセグメンテーションを実行するメトリクス学習フレームワークを利用している。 本稿では,クラス固有およびクラス非依存のプロトタイプを導入することで,適応型プロトタイプ表現を提案する。
  論文  参考訳（メタデータ） (2021-11-24T04:38:37Z)
• Few-shot Segmentation with Optimal Transport Matching and Message Flow [50.9853556696858]
  サポート情報を完全に活用するためには、少数ショットのセマンティックセマンティックセグメンテーションが不可欠である。 本稿では,最適輸送マッチングモジュールを備えた通信マッチングネットワーク(CMNet)を提案する。 PASCAL VOC 2012、MS COCO、FSS-1000データセットによる実験により、我々のネットワークは最新の数ショットセグメンテーション性能を新たに達成した。
  論文  参考訳（メタデータ） (2021-08-19T06:26:11Z)
• Few-Shot Segmentation via Cycle-Consistent Transformer [74.49307213431952]
  本稿では,サポートとターゲット画像間の画素ワイドな関係を利用して,数ショットのセマンティックセマンティックセグメンテーション作業を容易にすることに焦点を当てる。 本稿では, 有害なサポート機能を除去するために, 新規なサイクル一貫性アテンション機構を提案する。 提案したCyCTRは,従来の最先端手法と比較して著しく改善されている。
  論文  参考訳（メタデータ） (2021-06-04T07:57:48Z)
• SimPropNet: Improved Similarity Propagation for Few-shot Image Segmentation [14.419517737536706]
  最近のディープニューラルネットワークに基づくFSS法は,サポート画像の前景特徴とクエリ画像特徴との高次元的特徴類似性を生かしている。 我々は,サポート機能とクエリ機能との共有を強制するために,サポートとクエリマスクを共同で予測することを提案する。 提案手法は,PASCAL-5iデータセット上での1ショットと5ショットのセグメンテーションに対して,最先端の結果を得る。
  論文  参考訳（メタデータ） (2020-04-30T17:56:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。