論文の概要: Dense Cross-Query-and-Support Attention Weighted Mask Aggregation for
Few-Shot Segmentation
- arxiv url: http://arxiv.org/abs/2207.08549v1
- Date: Mon, 18 Jul 2022 12:12:42 GMT
- ステータス: 処理完了
- システム内更新日: 2022-07-19 17:12:56.030603
- Title: Dense Cross-Query-and-Support Attention Weighted Mask Aggregation for
Few-Shot Segmentation
- Title（参考訳）: Few-ShotセグメンテーションのためのDense Cross-Query-and-Support Attention Weighted Mask Aggregation
- Authors: Xinyu Shi, Dong Wei, Yu Zhang, Donghuan Lu, Munan Ning, Jiashun Chen,
Kai Ma, and Yefeng Zheng
- Abstract要約: セマンティック・センス(FSS)は注目されている。
FSSの目標は、ターゲットクラスの注釈付きサポートイメージのみを付与したクエリイメージでターゲットオブジェクトをセグメントすることである。
我々は,前景情報と背景情報の両方をフル活用したAMADC (Pixel-wise Cross-query-and- Support Attention weighted Mask Aggregation) を提案する。
- 参考スコア（独自算出の注目度）: 25.605580031284052
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Research into Few-shot Semantic Segmentation (FSS) has attracted great
attention, with the goal to segment target objects in a query image given only
a few annotated support images of the target class. A key to this challenging
task is to fully utilize the information in the support images by exploiting
fine-grained correlations between the query and support images. However, most
existing approaches either compressed the support information into a few
class-wise prototypes, or used partial support information (e.g., only
foreground) at the pixel level, causing non-negligible information loss. In
this paper, we propose Dense pixel-wise Cross-query-and-support Attention
weighted Mask Aggregation (DCAMA), where both foreground and background support
information are fully exploited via multi-level pixel-wise correlations between
paired query and support features. Implemented with the scaled dot-product
attention in the Transformer architecture, DCAMA treats every query pixel as a
token, computes its similarities with all support pixels, and predicts its
segmentation label as an additive aggregation of all the support pixels' labels
-- weighted by the similarities. Based on the unique formulation of DCAMA, we
further propose efficient and effective one-pass inference for n-shot
segmentation, where pixels of all support images are collected for the mask
aggregation at once. Experiments show that our DCAMA significantly advances the
state of the art on standard FSS benchmarks of PASCAL-5i, COCO-20i, and
FSS-1000, e.g., with 3.1%, 9.7%, and 3.6% absolute improvements in 1-shot mIoU
over previous best records. Ablative studies also verify the design DCAMA.
- Abstract（参考訳）: Few-shot Semantic Segmentation (FSS)の研究は注目されており、ターゲットクラスの注釈付きサポートイメージのみを与えられたクエリイメージにターゲットオブジェクトをセグメントすることを目指している。
この課題の鍵は、クエリとサポートイメージの微妙な相関を利用して、サポートイメージの情報を完全に活用することである。
しかし、既存のほとんどのアプローチは、サポート情報をいくつかのクラスワイドプロトタイプに圧縮するか、または部分的なサポート情報(例えば、フォアグラウンドのみ)をピクセルレベルで使用し、無視できない情報損失を引き起こした。
本稿では,フォアグラウンドと背景情報の両方が,ペア問合せとサポート機能間の多レベルな画素間相関によって完全に活用される,高密度な画素間クロスクエリ・アンド・サポート型注意重み付きマスクアグリゲーション(dcama)を提案する。
トランスフォーマアーキテクチャのスケールド・ドット製品アテンションによって実装されたdcamaは、すべてのクエリピクセルをトークンとして扱い、すべてのサポートピクセルとの類似性を計算し、セグメンテーションラベルをすべてのサポートピクセルのラベルの加算集約として予測する。
dcamaのユニークな定式化に基づいて,nショットセグメンテーションの効率的かつ効果的なワンパス推論を提案し,マスクアグリゲーションのために,すべてのサポート画像の画素を一度に収集する。
実験により,我々のdcamaはpascal-5i,coco-20i,fss-1000の標準fssベンチマークにおいて,従来のベストレコードよりも3.1%,9.7%,3.6%の絶対的改善が達成された。
アブレーション研究はdcamaの設計も検証している。
関連論文リスト
- Group-On: Boosting One-Shot Segmentation with Supportive Query [8.623405412540247]
ワンショットセマンティックセグメンテーション(One-shot semantic segmentation)は、ONEアノテートされた同じクラスのサポートイメージのみを与えられたクエリイメージをセグメントすることを目的としている。
本稿では,複数の問合せ画像をバッチにまとめるグループオンという,One-shotセマンティックセマンティックセマンティックセマンティクスのための新しいアプローチを提案する。
論文 参考訳（メタデータ） (2024-04-18T03:10:04Z) - Dense Affinity Matching for Few-Shot Segmentation [83.65203917246745]
Few-Shot (FSS) は、新しいクラスイメージをいくつかのサンプルで分割することを目的としている。
本稿では,サポートクエリ間の相互作用を生かした密接な親和性マッチングフレームワークを提案する。
我々のフレームワークは0.68万のパラメータしか持たない異なる設定で非常に競争力のある性能を示す。
論文 参考訳（メタデータ） (2023-07-17T12:27:15Z) - Holistic Prototype Attention Network for Few-Shot VOS [74.25124421163542]
FSVOS(Few-shot Video Object segmentation)は、少数のサポートイメージに頼って、目に見えないクラスの動的オブジェクトをセグメントすることを目的としている。
本稿では,FSVOS を前進させるための総合プロトタイプアテンションネットワーク (HPAN) を提案する。
論文 参考訳（メタデータ） (2023-07-16T03:48:57Z) - Prototype as Query for Few Shot Semantic Segmentation [7.380266341356485]
Few-shot Semantic (FSS) はクエリイメージに未表示のクラスを分割するために提案された。
本稿では,ProtoFormerと呼ばれるTransformerを基盤として,クエリ機能の空間的詳細をフルにキャプチャするフレームワークを提案する。
論文 参考訳（メタデータ） (2022-11-27T08:41:50Z) - Beyond the Prototype: Divide-and-conquer Proxies for Few-shot
Segmentation [63.910211095033596]
少ないショットのセグメンテーションは、少数の濃密なラベル付けされたサンプルのみを与えられた、目に見えないクラスオブジェクトをセグメンテーションすることを目的としている。
分割・分散の精神において, 単純かつ多目的な枠組みを提案する。
提案手法は、DCP(disvision-and-conquer proxies)と呼ばれるもので、適切な信頼性のある情報の開発を可能にする。
論文 参考訳（メタデータ） (2022-04-21T06:21:14Z) - Few-shot Segmentation with Optimal Transport Matching and Message Flow [50.9853556696858]
サポート情報を完全に活用するためには、少数ショットのセマンティックセマンティックセグメンテーションが不可欠である。
本稿では,最適輸送マッチングモジュールを備えた通信マッチングネットワーク(CMNet)を提案する。
PASCAL VOC 2012、MS COCO、FSS-1000データセットによる実験により、我々のネットワークは最新の数ショットセグメンテーション性能を新たに達成した。
論文 参考訳（メタデータ） (2021-08-19T06:26:11Z) - Few-Shot Segmentation with Global and Local Contrastive Learning [51.677179037590356]
提案するグローバルローカルコントラスト学習を用いて,ラベルのない画像からクエリ情報を学習するための先行抽出器を提案する。
クエリー画像の以前の領域マップを生成し、オブジェクトの位置を判断し、サポート機能とのクロスインタラクションを行うためのガイダンスを作成する。
ベルとホイッスルを使わずに、提案手法は、数発のセグメンテーションタスクに対して、新しい最先端のパフォーマンスを実現する。
論文 参考訳（メタデータ） (2021-08-11T15:52:22Z) - Few-Shot Segmentation via Cycle-Consistent Transformer [74.49307213431952]
本稿では,サポートとターゲット画像間の画素ワイドな関係を利用して,数ショットのセマンティックセマンティックセグメンテーション作業を容易にすることに焦点を当てる。
本稿では, 有害なサポート機能を除去するために, 新規なサイクル一貫性アテンション機構を提案する。
提案したCyCTRは,従来の最先端手法と比較して著しく改善されている。
論文 参考訳（メタデータ） (2021-06-04T07:57:48Z) - Self-Guided and Cross-Guided Learning for Few-Shot Segmentation [12.899804391102435]
単発セグメンテーションのための自己誘導学習手法を提案する。
注釈付き支持画像の初期予測を行うことにより、被覆および検出された前景領域を一次および補助支持ベクトルに符号化する。
プライマリサポートベクターと補助サポートベクターの両方を集約することで、クエリイメージ上でより良いセグメンテーション性能が得られます。
論文 参考訳（メタデータ） (2021-03-30T07:36:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。