論文の概要: Self-Calibrated Cross Attention Network for Few-Shot Segmentation
- arxiv url: http://arxiv.org/abs/2308.09294v1
- Date: Fri, 18 Aug 2023 04:41:50 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-21 14:48:39.339778
- Title: Self-Calibrated Cross Attention Network for Few-Shot Segmentation
- Title(参考訳): マイナショットセグメンテーションのための自己調整クロスアテンションネットワーク
- Authors: Qianxiong Xu, Wenting Zhao, Guosheng Lin, Cheng Long
- Abstract要約: 我々は、パッチベースの効率的なアテンションのために、自己校正型クロスアテンション(SCCA)ブロックを設計する。
SCCAは、同じクエリイメージからのパッチと、サポートイメージからのアライメントパッチをK&Vとしてグループ化する。
このようにして、クエリBG機能はFGをサポートするBG機能と混同され、前述の問題が軽減される。
- 参考スコア(独自算出の注目度): 65.20559109791756
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The key to the success of few-shot segmentation (FSS) lies in how to
effectively utilize support samples. Most solutions compress support foreground
(FG) features into prototypes, but lose some spatial details. Instead, others
use cross attention to fuse query features with uncompressed support FG. Query
FG could be fused with support FG, however, query background (BG) cannot find
matched BG features in support FG, yet inevitably integrates dissimilar
features. Besides, as both query FG and BG are combined with support FG, they
get entangled, thereby leading to ineffective segmentation. To cope with these
issues, we design a self-calibrated cross attention (SCCA) block. For efficient
patch-based attention, query and support features are firstly split into
patches. Then, we design a patch alignment module to align each query patch
with its most similar support patch for better cross attention. Specifically,
SCCA takes a query patch as Q, and groups the patches from the same query image
and the aligned patches from the support image as K&V. In this way, the query
BG features are fused with matched BG features (from query patches), and thus
the aforementioned issues will be mitigated. Moreover, when calculating SCCA,
we design a scaled-cosine mechanism to better utilize the support features for
similarity calculation. Extensive experiments conducted on PASCAL-5^i and
COCO-20^i demonstrate the superiority of our model, e.g., the mIoU score under
5-shot setting on COCO-20^i is 5.6%+ better than previous state-of-the-arts.
The code is available at https://github.com/Sam1224/SCCAN.
- Abstract(参考訳): 少数ショットセグメンテーション(FSS)の成功の鍵は、効果的にサポートサンプルを利用する方法にある。
ほとんどのソリューションはforeground(fg)機能をプロトタイプに圧縮するが、空間的な詳細は失われる。
代わりに、非圧縮サポートFGのヒューズクエリ機能にクロスアテンションを使用する人もいる。
クエリ FG は FG のサポートと混同される可能性があるが、クエリバックグラウンド (BG) は FG のサポートにマッチした BG 機能を見つけることはできない。
さらに、クエリFGとBGの両方がサポートFGと結合されると、それらが絡み合って、非効率なセグメンテーションにつながる。
これらの問題に対処するために,我々は自己校正型クロスアテンション(SCCA)ブロックを設計する。
効率的なパッチベースの注目のために、クエリとサポート機能はまずパッチに分割される。
次に、各クエリパッチを最もよく似たサポートパッチと整合させるパッチアライメントモジュールを設計し、クロスアテンションを改善する。
具体的には、SCCAはクエリパッチをQとして、同じクエリイメージからパッチをグループ化し、サポートイメージからK&Vとしてアライメントパッチをグループ化する。
このようにして、クエリBG機能は(クエリパッチから)マッチしたBG機能と融合するので、上記の問題は軽減される。
さらに,SCCAの計算において,類似性計算のためのサポート機能をよりよく活用するスケールコサイン機構を設計する。
PASCAL-5^i と COCO-20^i で行った大規模な実験では,COCO-20^i の5ショット条件下でのmIoU スコアが従来の最先端よりも5.6%以上向上した。
コードはhttps://github.com/Sam1224/SCCANで公開されている。
関連論文リスト
- Boosting Few-Shot Segmentation via Instance-Aware Data Augmentation and
Local Consensus Guided Cross Attention [7.939095881813804]
少ないショットセグメンテーションは、注釈付き画像のみを提供する新しいタスクに迅速に適応できるセグメンテーションモデルをトレーニングすることを目的としている。
本稿では,対象オブジェクトの相対的サイズに基づいて,サポートイメージを拡大するIDA戦略を提案する。
提案したIDAは,サポートセットの多様性を効果的に向上し,サポートイメージとクエリイメージ間の分散一貫性を促進する。
論文 参考訳(メタデータ) (2024-01-18T10:29:10Z) - Dense Affinity Matching for Few-Shot Segmentation [83.65203917246745]
Few-Shot (FSS) は、新しいクラスイメージをいくつかのサンプルで分割することを目的としている。
本稿では,サポートクエリ間の相互作用を生かした密接な親和性マッチングフレームワークを提案する。
我々のフレームワークは0.68万のパラメータしか持たない異なる設定で非常に競争力のある性能を示す。
論文 参考訳(メタデータ) (2023-07-17T12:27:15Z) - Clustered-patch Element Connection for Few-shot Learning [17.99691572509627]
本稿では,ミスマッチ問題を修正するために,新しいクラスタ化パッチ要素接続層を提案する。
我々のCECNetは、分類ベンチマークで最先端の手法よりも優れています。
論文 参考訳(メタデータ) (2023-04-20T05:22:27Z) - Image as Set of Points [60.30495338399321]
コンテキストクラスタ(CoC)は、イメージを非組織的なポイントの集合と見なし、単純化されたクラスタリングアルゴリズムによって特徴を抽出する。
われわれのCoCは畳み込みと無注意で、空間的相互作用のためのクラスタリングアルゴリズムにのみ依存している。
論文 参考訳(メタデータ) (2023-03-02T18:56:39Z) - Enhancing Few-shot Image Classification with Cosine Transformer [4.511561231517167]
Few-shot Cosine Transformer (FS-CT)は、サポートとクエリ間のリレーショナルマップである。
本手法は,1ショット学習と5ショット学習におけるミニイメージネット,CUB-200,CIFAR-FSの競合結果を示す。
我々のコサインアテンションを持つFS-CTは、広範囲のアプリケーションに適用可能な軽量でシンプルな数ショットアルゴリズムである。
論文 参考訳(メタデータ) (2022-11-13T06:03:28Z) - Dense Cross-Query-and-Support Attention Weighted Mask Aggregation for
Few-Shot Segmentation [25.605580031284052]
セマンティック・センス(FSS)は注目されている。
FSSの目標は、ターゲットクラスの注釈付きサポートイメージのみを付与したクエリイメージでターゲットオブジェクトをセグメントすることである。
我々は,前景情報と背景情報の両方をフル活用したAMADC (Pixel-wise Cross-query-and- Support Attention weighted Mask Aggregation) を提案する。
論文 参考訳(メタデータ) (2022-07-18T12:12:42Z) - Dense Gaussian Processes for Few-Shot Segmentation [66.08463078545306]
本稿では,高密度ガウス過程(GP)回帰に基づく数発のセグメンテーション法を提案する。
GPの高次元出力空間を学習するために,提案手法のエンドツーエンド学習機能を利用する。
提案手法では,PASCAL-5$i$とCOCO-20$i$のベンチマークで,1ショットと5ショットのFSSをそれぞれ新たな最先端に設定する。
論文 参考訳(メタデータ) (2021-10-07T17:57:54Z) - Channel DropBlock: An Improved Regularization Method for Fine-Grained
Visual Classification [58.07257910065007]
既存のアプローチは主に、識別的部分を見つけるための注意機構や、高度にパラメータ化された特徴を弱教師付きで抽出する特徴符号化アプローチを導入することでこの問題に対処している。
本研究では,CDB(Channel DropBlock)と呼ばれる軽量で効果的な正規化手法を提案する。
論文 参考訳(メタデータ) (2021-06-07T09:03:02Z) - Few-Shot Segmentation via Cycle-Consistent Transformer [74.49307213431952]
本稿では,サポートとターゲット画像間の画素ワイドな関係を利用して,数ショットのセマンティックセマンティックセグメンテーション作業を容易にすることに焦点を当てる。
本稿では, 有害なサポート機能を除去するために, 新規なサイクル一貫性アテンション機構を提案する。
提案したCyCTRは,従来の最先端手法と比較して著しく改善されている。
論文 参考訳(メタデータ) (2021-06-04T07:57:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。