論文の概要: Few-shot Segmentation with Optimal Transport Matching and Message Flow
- arxiv url: http://arxiv.org/abs/2108.08518v1
- Date: Thu, 19 Aug 2021 06:26:11 GMT
- ステータス: 処理完了
- システム内更新日: 2021-08-20 14:33:00.008059
- Title: Few-shot Segmentation with Optimal Transport Matching and Message Flow
- Title(参考訳): 最適トランスポートマッチングとメッセージフローを用いたマイナショットセグメンテーション
- Authors: Weide Liu, Chi Zhang, Henghui Ding, Tzu-Yi Hung and Guosheng Lin
- Abstract要約: サポート情報を完全に活用するためには、少数ショットのセマンティックセマンティックセグメンテーションが不可欠である。
本稿では,最適輸送マッチングモジュールを備えた通信マッチングネットワーク(CMNet)を提案する。
PASCAL VOC 2012、MS COCO、FSS-1000データセットによる実験により、我々のネットワークは最新の数ショットセグメンテーション性能を新たに達成した。
- 参考スコア(独自算出の注目度): 50.9853556696858
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We address the challenging task of few-shot segmentation in this work. It is
essential for few-shot semantic segmentation to fully utilize the support
information. Previous methods typically adapt masked average pooling over the
support feature to extract the support clues as a global vector, usually
dominated by the salient part and loses some important clues. In this work, we
argue that every support pixel's information is desired to be transferred to
all query pixels and propose a Correspondence Matching Network (CMNet) with an
Optimal Transport Matching module to mine out the correspondence between the
query and support images. Besides, it is important to fully utilize both local
and global information from the annotated support images. To this end, we
propose a Message Flow module to propagate the message along the inner-flow
within the same image and cross-flow between support and query images, which
greatly help enhance the local feature representations. We further address the
few-shot segmentation as a multi-task learning problem to alleviate the domain
gap issue between different datasets. Experiments on PASCAL VOC 2012, MS COCO,
and FSS-1000 datasets show that our network achieves new state-of-the-art
few-shot segmentation performance.
- Abstract(参考訳): 本研究では,数発のセグメンテーションの課題に対処する。
サポート情報を完全に活用するには,少数ショットのセマンティックセグメンテーションが不可欠である。
従来の方法は、通常、サポート機能にマスキング平均プーリングを適用して、サポートヒントをグローバルベクトルとして抽出し、通常はサルエント部分によって支配され、いくつかの重要な手がかりを失う。
本稿では,すべての支援画素の情報を全てのクエリ画素に転送することを希望し,クエリとサポート画像の対応をマイニングするための最適なトランスポートマッチングモジュールを備えた対応マッチングネットワーク(cmnet)を提案する。
また、アノテーション付きサポート画像からのローカル情報とグローバル情報の両方を十分に活用することが重要である。
そこで本研究では,同じイメージ内の内部フローに沿ったメッセージと,サポートとクエリイメージ間のクロスフローを伝搬するメッセージフローモジュールを提案する。
さらに,さまざまなデータセット間のドメイン間ギャップ問題を緩和するためのマルチタスク学習問題として,マイナショットセグメンテーションについても論じる。
PASCAL VOC 2012、MS COCO、FSS-1000データセットによる実験により、我々のネットワークは最新の数ショットセグメンテーション性能を新たに達成した。
関連論文リスト
- MatchSeg: Towards Better Segmentation via Reference Image Matching [5.55078598520531]
ほとんどショットラーニングは、サポートセットとして知られる小さなラベル付きデータセットを使用して、新しいラベル付きイメージの予測ラベルをガイドすることで、注釈付きデータの必要性を克服することを目的としている。
このパラダイムに着想を得たMatchSegは,戦略的基準画像マッチングによる医用画像のセグメンテーションを強化する新しいフレームワークである。
論文 参考訳(メタデータ) (2024-03-23T18:04:58Z) - Multi-interactive Feature Learning and a Full-time Multi-modality
Benchmark for Image Fusion and Segmentation [66.15246197473897]
多モード画像融合とセグメンテーションは、自律走行とロボット操作において重要な役割を果たす。
画像融合とtextbfSegmentation のための textbfMulti-textbfinteractive textbfFeature Learning アーキテクチャを提案する。
論文 参考訳(メタデータ) (2023-08-04T01:03:58Z) - Image-Specific Information Suppression and Implicit Local Alignment for
Text-based Person Search [61.24539128142504]
テキストベースの人物検索(TBPS)は,問合せテキストが与えられた画像ギャラリーから同一の身元で歩行者画像を検索することを目的とした課題である。
既存の手法の多くは、モダリティ間の微粒な対応をモデル化するために、明示的に生成された局所的な部分に依存している。
TBPSのためのマルチレベルアライメントネットワーク(MANet)を提案する。
論文 参考訳(メタデータ) (2022-08-30T16:14:18Z) - Dense Cross-Query-and-Support Attention Weighted Mask Aggregation for
Few-Shot Segmentation [25.605580031284052]
セマンティック・センス(FSS)は注目されている。
FSSの目標は、ターゲットクラスの注釈付きサポートイメージのみを付与したクエリイメージでターゲットオブジェクトをセグメントすることである。
我々は,前景情報と背景情報の両方をフル活用したAMADC (Pixel-wise Cross-query-and- Support Attention weighted Mask Aggregation) を提案する。
論文 参考訳(メタデータ) (2022-07-18T12:12:42Z) - Few-Shot Segmentation with Global and Local Contrastive Learning [51.677179037590356]
提案するグローバルローカルコントラスト学習を用いて,ラベルのない画像からクエリ情報を学習するための先行抽出器を提案する。
クエリー画像の以前の領域マップを生成し、オブジェクトの位置を判断し、サポート機能とのクロスインタラクションを行うためのガイダンスを作成する。
ベルとホイッスルを使わずに、提案手法は、数発のセグメンテーションタスクに対して、新しい最先端のパフォーマンスを実現する。
論文 参考訳(メタデータ) (2021-08-11T15:52:22Z) - Boosting Few-shot Semantic Segmentation with Transformers [81.43459055197435]
TRansformer-based Few-shot Semantic segmentation Method (TRFS)
我々のモデルは,グローバル・エンハンスメント・モジュール(GEM)とローカル・エンハンスメント・モジュール(LEM)の2つのモジュールから構成される。
論文 参考訳(メタデータ) (2021-08-04T20:09:21Z) - Self-Guided and Cross-Guided Learning for Few-Shot Segmentation [12.899804391102435]
単発セグメンテーションのための自己誘導学習手法を提案する。
注釈付き支持画像の初期予測を行うことにより、被覆および検出された前景領域を一次および補助支持ベクトルに符号化する。
プライマリサポートベクターと補助サポートベクターの両方を集約することで、クエリイメージ上でより良いセグメンテーション性能が得られます。
論文 参考訳(メタデータ) (2021-03-30T07:36:41Z) - CRNet: Cross-Reference Networks for Few-Shot Segmentation [59.85183776573642]
少ないショットセグメンテーションは、少数のトレーニングイメージを持つ新しいクラスに一般化できるセグメンテーションモデルを学ぶことを目的としている。
相互参照機構により、我々のネットワークは2つの画像に共起する物体をよりよく見つけることができる。
PASCAL VOC 2012データセットの実験は、我々のネットワークが最先端のパフォーマンスを達成することを示す。
論文 参考訳(メタデータ) (2020-03-24T04:55:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。