論文の概要: MFNet: Multi-class Few-shot Segmentation Network with Pixel-wise Metric
Learning
- arxiv url: http://arxiv.org/abs/2111.00232v1
- Date: Sat, 30 Oct 2021 11:37:36 GMT
- ステータス: 処理完了
- システム内更新日: 2021-11-02 15:15:00.744808
- Title: MFNet: Multi-class Few-shot Segmentation Network with Pixel-wise Metric
Learning
- Title(参考訳): mfnet:ピクセル単位のメトリック学習を備えたマルチクラスマイトショットセグメンテーションネットワーク
- Authors: Miao Zhang and Miaojing Shi and Li Li
- Abstract要約: この研究は、まだほとんど探索されていない分野である少数ショットセマンティックセマンティックセグメンテーションに焦点を当てている。
まず,マルチウェイ符号化とデコードアーキテクチャを提案する。このアーキテクチャは,マルチスケールクエリ情報とマルチクラスサポート情報を1つのクエリ支援埋め込みに効果的に融合する。
標準ベンチマーク PASCAL-5i と COCO-20i による実験により, 数発のセグメンテーションにおいて, 本手法の利点が明らかに示された。
- 参考スコア(独自算出の注目度): 34.059257121606336
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In visual recognition tasks, few-shot learning requires the ability to learn
object categories with few support examples. Its recent resurgence in light of
the deep learning development is mainly in image classification. This work
focuses on few-shot semantic segmentation, which is still a largely unexplored
field. A few recent advances are often restricted to single-class few-shot
segmentation. In this paper, we first present a novel multi-way encoding and
decoding architecture which effectively fuses multi-scale query information and
multi-class support information into one query-support embedding; multi-class
segmentation is directly decoded upon this embedding. In order for better
feature fusion, a multi-level attention mechanism is proposed within the
architecture, which includes the attention for support feature modulation and
attention for multi-scale combination. Last, to enhance the embedding space
learning, an additional pixel-wise metric learning module is devised with
triplet loss formulated on the pixel-level embedding of the input image.
Extensive experiments on standard benchmarks PASCAL-5^i and COCO-20^i show
clear benefits of our method over the state of the art in few-shot
segmentation.
- Abstract(参考訳): 視覚認識タスクでは、数少ない学習では、サポート例の少ないオブジェクトカテゴリを学習する能力が必要となる。
深層学習の発展に照らした最近の復活は主に画像分類である。
この研究は、まだほとんど探索されていない分野である少数ショットセマンティックセグメンテーションに焦点を当てている。
最近の進歩は、しばしばシングルクラスのショットセグメンテーションに制限される。
本稿では,まず,マルチスケールクエリ情報とマルチクラスサポート情報を一つのクエリ支援埋め込みに効果的に融合する,新しいマルチウェイ符号化とデコードアーキテクチャを提案する。
機能融合を改善するため,マルチレベルのアテンション機構をアーキテクチャ内に提案し,マルチスケールの組み合わせに対するアテンションと機能変調のアテンションを含む。
最後に、埋め込み空間学習を強化するために、入力画像の画素レベル埋め込み上に三重項損失を定式化した、追加の画素単位メトリック学習モジュールを考案する。
PASCAL-5^i と COCO-20^i のベンチマーク実験により, 数発のセグメンテーションにおいて, 本手法の精度に対する利点が示された。
関連論文リスト
- IFSENet : Harnessing Sparse Iterations for Interactive Few-shot Segmentation Excellence [2.822194296769473]
新しいクラスのセグメンテーションを学ぶために必要な画像の数を減らします。
インタラクティブなセグメンテーション技術は、一度に1つのオブジェクトのセグメンテーションを漸進的に改善することのみに焦点を当てます。
2つの概念を組み合わせることで、新しいクラスのセグメンテーションモデルをトレーニングするのに要する労力を大幅に削減する。
論文 参考訳(メタデータ) (2024-03-22T10:15:53Z) - Masked Cross-image Encoding for Few-shot Segmentation [16.445813548503708]
Few-shot segmentation (FSS) は、注釈付き画像の限られた数だけを用いて、未確認クラスのピクセルワイズラベルを推測することを目的とした、密度の高い予測タスクである。
本研究では,オブジェクトの詳細を記述した共通視覚特性をキャプチャし,特徴の相互作用を高める双方向画像間の依存関係を学習する,Masked Cross-Image MCEという共同学習手法を提案する。
論文 参考訳(メタデータ) (2023-08-22T05:36:39Z) - Multi-interactive Feature Learning and a Full-time Multi-modality
Benchmark for Image Fusion and Segmentation [66.15246197473897]
多モード画像融合とセグメンテーションは、自律走行とロボット操作において重要な役割を果たす。
画像融合とtextbfSegmentation のための textbfMulti-textbfinteractive textbfFeature Learning アーキテクチャを提案する。
論文 参考訳(メタデータ) (2023-08-04T01:03:58Z) - Iterative Few-shot Semantic Segmentation from Image Label Text [36.53926941601841]
ほとんどショットのセマンティックセマンティックセマンティクスは、いくつかのサポートイメージのガイダンスで、目に見えないクラスオブジェクトのセマンティクスを学ぶことを目的としている。
本稿では、強力な視覚言語モデルCLIPの助けを借りて、粗いマスクを生成するための一般的なフレームワークを提案する。
本手法は,野生および珍しいクラスの画像に対して,優れた一般化能力を有する。
論文 参考訳(メタデータ) (2023-03-10T01:48:14Z) - A Joint Framework Towards Class-aware and Class-agnostic Alignment for
Few-shot Segmentation [11.47479526463185]
Few-shotのセグメンテーションは、いくつかの注釈付きサポートイメージが与えられた未確認クラスのオブジェクトをセグメントすることを目的としている。
既存のほとんどのメソッドは、クエリ機能を独立したサポートプロトタイプで縫い付け、混合機能をデコーダに供給することでクエリイメージを分割する。
セグメンテーションを容易にするために,より価値の高いクラス認識とクラス非依存アライメントガイダンスを組み合わせた共同フレームワークを提案する。
論文 参考訳(メタデータ) (2022-11-02T17:33:25Z) - Beyond the Prototype: Divide-and-conquer Proxies for Few-shot
Segmentation [63.910211095033596]
少ないショットのセグメンテーションは、少数の濃密なラベル付けされたサンプルのみを与えられた、目に見えないクラスオブジェクトをセグメンテーションすることを目的としている。
分割・分散の精神において, 単純かつ多目的な枠組みを提案する。
提案手法は、DCP(disvision-and-conquer proxies)と呼ばれるもので、適切な信頼性のある情報の開発を可能にする。
論文 参考訳(メタデータ) (2022-04-21T06:21:14Z) - AF$_2$: Adaptive Focus Framework for Aerial Imagery Segmentation [86.44683367028914]
航空画像のセグメンテーションにはいくつかの独特な課題があり、中でも最も重要なものは前景と背景のアンバランスにある。
本稿では,階層的なセグメンテーション手法を採用し,マルチスケール表現を適応的に活用するAdaptive Focus Framework (AF$)を提案する。
AF$は、広く使われている3つの航空ベンチマークの精度を大幅に改善した。
論文 参考訳(メタデータ) (2022-02-18T10:14:45Z) - Multi-level Second-order Few-shot Learning [111.0648869396828]
教師付きまたは教師なしの少数ショット画像分類と少数ショット動作認識のためのマルチレベル2次数列学習ネットワーク(MlSo)を提案する。
我々は、パワーノーマライズされた二階学習者ストリームと、複数のレベルの視覚的抽象化を表現する機能を組み合わせた、いわゆる2階学習者ストリームを活用している。
我々は,Omniglot, mini-ImageNet, tiered-ImageNet, Open MIC, CUB Birds, Stanford Dogs, Cars, HMDB51, UCF101, mini-MITなどのアクション認識データセットなどの標準データセットに対して,優れた結果を示す。
論文 参考訳(メタデータ) (2022-01-15T19:49:00Z) - Learning Meta-class Memory for Few-Shot Semantic Segmentation [90.28474742651422]
全てのクラスで共有可能なメタ情報であるメタクラスの概念を導入する。
本稿では,メタクラスメモリをベースとした少ショットセグメンテーション手法 (MM-Net) を提案する。
提案したMM-Netは1ショット設定でCOCOデータセット上で37.5%のmIoUを達成する。
論文 参考訳(メタデータ) (2021-08-06T06:29:59Z) - Multi-scale Adaptive Task Attention Network for Few-Shot Learning [5.861206243996454]
少数ショット学習の目標は、ラベル付きサンプルの少ない未確認カテゴリを分類することである。
本稿では,マルチスケール適応タスク注意ネットワーク(MATANet)を提案する。
論文 参考訳(メタデータ) (2020-11-30T00:36:01Z) - Part-aware Prototype Network for Few-shot Semantic Segmentation [50.581647306020095]
本稿では,プロトタイプ表現に基づく新規な数ショットセマンティックセマンティックセマンティクスフレームワークを提案する。
私たちのキーとなるアイデアは、全体論的なクラス表現を、部分認識型プロトタイプのセットに分解することです。
提案する部分認識型プロトタイプを生成・拡張する新しいグラフニューラルネットワークモデルを開発した。
論文 参考訳(メタデータ) (2020-07-13T11:03:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。