論文の概要: Leveraging GAN Priors for Few-Shot Part Segmentation

• arxiv url: http://arxiv.org/abs/2207.13428v1
• Date: Wed, 27 Jul 2022 10:17:07 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-28 13:34:46.184331
• Title: Leveraging GAN Priors for Few-Shot Part Segmentation
• Title（参考訳）: GANによるFew-Shot部分分割
• Authors: Mengya Han, Heliang Zheng, Chaoyue Wang, Yong Luo, Han Hu, Bo Du
• Abstract要約: わずかなショット部分のセグメンテーションは、少数のサンプルしか与えられていないオブジェクトの異なる部分を切り離すことを目的としている。 本稿では,タスク固有の特徴を「事前学習」-「微調整」パラダイムで学習することを提案する。
• 参考スコア（独自算出の注目度）: 43.35150430895919
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Few-shot part segmentation aims to separate different parts of an object given only a few annotated samples. Due to the challenge of limited data, existing works mainly focus on learning classifiers over pre-trained features, failing to learn task-specific features for part segmentation. In this paper, we propose to learn task-specific features in a "pre-training"-"fine-tuning" paradigm. We conduct prompt designing to reduce the gap between the pre-train task (i.e., image generation) and the downstream task (i.e., part segmentation), so that the GAN priors for generation can be leveraged for segmentation. This is achieved by projecting part segmentation maps into the RGB space and conducting interpolation between RGB segmentation maps and original images. Specifically, we design a fine-tuning strategy to progressively tune an image generator into a segmentation generator, where the supervision of the generator varying from images to segmentation maps by interpolation. Moreover, we propose a two-stream architecture, i.e., a segmentation stream to generate task-specific features, and an image stream to provide spatial constraints. The image stream can be regarded as a self-supervised auto-encoder, and this enables our model to benefit from large-scale support images. Overall, this work is an attempt to explore the internal relevance between generation tasks and perception tasks by prompt designing. Extensive experiments show that our model can achieve state-of-the-art performance on several part segmentation datasets.
• Abstract（参考訳）: 少数ショット部分セグメンテーションは、いくつかの注釈付きサンプルのみを与えられたオブジェクトの異なる部分を分離することを目的としている。 限られたデータの課題のため、既存の作業は主に事前学習された特徴よりも学習分類器に焦点をあて、部分分割のためのタスク固有の特徴の学習に失敗した。 本稿では,タスク固有の特徴を「事前学習」-「微調整」パラダイムで学習することを提案する。 我々は,事前学習タスク(画像生成)と下流タスク(部分分割)とのギャップを低減し,生成のためのganプリミティブをセグメンテーションに活用できるように,迅速な設計を行う。 これは、部分セグメンテーションマップをrgb空間に投影し、rgbセグメンテーションマップとオリジナルイメージ間の補間を行うことによって達成される。 具体的には,画像生成器をセグメンテーション生成器に段階的にチューニングする微調整戦略を考案し,画像からセグメンテーションマップへのインターポーテーションによる生成器の監督を行う。 さらに,タスク特有の特徴を生成するセグメンテーションストリームと,空間制約を提供するイメージストリームという2つのストリームアーキテクチャを提案する。 画像ストリームは自己教師付きオートエンコーダと見なすことができ,大規模サポート画像の恩恵を受けることができる。 全体として、この研究は、素早い設計によって、生成タスクと知覚タスクの内部的関連性を探求する試みである。 広範な実験により,いくつかの部分セグメンテーションデータセットにおいて,最先端のパフォーマンスを実現することができた。

関連論文リスト

• Framework-agnostic Semantically-aware Global Reasoning for Segmentation [29.69187816377079]
  本稿では,画像特徴を潜在表現に投影し,それら間の関係を推論するコンポーネントを提案する。 我々の設計では、活性化領域が空間的に不整合であることを保証することにより、潜在領域が意味概念を表現することを奨励している。 潜在トークンはセマンティックに解釈可能で多様性があり、下流タスクに転送可能な豊富な機能セットを提供します。
  論文  参考訳（メタデータ） (2022-12-06T21:42:05Z)
• Progressively Dual Prior Guided Few-shot Semantic Segmentation [57.37506990980975]
  Few-shotのセマンティックセマンティックセマンティクスタスクは、いくつかのアノテーション付きサポートサンプルを使用して、クエリイメージのセマンティクスを実行することを目的としている。 本稿では,先進的に2重にガイドされた数発のセマンティックセマンティックセグメンテーションネットワークを提案する。
  論文  参考訳（メタデータ） (2022-11-20T16:19:47Z)
• EAA-Net: Rethinking the Autoencoder Architecture with Intra-class Features for Medical Image Segmentation [4.777011444412729]
  We propose a light-weight end-to-end segmentation framework based on multi-task learning, called Edge Attention autoencoder Network (EAA-Net)。 提案手法は,クラス間特徴の抽出にセグメンテーションネットワークを利用するだけでなく,フォアグラウンド内でのクラス内特徴の抽出にも再構成ネットワークを適用する。 実験結果から,医用画像分割作業において,本手法が良好に機能することが確認された。
  論文  参考訳（メタデータ） (2022-08-19T07:42:55Z)
• Instance Segmentation of Unlabeled Modalities via Cyclic Segmentation GAN [27.936725483892076]
  本稿では,画像翻訳とインスタンスセグメンテーションを共同で行うCysic Generative Adrial Network(CySGAN)を提案する。 注記電子顕微鏡(en:Annotated electron microscopy, EM)画像とラベルなし拡張顕微鏡(en:Unlabeled expansion microscopy, ExM)データを用いて, ニューロンの3次元セグメンテーションの課題についてベンチマークを行った。
  論文  参考訳（メタデータ） (2022-04-06T20:46:39Z)
• Learning with Free Object Segments for Long-Tailed Instance Segmentation [15.563842274862314]
  インスタンスセグメントの豊富さは、オブジェクト中心のIm-ageから自由に得ることができる。 これらの知見に触発されて,これらの「自由」オブジェクトセグメントの抽出と活用を目的としたFreeSegを提案する。 FreeSegは、まれなオブジェクトカテゴリのセグメンテーションにおける最先端の精度を達成する。
  論文  参考訳（メタデータ） (2022-02-22T19:06:16Z)
• Prototypical Cross-Attention Networks for Multiple Object Tracking and Segmentation [95.74244714914052]
  複数のオブジェクトのトラッキングとセグメンテーションには、与えられたクラスのセットに属するオブジェクトを検出し、追跡し、セグメンテーションする必要がある。 オンライン上でリッチ・テンポラル情報を活用するプロトタイプ・クロス・アテンション・ネットワーク(PCAN)を提案する。 PCANは、Youtube-VISとBDD100Kデータセットで、現在のビデオインスタンス追跡とセグメンテーションコンテストの勝者を上回っている。
  論文  参考訳（メタデータ） (2021-06-22T17:57:24Z)
• SCNet: Enhancing Few-Shot Semantic Segmentation by Self-Contrastive Background Prototypes [56.387647750094466]
  Few-shot セマンティックセマンティックセマンティクスは,クエリイメージ内の新規クラスオブジェクトを,アノテーション付きの例で分割することを目的としている。 先進的なソリューションのほとんどは、各ピクセルを学習した前景のプロトタイプに合わせることでセグメンテーションを行うメトリクス学習フレームワークを利用している。 このフレームワークは、前景プロトタイプのみとのサンプルペアの不完全な構築のために偏った分類に苦しんでいます。
  論文  参考訳（メタデータ） (2021-04-19T11:21:47Z)
• Part-aware Prototype Network for Few-shot Semantic Segmentation [50.581647306020095]
  本稿では,プロトタイプ表現に基づく新規な数ショットセマンティックセマンティックセマンティクスフレームワークを提案する。 私たちのキーとなるアイデアは、全体論的なクラス表現を、部分認識型プロトタイプのセットに分解することです。 提案する部分認識型プロトタイプを生成・拡張する新しいグラフニューラルネットワークモデルを開発した。
  論文  参考訳（メタデータ） (2020-07-13T11:03:09Z)
• CRNet: Cross-Reference Networks for Few-Shot Segmentation [59.85183776573642]
  少ないショットセグメンテーションは、少数のトレーニングイメージを持つ新しいクラスに一般化できるセグメンテーションモデルを学ぶことを目的としている。 相互参照機構により、我々のネットワークは2つの画像に共起する物体をよりよく見つけることができる。 PASCAL VOC 2012データセットの実験は、我々のネットワークが最先端のパフォーマンスを達成することを示す。
  論文  参考訳（メタデータ） (2020-03-24T04:55:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。