論文の概要: ReCo: Retrieve and Co-segment for Zero-shot Transfer

• arxiv url: http://arxiv.org/abs/2206.07045v1
• Date: Tue, 14 Jun 2022 17:59:31 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-15 13:26:17.586232
• Title: ReCo: Retrieve and Co-segment for Zero-shot Transfer
• Title（参考訳）: ReCo:ゼロショット転送のための検索と協調
• Authors: Gyungin Shin, Weidi Xie, Samuel Albanie
• Abstract要約: Retrieve and Co-segment (ReCo)は、名前付き予測とゼロショット転送の利便性を継承しながら、教師なしセグメンテーションアプローチに好適に機能する。 また、非常に稀なオブジェクトのセグメンテーションをReCoが生成できることを実証する。
• 参考スコア（独自算出の注目度）: 44.388120096898554
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Semantic segmentation has a broad range of applications, but its real-world impact has been significantly limited by the prohibitive annotation costs necessary to enable deployment. Segmentation methods that forgo supervision can side-step these costs, but exhibit the inconvenient requirement to provide labelled examples from the target distribution to assign concept names to predictions. An alternative line of work in language-image pre-training has recently demonstrated the potential to produce models that can both assign names across large vocabularies of concepts and enable zero-shot transfer for classification, but do not demonstrate commensurate segmentation abilities. In this work, we strive to achieve a synthesis of these two approaches that combines their strengths. We leverage the retrieval abilities of one such language-image pre-trained model, CLIP, to dynamically curate training sets from unlabelled images for arbitrary collections of concept names, and leverage the robust correspondences offered by modern image representations to co-segment entities among the resulting collections. The synthetic segment collections are then employed to construct a segmentation model (without requiring pixel labels) whose knowledge of concepts is inherited from the scalable pre-training process of CLIP. We demonstrate that our approach, termed Retrieve and Co-segment (ReCo) performs favourably to unsupervised segmentation approaches while inheriting the convenience of nameable predictions and zero-shot transfer. We also demonstrate ReCo's ability to generate specialist segmenters for extremely rare objects.
• Abstract（参考訳）: セマンティクスのセグメンテーションには幅広いアプリケーションがあるが、実際の影響は、デプロイを可能にするのに必要なアノテーションコストによって著しく制限されている。 forgo監督を行うセグメンテーションメソッドは、これらのコストを回避できるが、ターゲットディストリビューションからラベル付き例を提供し、概念名を予測に割り当てる不便な要件を示す。 言語イメージ事前学習における別の研究行は、最近、概念の大きな語彙をまたいで名前を割り当て、分類のためのゼロショット転送を可能にするモデルを作成する可能性を実証した。 本研究は,これらの強みを結合した2つのアプローチの合成を実現することを目的としている。 このような言語イメージ事前学習モデルであるクリップの検索能力を活用し、任意の概念名のコレクションに対してラベルなしの画像からトレーニングセットを動的にキュレートし、その結果のコレクションの中で、現代の画像表現によって提供されるロバストな対応を活用した。 合成セグメントコレクションは、CLIPのスケーラブルな事前学習プロセスから概念に関する知識を継承したセグメンテーションモデル(ピクセルラベルを必要としない)を構築するために使用される。 提案手法であるresearch and co-segment (reco) は,命名可能な予測とゼロショット転送の利便性を継承しながら,教師なしセグメンテーションアプローチに対して好適に機能することを示す。 また、非常に稀なオブジェクトのセグメンテーションをReCoが生成できることも示す。

関連論文リスト

• Semantic Connectivity-Driven Pseudo-labeling for Cross-domain Segmentation [89.41179071022121]
  自己学習はドメイン間セマンティックセグメンテーションにおいて一般的なアプローチである。 本稿ではセマンティック・コネクティビティ駆動の擬似ラベル方式を提案する。 このアプローチは、接続レベルにおいて擬似ラベルを定式化し、構造的および低雑音のセマンティクスの学習を容易にする。
  論文  参考訳（メタデータ） (2023-12-11T12:29:51Z)
• Exploring Open-Vocabulary Semantic Segmentation without Human Labels [76.15862573035565]
  我々は、既存の事前学習された視覚言語モデル(VL)を利用して意味的セグメンテーションモデルを訓練するZeroSegを提案する。 ZeroSegは、VLモデルで学んだ視覚概念をセグメントトークンの集合に蒸留することでこれを克服し、それぞれが対象画像の局所化領域を要約する。 提案手法は,他のゼロショットセグメンテーション法と比較して,同じトレーニングデータを用いた場合と比較して,最先端性能を実現する。
  論文  参考訳（メタデータ） (2023-06-01T08:47:06Z)
• RaSP: Relation-aware Semantic Prior for Weakly Supervised Incremental Segmentation [28.02204928717511]
  本稿では,事前学習したクラスから新しいクラスにオブジェクトを移すための弱い教師付きアプローチを提案する。 クラス間の単純なペアインタラクションでさえ、古いクラスと新しいクラスのセグメンテーションマスクの品質を大幅に向上させることができることを示す。
  論文  参考訳（メタデータ） (2023-05-31T14:14:21Z)
• Saliency Guided Inter- and Intra-Class Relation Constraints for Weakly Supervised Semantic Segmentation [66.87777732230884]
  本稿では,活性化対象領域の拡大を支援するために,Salliency Guided Inter-およびIntra-Class Relation Constrained (I$2$CRC) フレームワークを提案する。 また,オブジェクトガイド付きラベルリファインメントモジュールを導入し,セグメンテーション予測と初期ラベルをフル活用し,優れた擬似ラベルを得る。
  論文  参考訳（メタデータ） (2022-06-20T03:40:56Z)
• Instance Segmentation of Unlabeled Modalities via Cyclic Segmentation GAN [27.936725483892076]
  本稿では,画像翻訳とインスタンスセグメンテーションを共同で行うCysic Generative Adrial Network(CySGAN)を提案する。 注記電子顕微鏡(en:Annotated electron microscopy, EM)画像とラベルなし拡張顕微鏡(en:Unlabeled expansion microscopy, ExM)データを用いて, ニューロンの3次元セグメンテーションの課題についてベンチマークを行った。
  論文  参考訳（メタデータ） (2022-04-06T20:46:39Z)
• A Closer Look at Self-training for Zero-Label Semantic Segmentation [53.4488444382874]
  トレーニング中に見られないクラスをセグメント化できることは、ディープラーニングにおいて重要な技術的課題です。 事前のゼロラベルセマンティクスセグメンテーションは、ビジュアル・セマンティクスの埋め込みや生成モデルを学ぶことによってこのタスクにアプローチする。 本研究では,同一画像の異なる増分から生じる擬似ラベルの交点を取り出し,ノイズの多い擬似ラベルをフィルタリングする整合性正規化器を提案する。
  論文  参考訳（メタデータ） (2021-04-21T14:34:33Z)
• SCNet: Enhancing Few-Shot Semantic Segmentation by Self-Contrastive Background Prototypes [56.387647750094466]
  Few-shot セマンティックセマンティックセマンティクスは,クエリイメージ内の新規クラスオブジェクトを,アノテーション付きの例で分割することを目的としている。 先進的なソリューションのほとんどは、各ピクセルを学習した前景のプロトタイプに合わせることでセグメンテーションを行うメトリクス学習フレームワークを利用している。 このフレームワークは、前景プロトタイプのみとのサンプルペアの不完全な構築のために偏った分類に苦しんでいます。
  論文  参考訳（メタデータ） (2021-04-19T11:21:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。