論文の概要: Weak-shot Semantic Segmentation via Dual Similarity Transfer

• arxiv url: http://arxiv.org/abs/2210.02270v1
• Date: Wed, 5 Oct 2022 13:54:34 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-06 14:20:04.151151
• Title: Weak-shot Semantic Segmentation via Dual Similarity Transfer
• Title（参考訳）: 二重類似性伝達による弱ショット意味セグメンテーション
• Authors: Junjie Chen, Li Niu, Siyuan Zhou, Jianlou Si, Chen Qian, Liqing Zhang
• Abstract要約: MaskFormer上で2つの類似性転送を行うSimFormerを提案する。 提案セグメンテーションにより、プロポーザルピクセルの類似性をベースクラスから新しいクラスに転送できる。 また,基本クラスからピクセル・ピクセル類似性を学習し,新しいクラスのセマンティックマスクとそのようなクラスに依存しないセマンティック類似性を蒸留する。
• 参考スコア（独自算出の注目度）: 33.18870478560099
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Semantic segmentation is an important and prevalent task, but severely suffers from the high cost of pixel-level annotations when extending to more classes in wider applications. To this end, we focus on the problem named weak-shot semantic segmentation, where the novel classes are learnt from cheaper image-level labels with the support of base classes having off-the-shelf pixel-level labels. To tackle this problem, we propose SimFormer, which performs dual similarity transfer upon MaskFormer. Specifically, MaskFormer disentangles the semantic segmentation task into two sub-tasks: proposal classification and proposal segmentation for each proposal. Proposal segmentation allows proposal-pixel similarity transfer from base classes to novel classes, which enables the mask learning of novel classes. We also learn pixel-pixel similarity from base classes and distill such class-agnostic semantic similarity to the semantic masks of novel classes, which regularizes the segmentation model with pixel-level semantic relationship across images. In addition, we propose a complementary loss to facilitate the learning of novel classes. Comprehensive experiments on the challenging COCO-Stuff-10K and ADE20K datasets demonstrate the effectiveness of our method. Codes are available at https://github.com/bcmi/SimFormer-Weak-Shot-Semantic-Segmentation.
• Abstract（参考訳）: セマンティックセグメンテーションは重要かつ一般的なタスクであるが、より広いアプリケーションでより多くのクラスに拡張する際には、ピクセルレベルのアノテーションのコストが高い。 そこで,本研究では,既定の画素レベルラベルを持つベースクラスをサポートすることで,安価な画像レベルラベルから新しいクラスを学習する,弱いショット意味セグメンテーションという問題に焦点を当てる。 この問題を解決するために,MaskFormer上で2つの類似性転送を行うSimFormerを提案する。 具体的には、MaskFormerはセマンティックセグメンテーションタスクを2つのサブタスクに分割する。 提案セグメンテーションにより,基本クラスから新しいクラスへ,提案画素間の類似性を移行することができる。 また,基本クラスからピクセル・ピクセル間の類似性を学習し,画像間のピクセルレベルの意味関係でセグメンテーションモデルを規則化する新規クラスのセマンティクスマスクと,そのようなクラスに依存しないセマンティクス類似性を蒸留する。 さらに,新しい授業の学習を容易にするための補完的損失を提案する。 COCO-Stuff-10KデータセットとADE20Kデータセットの総合実験により,本手法の有効性が示された。 コードはhttps://github.com/bcmi/SimFormer-Weak-Shot-Semantic-Segmentationで公開されている。

関連論文リスト

• Learning Semantic Segmentation with Query Points Supervision on Aerial Images [57.09251327650334]
  セマンティックセグメンテーションアルゴリズムを学習するための弱教師付き学習アルゴリズムを提案する。 提案手法は正確なセマンティックセグメンテーションを行い,手作業のアノテーションに要するコストと時間を大幅に削減することで効率を向上する。
  論文  参考訳（メタデータ） (2023-09-11T14:32:04Z)
• Boosting Semantic Segmentation from the Perspective of Explicit Class Embeddings [19.997929884477628]
  クラス埋め込みのメカニズムを探求し、クラスマスクに基づいてより明示的で意味のあるクラス埋め込みを生成することができるという知見を得る。 マルチステージ画像特徴との相互作用において,クラス埋め込みを明示的に獲得・拡張する新たなセグメンテーションパラダイムであるECENetを提案する。 ECENetはADE20Kデータセットよりもはるかに少ない計算コストでパフォーマンスを向上し、PASCAL-Contextデータセット上で新たな最先端結果を達成する。
  論文  参考訳（メタデータ） (2023-08-24T16:16:10Z)
• DiffusePast: Diffusion-based Generative Replay for Class Incremental Semantic Segmentation [73.54038780856554]
  クラスインクリメンタルセマンティック(CISS)は、新たに追加されたクラスを漸進的に学習することで、従来のセグメンテーションタスクを拡張する。 これは、事前訓練されたGANから生成された古いクラスサンプルを再生するものである。 そこで我々はDiffusePastを提案する。DiffusePastは拡散型生成再生モジュールを特徴とする新しいフレームワークで、異なる命令でより信頼性の高いマスクで意味論的に正確な画像を生成する。
  論文  参考訳（メタデータ） (2023-08-02T13:13:18Z)
• Synthetic Instance Segmentation from Semantic Image Segmentation Masks [15.477053085267404]
  我々は、Synthetic Instance(SISeg)と呼ばれる新しいパラダイムを提案する。 SISegインスタンスセグメンテーションの結果は、既存のセマンティックセグメンテーションモデルによって生成されたイメージマスクを活用する。 言い換えれば、提案モデルは余分な人力や高い計算コストを必要としない。
  論文  参考訳（メタデータ） (2023-08-02T05:13:02Z)
• Edge Guided GANs with Multi-Scale Contrastive Learning for Semantic Image Synthesis [139.2216271759332]
  本稿では,難解なセマンティック画像合成タスクのための新しいECGANを提案する。 セマンティックラベルは詳細な構造情報を提供しておらず、局所的な詳細や構造を合成することは困難である。 畳み込み、ダウンサンプリング、正規化といった広く採用されているCNN操作は、通常、空間分解能の損失を引き起こす。 本稿では,同じセマンティッククラスに属する画素埋め込みを強制して,より類似した画像コンテンツを生成することを目的とした,新しいコントラスト学習手法を提案する。
  論文  参考訳（メタデータ） (2023-07-22T14:17:19Z)
• RaSP: Relation-aware Semantic Prior for Weakly Supervised Incremental Segmentation [28.02204928717511]
  本稿では,事前学習したクラスから新しいクラスにオブジェクトを移すための弱い教師付きアプローチを提案する。 クラス間の単純なペアインタラクションでさえ、古いクラスと新しいクラスのセグメンテーションマスクの品質を大幅に向上させることができることを示す。
  論文  参考訳（メタデータ） (2023-05-31T14:14:21Z)
• Semantic Segmentation In-the-Wild Without Seeing Any Segmentation Examples [34.97652735163338]
  本稿では,各オブジェクトに対するセマンティックセグメンテーションマスク作成のための新しいアプローチを提案する。 本手法は,画像に含まれるクラスカテゴリのイメージレベルラベルを入力として扱う。 このステージの出力は、教師付きメソッドが必要とする手動のピクセルレベルラベルの代わりに、ピクセルレベルの擬似ラベルを提供する。
  論文  参考訳（メタデータ） (2021-12-06T17:32:38Z)
• Maximize the Exploration of Congeneric Semantics for Weakly Supervised Semantic Segmentation [27.155133686127474]
  グラフニューラルネットワーク(P-GNN)を,同一のクラスラベルを含む異なる画像からの自己検出パッチに基づいて構築する。 PASCAL VOC 2012ベンチマークで実験を行い、そのモデルにより最先端の性能が得られた。
  論文  参考訳（メタデータ） (2021-10-08T08:59:16Z)
• Segmenter: Transformer for Semantic Segmentation [79.9887988699159]
  セマンティックセグメンテーションのためのトランスフォーマーモデルであるSegmenterを紹介します。 最近のViT(Vision Transformer)上に構築し,セマンティックセグメンテーションに拡張する。 これは、挑戦的なADE20Kデータセット上でのアートの状態を上回り、Pascal ContextとCityscapesでオンパーを実行する。
  論文  参考訳（メタデータ） (2021-05-12T13:01:44Z)
• A Closer Look at Self-training for Zero-Label Semantic Segmentation [53.4488444382874]
  トレーニング中に見られないクラスをセグメント化できることは、ディープラーニングにおいて重要な技術的課題です。 事前のゼロラベルセマンティクスセグメンテーションは、ビジュアル・セマンティクスの埋め込みや生成モデルを学ぶことによってこのタスクにアプローチする。 本研究では,同一画像の異なる増分から生じる擬似ラベルの交点を取り出し,ノイズの多い擬似ラベルをフィルタリングする整合性正規化器を提案する。
  論文  参考訳（メタデータ） (2021-04-21T14:34:33Z)
• Semantically Meaningful Class Prototype Learning for One-Shot Image Semantic Segmentation [58.96902899546075]
  ワンショットセマンティックイメージセグメンテーションは、1つの注釈付きイメージで新しいクラスのオブジェクト領域を分割することを目的としている。 最近の研究では、テスト時に予想される状況を模倣するために、エピソディクストレーニング戦略を採用している。 エピソードトレーニングにおいて,マルチクラスラベル情報を活用することを提案する。 ネットワークが各カテゴリに対してより意味のある機能を生成するように促すだろう。
  論文  参考訳（メタデータ） (2021-02-22T12:07:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。