論文の概要: Boundary-Refined Prototype Generation: A General End-to-End Paradigm for Semi-Supervised Semantic Segmentation

• arxiv url: http://arxiv.org/abs/2307.10097v2
• Date: Sat, 14 Sep 2024 10:51:41 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-18 03:47:44.952825
• Title: Boundary-Refined Prototype Generation: A General End-to-End Paradigm for Semi-Supervised Semantic Segmentation
• Title（参考訳）: 境界修正型プロトタイプ生成:半教師付きセマンティックセマンティックセグメンテーションのための汎用エンド・ツー・エンドパラダイム
• Authors: Junhao Dong, Zhu Meng, Delong Liu, Jiaxuan Liu, Zhicheng Zhao, Fei Su,
• Abstract要約: 半教師付きセマンティックセグメンテーションはコンピュータビジョンにおいて注目を集めている。 現在のアプローチでは、メイントレーニングフレームワークからプロトタイプ生成を分離しています。 本稿では,新しい境界修正プロトタイプ生成法(BRPG)を提案する。
• 参考スコア（独自算出の注目度）: 23.00156170789867
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Semi-supervised semantic segmentation has attracted increasing attention in computer vision, aiming to leverage unlabeled data through latent supervision. To achieve this goal, prototype-based classification has been introduced and achieved lots of success. However, the current approaches isolate prototype generation from the main training framework, presenting a non-end-to-end workflow. Furthermore, most methods directly perform the K-Means clustering on features to generate prototypes, resulting in their proximity to category semantic centers, while overlooking the clear delineation of class boundaries. To address the above problems, we propose a novel end-to-end boundary-refined prototype generation (BRPG) method. Specifically, we perform online clustering on sampled features to incorporate the prototype generation into the whole training framework. In addition, to enhance the classification boundaries, we sample and cluster high- and low-confidence features separately based on confidence estimation, facilitating the generation of prototypes closer to the class boundaries. Moreover, an adaptive prototype optimization strategy is proposed to increase the number of prototypes for categories with scattered feature distributions, which further refines the class boundaries. Extensive experiments demonstrate the remarkable robustness and scalability of our method across diverse datasets, segmentation networks, and semi-supervised frameworks, outperforming the state-of-the-art approaches on three benchmark datasets: PASCAL VOC 2012, Cityscapes and MS COCO. The code is available at https://github.com/djh-dzxw/BRPG.
• Abstract（参考訳）: 半教師付きセマンティックセグメンテーションは、潜在監督を通じてラベルなしデータを活用することを目的として、コンピュータビジョンにおいて注目を集めている。 この目標を達成するため、プロトタイプベースの分類が導入され、多くの成功を収めた。 しかし、現在のアプローチでは、メインのトレーニングフレームワークからプロトタイプ生成を分離し、エンドツーエンドのワークフローを提供する。 さらに、ほとんどのメソッドはK-Meansクラスタリングを直接実行してプロトタイプを生成する。 上記の問題に対処するため、我々は新しい境界修正プロトタイプ生成法(BRPG)を提案する。 具体的には、サンプル機能のオンラインクラスタリングを行い、プロトタイプ生成をトレーニングフレームワーク全体に組み込む。 さらに,分類境界の精度を高めるために,信頼度推定に基づいて高信頼度と低信頼度の特徴を別々にサンプリング・クラスタリングし,クラス境界に近いプロトタイプ生成を容易にする。 さらに,分散した特徴分布を持つカテゴリのプロトタイプ数を増やすための適応型プロトタイプ最適化手法を提案し,クラス境界をさらに洗練する。 広範な実験により、多様なデータセット、セグメンテーションネットワーク、半教師付きフレームワークにわたるメソッドの顕著な堅牢性とスケーラビリティが示され、3つのベンチマークデータセット(PASCAL VOC 2012、Cityscapes、MS COCO)で最先端のアプローチよりも優れています。 コードはhttps://github.com/djh-dzxw/BRPGで入手できる。

関連論文リスト

• Unsupervised Multimodal Clustering for Semantics Discovery in Multimodal Utterances [24.142013877384603]
  本稿では,新しい教師なしマルチモーダルクラスタリング手法 (UMC) を提案する。 UMCは、マルチモーダルデータのための拡張ビューを構築するためのユニークなアプローチを導入し、事前トレーニングを実行するために使用される。 我々は、最先端の手法よりもクラスタリングメトリクスの2-6%のスコアが顕著に改善され、この領域で最初の成功例となった。
  論文  参考訳（メタデータ） (2024-05-21T13:24:07Z)
• Beyond Known Clusters: Probe New Prototypes for Efficient Generalized Class Discovery [23.359450657842686]
  Generalized Class Discovery (GCD) はラベル付きデータから学んだ知識に基づいてラベルを部分的にラベル付きデータに動的に割り当てることを目的としている。 本稿では,学習可能な潜在的なプロトタイプを導入し,クラスタプロトタイプを拡張する適応型探索機構を提案する。 我々の手法は、スタンフォード・カーズ・データセットの9.7%の差で、最も近い競合相手を上回っている。
  論文  参考訳（メタデータ） (2024-04-13T12:41:40Z)
• Rethinking Few-shot 3D Point Cloud Semantic Segmentation [62.80639841429669]
  本稿では,FS-PCSによる3Dポイント・クラウドセマンティックセマンティックセグメンテーションについて再検討する。 我々は、最先端の2つの重要な問題、前景の漏洩とスパースポイントの分布に焦点をあてる。 これらの問題に対処するために、新しいベンチマークを構築するための標準化されたFS-PCS設定を導入する。
  論文  参考訳（メタデータ） (2024-03-01T15:14:47Z)
• Unsupervised Prototype Adapter for Vision-Language Models [29.516767588241724]
  我々はUnsupervised Prototype Adapter (UP-Adapter)と呼ばれる視覚言語モデルのための教師なし微調整アプローチを設計する。 具体的には、アノテーションのないターゲットデータセットに対して、CLIPのテキストイメージ整合機能を活用して、各クラスに対して最も確実なサンプルを自動的に選択する。 微調整後、プロトタイプモデル予測と元のCLIPの予測を残りの接続で組み合わせて下流認識タスクを実行する。
  論文  参考訳（メタデータ） (2023-08-22T15:28:49Z)
• Harmonizing Base and Novel Classes: A Class-Contrastive Approach for Generalized Few-Shot Segmentation [78.74340676536441]
  本稿では,プロトタイプの更新を規制し,プロトタイプ間の距離を広くするために,クラス間のコントラスト損失とクラス関係損失を提案する。 提案手法は,PASCAL VOC および MS COCO データセット上での一般化された小ショットセグメンテーションタスクに対して,新しい最先端性能を実現する。
  論文  参考訳（メタデータ） (2023-03-24T00:30:25Z)
• Semi-supervised Semantic Segmentation with Prototype-based Consistency Regularization [20.4183741427867]
  半教師付きセマンティックセグメンテーションでは、制限された注釈付き画像からラベルなし画像へラベル情報を伝達する必要がある。 このようなピクセルごとの予測タスクの課題は、クラス内の大きなバリエーションである。 本稿では,ラベルの伝搬困難を緩和するために,クラス内特徴の分布を正規化するための新しい手法を提案する。
  論文  参考訳（メタデータ） (2022-10-10T01:38:01Z)
• Rethinking Clustering-Based Pseudo-Labeling for Unsupervised Meta-Learning [146.11600461034746]
  教師なしメタラーニングのメソッドであるCACTUsは、擬似ラベル付きクラスタリングベースのアプローチである。 このアプローチはモデルに依存しないため、教師付きアルゴリズムと組み合わせてラベルのないデータから学習することができる。 このことの核となる理由は、埋め込み空間においてクラスタリングに優しい性質が欠如していることである。
  論文  参考訳（メタデータ） (2022-09-27T19:04:36Z)
• Weakly Supervised Semantic Segmentation via Progressive Patch Learning [39.87150496277798]
  分類の局所的詳細抽出を改善するために「プログレッシブ・パッチ・ラーニング」アプローチを提案する。 は、機能マップをパッチに分解し、最終的なアグリゲーションの前に各ローカルパッチを独立して処理する。 プログレッシブ・パッチ・ラーニング(Progressive Patch Learning)は、特徴の破壊とパッチ・ラーニングをさらにプログレッシブな方法で多段階の粒度に拡張する。
  論文  参考訳（メタデータ） (2022-09-16T09:54:17Z)
• Beyond the Prototype: Divide-and-conquer Proxies for Few-shot Segmentation [63.910211095033596]
  少ないショットのセグメンテーションは、少数の濃密なラベル付けされたサンプルのみを与えられた、目に見えないクラスオブジェクトをセグメンテーションすることを目的としている。 分割・分散の精神において, 単純かつ多目的な枠組みを提案する。 提案手法は、DCP(disvision-and-conquer proxies)と呼ばれるもので、適切な信頼性のある情報の開発を可能にする。
  論文  参考訳（メタデータ） (2022-04-21T06:21:14Z)
• BMD: A General Class-balanced Multicentric Dynamic Prototype Strategy for Source-free Domain Adaptation [74.93176783541332]
  Source-free Domain Adaptation (SFDA)は、トレーニング済みのソースモデルを、十分にラベル付けされたソースデータにアクセスすることなく、未ラベルのターゲットドメインに適応することを目的としている。 ソースデータの欠如を補うため、既存のほとんどのメソッドは、機能プロトタイプベースの擬似ラベル戦略を導入した。 SFDAタスクのための汎用クラスベース多中心動的プロトタイプ戦略を提案する。
  論文  参考訳（メタデータ） (2022-04-06T13:23:02Z)
• Dual Prototypical Contrastive Learning for Few-shot Semantic Segmentation [55.339405417090084]
  本稿では,FSSタスクに適合する2つの特徴的コントラスト学習手法を提案する。 第一の考え方は、プロトタイプの特徴空間におけるクラス内距離を減少させながら、クラス間距離を増やすことで、プロトタイプをより差別的にすることである。 提案手法は,PASCAL-5iおよびCOCO-20iデータセット上で,最先端のFSS手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2021-11-09T08:14:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。