Fugu-MT 論文翻訳(概要): Learning Robust Correlation with Foundation Model for Weakly-Supervised Few-Shot Segmentation

論文の概要: Learning Robust Correlation with Foundation Model for Weakly-Supervised Few-Shot Segmentation

arxiv url: http://arxiv.org/abs/2405.19638v1
Date: Thu, 30 May 2024 02:42:58 GMT
ステータス: 処理完了
システム内更新日: 2024-05-31 18:26:21.640091
Title: Learning Robust Correlation with Foundation Model for Weakly-Supervised Few-Shot Segmentation
Title（参考訳）: 弱改良Few-Shotセグメンテーションのための基礎モデルとロバスト相関の学習
Authors: Xinyang Huang, Chuang Zhu, Kebin Liu, Ruiying Ren, Shengjie Liu,
Abstract要約: 既存の数ショットセグメンテーション(FSS)は、正確なピクセルマスクの下で学習支援-クエリ相関と見えないカテゴリのセグメンテーションのみを考慮する。本稿では、より困難なシナリオとして、分類(画像レベル)のみを提供するWS-FSS(弱教師付き小ショットセグメンテーション)を考える。生成されたマスクが不正確なときに、堅牢なサポートクエリ情報を学ぶ必要がある。本研究では,多情報ガイダンスを用いた相関強化ネットワーク(CORENet)を基礎モデルで設計し,相関関係の堅牢さを学習する。
参考スコア（独自算出の注目度）: 4.653837581070031
License: http://creativecommons.org/publicdomain/zero/1.0/
Abstract: Existing few-shot segmentation (FSS) only considers learning support-query correlation and segmenting unseen categories under the precise pixel masks. However, the cost of a large number of pixel masks during training is expensive. This paper considers a more challenging scenario, weakly-supervised few-shot segmentation (WS-FSS), which only provides category ($i.e.$ image-level) labels. It requires the model to learn robust support-query information when the generated mask is inaccurate. In this work, we design a Correlation Enhancement Network (CORENet) with foundation model, which utilizes multi-information guidance to learn robust correlation. Specifically, correlation-guided transformer (CGT) utilizes self-supervised ViT tokens to learn robust correlation from both local and global perspectives. From the perspective of semantic categories, the class-guided module (CGM) guides the model to locate valuable correlations through the pre-trained CLIP. Finally, the embedding-guided module (EGM) implicitly guides the model to supplement the inevitable information loss during the correlation learning by the original appearance embedding and finally generates the query mask. Extensive experiments on PASCAL-5$^i$ and COCO-20$^i$ have shown that CORENet exhibits excellent performance compared to existing methods.
Abstract（参考訳）: 既存の数ショットセグメンテーション(FSS)は、正確なピクセルマスクの下で学習支援-クエリ相関と見えないカテゴリのセグメンテーションのみを考慮する。しかし、トレーニング中の大量の画素マスクのコストは高くつく。本稿では、より困難なシナリオとして、分類(画像レベル)のみを提供するWS-FSS(弱教師付き小ショットセグメンテーション)を考える。生成したマスクが不正確なときに、堅牢なサポートクエリ情報を学ぶ必要がある。本研究では,多情報ガイダンスを用いた相関強化ネットワーク(CORENet)を基礎モデルで設計し,相関関係の堅牢さを学習する。具体的には、相関誘導変換器(CGT)は、自監督型ViTトークンを使用して、局所的および大域的両方の視点から堅牢な相関を学習する。セマンティックなカテゴリの観点から、クラス誘導モジュール(CGM)は、事前訓練されたCLIPを通して、価値ある相関を見つけるためにモデルをガイドする。最後に、埋め込み誘導モジュール(EGM)は、元の外観埋め込みによる相関学習中に必然的な情報損失を補うよう暗黙的に誘導し、最終的にクエリマスクを生成する。 PASCAL-5$^i$とCOCO-20$^i$の大規模な実験により、CORENetは既存の手法と比較して優れた性能を示した。

関連論文リスト

Precision matters: Precision-aware ensemble for weakly supervised semantic segmentation [14.931551206723041]
Weakly Supervised Semantic (WSSS) は、画像レベルのラベルなどの弱い監督を、セグメンテーションモデルをトレーニングするために採用している。我々はWSSSに適した高度なアンサンブルアプローチであるORANDNetを提案する。
論文参考訳（メタデータ） (2024-06-28T03:58:02Z)
Memory-guided Network with Uncertainty-based Feature Augmentation for Few-shot Semantic Segmentation [12.653336728447654]
学習可能なメモリベクトルの集合からなるクラス共有メモリ(CSM)モジュールを提案する。これらのメモリベクトルは、トレーニング中にベースクラスから要素オブジェクトパターンを学習し、トレーニングと推論の両方でクエリ機能を再エンコードする。我々は、CSMとUFAを代表的FSS作品に統合し、広く使われているPASCAL-5$i$とCOCO-20$i$データセットの実験結果を得た。
論文参考訳（メタデータ） (2024-06-01T19:53:25Z)
Rethinking Few-shot 3D Point Cloud Semantic Segmentation [62.80639841429669]
本稿では,FS-PCSによる3Dポイント・クラウドセマンティックセマンティックセグメンテーションについて再検討する。我々は、最先端の2つの重要な問題、前景の漏洩とスパースポイントの分布に焦点をあてる。これらの問題に対処するために、新しいベンチマークを構築するための標準化されたFS-PCS設定を導入する。
論文参考訳（メタデータ） (2024-03-01T15:14:47Z)
SFC: Shared Feature Calibration in Weakly Supervised Semantic Segmentation [28.846513129022803]
画像レベルの教師付きセマンティックセグメンテーションはアノテーションコストの低さから注目されている。既存の手法は主にクラスマッピング(CAM)に頼り、セマンティックセグメンテーションモデルをトレーニングするための擬似ラベルを得る。本研究は,学習データにおける長い尾の分布が,ヘッドクラスとテールクラス間の共有特徴により,ヘッドクラスとアンダークラスの重みを過剰に活性化し,テールクラスとアンダークラスの重み付けによって計算されたCAMを生じさせることを示す最初の試みである。
論文参考訳（メタデータ） (2024-01-22T06:43:13Z)
CorrMatch: Label Propagation via Correlation Matching for Semi-Supervised Semantic Segmentation [73.89509052503222]
本稿では、CorrMatchと呼ばれる、単純だが実行可能な半教師付きセマンティックセマンティックセマンティックセマンティクス手法を提案する。相関写像は、同一カテゴリのクラスタリングピクセルを容易に実現できるだけでなく、良好な形状情報も含んでいることを観察する。我々は,高信頼画素を拡大し,さらに掘り出すために,画素の対の類似性をモデル化して画素伝搬を行う。そして、相関地図から抽出した正確なクラス非依存マスクを用いて、領域伝搬を行い、擬似ラベルを強化する。
論文参考訳（メタデータ） (2023-06-07T10:02:29Z)
Exploiting Shape Cues for Weakly Supervised Semantic Segmentation [15.791415215216029]
弱教師付きセマンティックセマンティックセグメンテーション (WSSS) は、画像レベルのラベルのみをトレーニング用として、画素単位のクラス予測を生成することを目的としている。畳み込みニューラルネットワーク(CNN)のテクスチャバイアス特性を補うために形状情報を活用することを提案する。我々は、クラスと色親和性の両方を考慮した新しい改良手法により、オンライン方式で予測をさらに洗練する。
論文参考訳（メタデータ） (2022-08-08T17:25:31Z)
Decoupled Multi-task Learning with Cyclical Self-Regulation for Face Parsing [71.19528222206088]
顔解析のための周期的自己統制型デカップリング型マルチタスク学習を提案する。具体的には、DML-CSRは、顔解析、バイナリエッジ、カテゴリエッジ検出を含むマルチタスクモデルを設計する。提案手法は,Helen,CelebA-HQ,LapaMaskのデータセット上での最先端性能を実現する。
論文参考訳（メタデータ） (2022-03-28T02:12:30Z)
Learning What Not to Segment: A New Perspective on Few-Shot Segmentation [63.910211095033596]
近年では、FSS ( few-shot segmentation) が広く開発されている。本稿では,問題を緩和するための新鮮で直接的な知見を提案する。提案されたアプローチのユニークな性質を踏まえて、より現実的で挑戦的な設定にまで拡張する。
論文参考訳（メタデータ） (2022-03-15T03:08:27Z)
Group-Wise Semantic Mining for Weakly Supervised Semantic Segmentation [49.90178055521207]
この研究は、画像レベルのアノテーションとピクセルレベルのセグメンテーションのギャップを埋めることを目標に、弱い監督されたセマンティックセグメンテーション(WSSS)に対処する。画像群における意味的依存関係を明示的にモデル化し,より信頼性の高い擬似的基盤構造を推定する,新たなグループ学習タスクとしてWSSSを定式化する。特に、入力画像がグラフノードとして表現されるグループ単位のセマンティックマイニングのためのグラフニューラルネットワーク(GNN)を考案する。
論文参考訳（メタデータ） (2020-12-09T12:40:13Z)
The Devil is in Classification: A Simple Framework for Long-tail Object Detection and Instance Segmentation [93.17367076148348]
本稿では,最新のロングテールLVISデータセットを用いて,最先端の2段階のインスタンスセグメンテーションモデルMask R-CNNの性能低下について検討する。主な原因は、オブジェクト提案の不正確な分類である。そこで本研究では,2段階のクラスバランスサンプリング手法により,分類ヘッドバイアスをより効果的に緩和する,簡単な校正フレームワークを提案する。
論文参考訳（メタデータ） (2020-07-23T12:49:07Z)
Learning and Exploiting Interclass Visual Correlations for Medical Image Classification [30.88175218665726]
本稿では、クラス相関学習ネットワーク(CCL-Net)を提案し、与えられたトレーニングデータからクラス間の視覚的相関を学習する。ネットワークが望ましい相関関係を直接学習させる代わりに,クラス固有の埋め込みの距離メートル法学習を通じて暗黙的に学習することを提案する。相関関係の幾何学的説明に基づく直感的損失は、クラス間の相関関係の学習を促進するために設計されている。
論文参考訳（メタデータ） (2020-07-13T13:31:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。